Criar e executar um fluxo de trabalho no Dataform

Este guia de início rápido é destinado a engenheiros e analistas de dados que querem gerenciar transformações de dados no BigQuery. Neste guia de início rápido, você vai aprender a criar e executar um fluxo de trabalho do Dataform usando o Dataform Core, uma estrutura baseada em SQL para transformar dados brutos em recursos de dados organizados, testados e documentados. Com o Dataform, é possível desenvolver e controlar a versão dos pipelines de modelagem de dados em um repositório central, garantindo confiabilidade e escalonabilidade.

Neste guia de início rápido, mostramos como criar um fluxo de trabalho no Dataform e executá-lo no BigQuery:

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    8.

Funções exigidas

Para conseguir as permissões necessárias a fim de concluir todas as tarefas deste guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Conceder os papéis necessários

Para executar fluxos de trabalho no BigQuery, use uma conta de serviço personalizada ou sua Conta do Google.

Sua conta de serviço personalizada precisa ter os seguintes papéis obrigatórios:

  • Editor de dados do BigQuery (roles/bigquery.dataEditor) em projetos ou conjuntos de dados específicos do BigQuery a que o Dataform precisa de acesso de leitura e gravação. Isso geralmente inclui o projeto que hospeda seu repositório do Dataform.
  • Leitor de dados do BigQuery (roles/bigquery.dataViewer) em projetos ou conjuntos de dados específicos do BigQuery a que o Dataform precisa de acesso somente leitura.
  • Usuário de jobs do BigQuery (roles/bigquery.jobUser) no projeto que hospeda seu repositório do Dataform.

Para permitir que o Dataform use sua conta de serviço personalizada, o agente de serviço padrão do Dataform precisa ter os seguintes papéis no recurso da conta de serviço personalizada:

Para conceder esses papéis, siga estas etapas:

  1. No console do Google Cloud , acesse a página IAM.

    Acessar IAM

  2. Clique em Conceder acesso.

  3. No campo Novos principais, insira o ID da sua conta de serviço personalizada.

  4. No menu Selecionar um papel, selecione os seguintes papéis um por um, usando Adicionar outro papel para cada papel adicional:

    • Editor de dados do BigQuery
    • Visualizador de dados do BigQuery
    • Usuário de jobs do BigQuery

  5. Clique em Salvar.

  6. No console Google Cloud , acesse a página Contas de serviço.

    Acesse as Contas de serviço

  7. Selecione sua conta de serviço personalizada.

  8. Acesse Principais com acesso e clique em Conceder acesso.

  9. No campo Novos principais, insira o ID do agente de serviço padrão do Dataform.

    O ID do agente de serviço padrão do Dataform está no seguinte formato:

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    Substitua PROJECT_NUMBER pelo ID numérico do seu projeto do Google Cloud . Encontre o ID do projeto Google Cloud no painel do consoleGoogle Cloud . Para mais informações, consulte Encontrar o nome, o número e o ID do projeto.

  10. Na lista Selecionar um papel, adicione os seguintes papéis:

    • Usuário da conta de serviço
    • Criador do token da conta de serviço

  11. Clique em Salvar.

Para mais informações sobre como conceder papéis, consulte Conceder ao Dataform o acesso necessário.

Criar um repositório do Dataform

Um repositório do Dataform é um recurso que representa um repositório Git que contém o código do projeto do Dataform usado para desenvolver, controlar versões e orquestrar fluxos de trabalho. Para criar um repositório, selecione uma das seguintes opções:

Console

  1. No console Google Cloud , acesse a página Dataform do BigQuery.

    Acesse o Dataform