Crea ed esegui un workflow in Dataform
Questa guida rapida è pensata per data engineer e analisti di dati che vogliono gestire le trasformazioni dei dati in BigQuery. In questa guida rapida imparerai a creare ed eseguire un workflow Dataform utilizzando Dataform Core, un framework basato su SQL per trasformare i dati non elaborati in asset di dati curati, testati e documentati. Utilizzando Dataform, puoi sviluppare e controllare le versioni delle pipeline di modellazione dei dati in un repository centrale, garantendo affidabilità e scalabilità.
Questa guida rapida illustra la seguente procedura in Dataform per creare un workflow ed eseguirlo in BigQuery:
Prima di iniziare
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM:
- Dataform Admin (
roles/dataform.admin) sul progetto o sul repository - Editor dati BigQuery (
roles/bigquery.dataEditor) sul progetto o su set di dati specifici - Utente job BigQuery (
roles/bigquery.jobUser) sul progetto - Service Account User (
roles/iam.serviceAccountUser) sul account di servizio personalizzato
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Concedi i ruoli richiesti
Per eseguire i workflow in BigQuery, puoi utilizzare un account di servizio personalizzato o il tuo Account Google.
Il account di servizio personalizzato deve disporre dei seguenti ruoli obbligatori:
- Editor dati BigQuery
(
roles/bigquery.dataEditor) su progetti o set di dati BigQuery specifici a cui Dataform deve accedere in lettura e scrittura. In genere, ciò include il progetto che ospita il repository Dataform. - BigQuery Data Viewer (