Questo documento ti aiuta a comprendere il concetto di repository in Dataform e come creare un nuovo repository.
Informazioni sui repository Dataform
Ogni repository Dataform contiene una raccolta di file SQLX e JavaScript che compongono il workflow, nonché file di configurazione e pacchetti Dataform. Interagisci con i contenuti del tuo repository in un workspace di sviluppo.
Dataform mostra i repository nella pagina Dataform in ordine alfabetico in base agli ID repository. Puoi ordinarli e filtrarli.
Per visualizzare i repository, nella Google Cloud console, vai alla pagina Dataform.
Ogni repository Dataform deve essere connesso a un account di servizio personalizzato. Seleziona un account di servizio personalizzato quando crei un repository. Puoi modificare il service account in un secondo momento.
Dataform utilizza Git per registrare le modifiche e gestire le versioni dei file. Ogni repository Dataform corrisponde a un repository Git. Dopo aver creato un repository Dataform, puoi collegarlo a un repository GitHub, GitLab o Bitbucket remoto.
In un repository Dataform, Dataform archivia il codice del repository. In un repository connesso, il repository di terze parti archivia il codice del repository. Dataform interagisce con il repository di terze parti per consentirti di modificare ed eseguire i relativi contenuti in un workspace di sviluppo Dataform.
La pagina del repository Dataform è costituita dai seguenti componenti:
- Scheda Workspace di sviluppo
- Visualizza i workspace di sviluppo creati nel repository.
- Scheda Log di esecuzione del workflow
- Visualizza i log di esecuzione del workflow Dataform.
- Scheda Release e pianificazione
- Consente di esaminare, creare, modificare ed eliminare le configurazioni della release e le configurazioni del workflow.
- Scheda Impostazioni
- Visualizza il nome e la località del repository. Per un repository connesso a un repository Git di terze parti, visualizza l'origine del repository di terze parti, il nome del branch predefinito e il token secret. Visualizza i pulsanti per connettere il repository a un repository Git di terze parti e per modificare la connessione Git.
- Pulsante Crea workspace di sviluppo
- Consente di creare un workspace di sviluppo.
Dopo aver creato e inizializzato un workspace di sviluppo, puoi modificare il file delle impostazioni del workflow per configurare le seguenti impostazioni Dataform del repository:
- Il database predefinito (Google Cloud ID progetto).
- Lo schema predefinito (ID set di dati BigQuery).
- La località BigQuery predefinita.
- Lo schema predefinito (ID set di dati BigQuery) per le asserzioni.
- Il data warehouse, che deve essere impostato su
bigquery. - Le variabili definite dall'utente che vengono rese disponibili al codice del progetto durante la compilazione.
Per ulteriori informazioni sulle impostazioni del repository Dataform, consulta IProjectConfig nel riferimento principale di Dataform.
Impostazioni repository
Quando crei un repository Dataform, devi impostare le seguenti impostazioni del repository:
- ID repository
- Un ID univoco del repository. Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.
- Regione
Regione Dataform per l'archiviazione del repository e dei relativi contenuti.
Questa regione di archiviazione può essere diversa dalla regione di elaborazione in cui Dataform elabora il codice e archivia l'output delle esecuzioni. Per impostazione predefinita, la regione di elaborazione è impostata sulla regione del set di dati BigQuery predefinito. Puoi modificare la regione di elaborazione nel file delle impostazioni del workflow dopo aver creato il repository. Per ulteriori informazioni, consulta Configurare le impostazioni del workflow Dataform.
- Service account
Il account di servizio personalizzato associato al repository. Puoi selezionare un account di servizio associato al tuo Google Cloud progetto o inserire manualmente un account di servizio diverso.
Devi utilizzare un account di servizio personalizzato per eseguire i workflow nel repository. Tutte le altre operazioni del repository vengono eseguite dall'agente di servizio Dataform predefinito.
- Modalità act-as Strict
Abilita un controllo di sicurezza aggiuntivo che richiede l'autorizzazione
iam.serviceAccounts.actAssul account di servizio. La modalità act-as Strict è applicata a tutti i repository.- Crittografia
Metodo di crittografia per il repository. Puoi utilizzare la crittografia predefinita, una chiave di crittografia Cloud KMS gestita dal cliente univoca o una chiave CMEK Dataform predefinita. Per ulteriori informazioni sull'utilizzo delle chiavi di crittografia gestite dal cliente (CMEK) in Dataform, consulta Utilizzare le chiavi di crittografia gestite dal cliente.
Dopo aver creato un repository, puoi collegarlo a GitHub o GitLab.
Prima di iniziare
- Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.