Créer et exécuter un workflow dans Dataform

Console

1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

   Accéder à Dataform

2. Cliquez sur addCréer un dépôt.

3. Sur la page CRÉER UN DÉPÔT, procédez comme suit :

   1. Dans le champ ID du dépôt, saisissez quickstart-repository.

   2. Dans la liste Région, sélectionnez europe-west4.

   3. Dans la liste Compte de service, sélectionnez un compte de service personnalisé pour le dépôt.

   4. Dans la section Vérifications d'autorisations actAs, appliquez les vérifications d'autorisations sur les actions des utilisateurs pour le dépôt.

   5. Cliquez sur Créer.

   6. Cliquez sur Accéder aux dépôts.

Vous venez de créer un dépôt Dataform. Ensuite, vous pouvez créer et initialiser un espace de travail de développement.

API

Pour créer un dépôt, utilisez la méthode projects.locations.repositories.create.

Exécutez la requête API avec les informations suivantes :

• Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
• Paramètre de requête : repositoryId=REPOSITORY_ID

Vous pouvez également exécuter la commande curl suivante dans votre terminal :

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Remplacez les éléments suivants :

• PROJECT_ID : identifiant unique du projetGoogle Cloud dans lequel vous souhaitez créer le dépôt Dataform.
• LOCATION : région Google Cloud dans laquelle vous souhaitez créer le dépôt, par exemple europe-west4.
• REPOSITORY_ID : identifiant unique de votre nouveau dépôt Dataform, par exemple quickstart-repository.
• SERVICE_ACCOUNT_NAME : ID du compte de service personnalisé créé pour exécuter les tâches BigQuery.

Console

1. Dans la console Google Cloud , accédez à la page Dataform de BigQuery.

   Accéder à Dataform

2. Cliquez sur quickstart-repository.

3. Cliquez sur add Créer un espace de travail de développement.

4. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit :

   1. Dans le champ ID de l'espace de travail, saisissez quickstart-workspace.

   2. Cliquez sur Créer.

   La page de l'espace de travail de développement s'affiche.

5. Cliquez sur Initialiser l'espace de travail.

API

1. Pour créer un espace de travail Dataform, utilisez la méthode projects.locations.repositories.workspaces.create.

   Exécutez la requête API avec les informations suivantes :

   • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
   • Paramètre de requête : workspaceId=WORKSPACE_ID

   Vous pouvez également exécuter la commande curl suivante dans votre terminal :

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d "{}" \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"
   

   Remplacez WORKSPACE_ID par l'identifiant unique de votre espace de travail de développement Dataform, par exemple feature-branch-1.

2. Pour initialiser votre espace de travail avec la configuration nécessaire, créez un fichier local nommé workflow_settings.yaml et collez-y la configuration suivante :

   defaultProject: PROJECT_ID
   defaultDataset: dataform
   dataformCoreVersion: CORE_VERSION
   

   Remplacez CORE_VERSION par la dernière version stable (non bêta) de Dataform Core, par exemple 3.0.43. Vous trouverez la dernière version dans les versions.

3. Dans votre terminal, exécutez la commande suivante pour encoder le contenu du fichier en une seule chaîne continue :

   base64 -w 0 workflow_settings.yaml
   

4. Copiez la chaîne de sortie obtenue pour l'utiliser dans l'espace réservé SETTINGS_DEFINITION si vous décidez d'utiliser la commande alternative curl plus tard dans ces étapes.

5. Pour créer le fichier de configuration dans votre espace de travail, utilisez la méthode projects.locations.repositories.workspaces.writeFile.

   Exécutez la requête API avec les informations suivantes :

   • Point de terminaison : POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   Vous pouvez également exécuter la commande curl suivante dans votre terminal :

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "path": "workflow_settings.yaml",
       "contents": "SETTINGS_DEFINITION"
     }'