Ausführungen planen

In diesem Dokument wird beschrieben, wie Sie in Dataform Folgendes tun:

In der folgenden Tabelle werden die Methoden verglichen:

Methode Ziel Triggertyp
Workflowkonfigurationen Standardmäßige, zeitbasierte Produktionsläufe in Dataform. Zeitbasiert
Workflows und Cloud Scheduler Leichte, serverlose Orchestrierung von Dataform zusammen mit anderen APIs. Zeit- oder ereignisbasiert
Managed Airflow Komplexe Pipelines mit Abhängigkeiten außerhalb von BigQuery. Zeit- oder ereignisbasiert
Cloud Build-Trigger Releases unmittelbar nach einem Git-Push automatisieren. Ereignisgesteuert

Hinweis

So planen Sie Ausführungen mit Workflow-Konfigurationen oder planen Sie Ausführungen mit Workflows und Cloud Scheduler:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie ein Repository aus oder erstellen Sie eines.

  3. Erstellen Sie eine Releasekonfiguration.

So planen Sie Ausführungen mit Managed Service for Apache Airflow:

  1. Wählen Sie ein Dataform-Repository aus oder erstellen Sie eines.
  2. Dataform Zugriff auf BigQuery gewähren
  3. Wählen Sie einen Dataform-Arbeitsbereich aus oder erstellen Sie einen.
  4. Erstellen Sie mindestens eine Tabelle.
  5. Erstellen Sie eine Managed Airflow 2-Umgebung.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Aufgaben in diesem Dokument benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie beim Erstellen einer Workflowkonfiguration ein benutzerdefiniertes Dienstkonto verwenden möchten, gewähren Sie Zugriff auf das benutzerdefinierte Dienstkonto.

Wenn Sie Nutzeranmeldedaten für ein Google-Konto verwenden möchten, wenn Sie eine Workflowkonfiguration erstellen (Vorschau), müssen Sie Zugriff auf das Google-Konto gewähren.

Damit geplante Ausführungen für eine Workflowkonfiguration aktiviert werden können, müssen Sie dem Dataform-Standarddienst-Agent die Berechtigung iam.serviceAccounts.actAs für das benutzerdefinierte Dienstkonto erteilen, das in der Workflowkonfiguration verwendet wird. Diese Berechtigung ist in der Rolle „Dienstkontonutzer“ (roles/iam.serviceAccountUser) verfügbar. Weitere Informationen finden Sie unter Strengen „Act-as“-Modus verwenden.

Informationen zur Verbesserung der Sicherheit bei der Planung finden Sie unter Erweiterte Planungsberechtigungen implementieren.

Ausführungen mit Workflowkonfigurationen planen

In diesem Abschnitt erfahren Sie, wie Sie eine Workflowkonfiguration in Dataform erstellen, um Workflowläufe zu planen und zu konfigurieren. Mit Workflowkonfigurationen können Sie Dataform-Workflows nach einem Zeitplan ausführen.

Workflowkonfigurationen

Wenn Sie Dataform-Ausführungen aller oder ausgewählter Workflowaktionen in BigQuery planen möchten, können Sie Workflowkonfigurationen erstellen. In einer Workflowkonfiguration wählen Sie eine Konfiguration für die Zusammenstellung von Releases aus, legen Workflowaktionen für die Ausführung fest und legen den Ausführungszeitplan fest.

Bei einer geplanten Ausführung Ihrer Workflowkonfiguration stellt Dataform dann die ausgewählten Aktionen aus dem neuesten Kompilierungsergebnis in Ihrer Releasekonfiguration in BigQuery bereit. Sie können die Ausführung einer Workflow-Konfiguration auch manuell mit der Dataform API workflowConfigs auslösen.