リポジトリを管理する

このドキュメントでは、Dataform で次の操作を行う方法について説明します。

始める前に

  1. リポジトリを作成または選択します。

  2. 省略可: リポジトリをサードパーティの Git リポジトリに接続します。

  3. リポジトリで開発ワークスペースを作成して初期化します。

必要なロール

このドキュメントのタスクを完了するために必要な権限を取得するには、管理者に次の IAM ロールを付与するよう依頼してください。

  • Dataform の設定を構成し、Dataform コア パッケージのロケーションを管理する: リポジトリの Dataform 管理者 （roles/dataform.admin）。
  • Dataform コア パッケージを更新し、Dataform でバージョン管理を使用する: ワークスペースの Dataform 編集者 （roles/dataform.editor）。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Dataform ワークフローの設定を構成する

このセクションでは、特定のリポジトリの Dataform ワークフロー処理設定を編集する方法について説明します。

設定ファイルを編集してスキーマの名前を変更したり、カスタム コンパイル変数をリポジトリに追加したりする必要が生じることがあります。

リポジトリの設定について

すべてのリポジトリで、ワークフローの実行にカスタム サービス アカウントが必要となり、厳格な act-as モードが適用されます。デフォルトの Dataform サービス エージェントを使用してワークフローを実行することはできません。

各 Dataform リポジトリには、固有のワークフロー設定ファイルが含まれています。このファイルには、 Google Cloud プロジェクト ID と、Dataform が BigQuery にアセットを公開するスキーマが含まれています。Dataform はデフォルトの設定を使用しますが、設定ファイルを編集してニーズに最も合うようにオーバーライドできます。

Dataform コア 3.0.0 以降、ワークフロー設定はデフォルトで workflow_settings.yaml ファイルに保存されます。以前のバージョンの Dataform コアでは、ワークフロー設定は dataform.json ファイルに保存されます。これらの構成ファイルは、リポジトリのルート ディレクトリに配置する必要があります。Dataform コア 3.0 の workflow_settings.yaml ファイルには、dataform.json ファイルとの下位互換性があります。dataform.json ファイルを使用してワークフロー設定を保存することは引き続き可能です。今後の互換性のために、workflow_settings.yaml 形式にリポジトリ ワークフロー設定を移行することをおすすめします。

workflow_settings.yaml の概要

Dataform コア 3.0 で導入された workflow_settings.yaml ファイルには、Dataform ワークフロー設定が YAML 形式で保存されます。

次のコードサンプルは、サンプル workflow_settings.yaml ファイルを示しています。

  defaultProject: my-gcp-project-id