OpenLineage は、データリネージ情報を収集して分析するためのオープン プラットフォームです。OpenLineage は、リネージデータに対してオープン標準を使用し、OpenLineage API を使用して実行、ジョブ、データセットを報告するデータ パイプライン コンポーネントからリネージ イベントを取得します。
Data Lineage API を使用して OpenLineage イベントをインポートし、BigQuery、Cloud Composer、Cloud Data Fusion、Dataproc などのGoogle Cloud サービスからのリネージ情報とともに Dataplex Universal Catalog ウェブ インターフェースに表示できます。
OpenLineage 仕様を使用する OpenLineage イベントをインポートするには、ProcessOpenLineageRunEvent REST API メソッドを使用して、OpenLineage ファセットを Data Lineage API 属性にマッピングします。
制限事項
Data Lineage API では、OpenLineage メジャー バージョン 1 がサポートされています。
Data Lineage API エンドポイント
ProcessOpenLineageRunEventは、OpenLineage メッセージのプロデューサーではなく、コンシューマーとしてのみ機能します。この API を使用すると、OpenLineage 準拠のツールまたはシステムによって生成されたリネージ情報を Dataplex Universal Catalog に送信できます。Dataproc や Cloud Composer などの一部の Google Cloud サービスには、このエンドポイントにイベントを送信できる OpenLineage プロデューサーが組み込まれており、これらのサービスからのリネージ キャプチャを自動化できます。Data Lineage API は、次の機能をサポートしていません。
- メッセージ形式が変更された、以降の OpenLineage リリース
DatasetEventJobEvent
1 つのメッセージの最大サイズは 5 MB です。
入力と出力の完全修飾名の長さは 4,000 文字に制限されています。
リンクは、100 個のリンクがあるイベント別にグループ化されます。リンクの最大数は 1,000 個です。
Dataplex Universal Catalog には、ジョブの実行ごとにリネージグラフが表示され、リネージ イベントの入力と出力が示されます。Spark ステージなどの下位レベルのプロセスはサポートされていません。