Dataplex Universal Catalog を使用すると、BigQuery テーブル内のデータの品質を定義して測定できます。データスキャンを自動化して、定義済みルールに照らしてデータを検証し、データが品質要件を満たしていない場合はアラートを記録できます。自動データ品質を使用すると、データ品質ルールとデプロイメントをコードとして管理することで、データ プロダクション パイプラインの完全性を向上させることができます。
データの異常をスキャンするには、Dataplex Universal Catalog データ プロファイル スキャンをご覧ください。スキャンでデータ品質ルールを生成できます。事前定義された品質ルールを使用することも、カスタムルールを作成することもできます。
Dataplex Universal Catalog には、自動データ品質と統合されたモニタリング、トラブルシューティング、Cloud Logging アラートが用意されています。
概念モデル
データ品質スキャンは、一連の事前定義されたルールに対してデータを検証する Dataplex Universal Catalog データスキャンの一種です。データのスキャンは、BigQuery と Cloud Storage からデータをサンプリングして、さまざまなタイプのメタデータを推測する Dataplex Universal Catalog ジョブです。自動データ品質を使用してテーブルの品質を測定するには、data quality タイプの DataScan オブジェクトを作成します。スキャンは 1 つの BigQuery テーブルでのみ実行されます。スキャンでは Google のテナント プロジェクトのリソースを使用するため、独自のインフラストラクチャを設定する必要はありません。
データ品質スキャンの作成と使用は、次の手順から成ります。
- データ品質ルールを定義する
- ルールの実行を構成する
- データ品質スキャンの結果を分析する
- モニタリングとアラートを設定する
- データ品質エラーのトラブルシューティング
ルールの定義
データ品質スキャンに関連付けられたデータ品質ルールは、データの期待値を定義します。データ品質ルールは次の方法で作成できます。
- Dataplex Universal Catalog のデータ プロファイリングの推奨事項を使用する
- 事前定義ルールを使用する
- カスタム SQL ルールを作成する
事前定義ルール
Dataplex Universal Catalog は、次のカテゴリの事前定義ルールをサポートしています。