Intégrer à OpenLineage

Ce document explique comment intégrer OpenLineage à Knowledge Catalog (anciennement Dataplex Universal Catalog) pour importer et visualiser la traçabilité des données à partir de systèmes externes. En agissant en tant que consommateur OpenLineage à l'aide de l'API REST ProcessOpenLineageRunEvent, Knowledge Catalog vous permet d'unifier la traçabilité des pipelines personnalisés avec la traçabilité intégrée des Google Cloud services.

Présentation

OpenLineage est une plate-forme ouverte permettant de collecter et d' analyser des informations sur la traçabilité des données. En utilisant une norme ouverte pour les données de traçabilité, OpenLineage capture les événements de traçabilité à partir des composants du pipeline de données qui utilisent une API OpenLineage pour générer des rapports sur les exécutions, les jobs et les ensembles de données.

Grâce à l'API Data Lineage, vous pouvez importer des événements OpenLineage à afficher dans l'interface Web de Knowledge Catalog, ainsi que des informations de traçabilité provenant de Google Cloud services tels que BigQuery, Managed Service pour Apache Airflow, Cloud Data Fusion et Managed Service pour Apache Spark.

Pour importer des événements OpenLineage qui utilisent la spécification OpenLineage, utilisez la ProcessOpenLineageRunEvent méthode d'API REST et mappez les facettes OpenLineage aux attributs de l'API Data Lineage.

Limites d'intégration d'OpenLineage

  • Versions compatibles : l'API Data Lineage est compatible avec la version majeure 1 d'OpenLineage.

  • Actions de l'API : le point de terminaison de l'API Data Lineage ProcessOpenLineageRunEvent agit uniquement en tant que consommateur de messages OpenLineage, et non en tant que producteur. L'API vous permet d'envoyer des informations de traçabilité générées par n'importe quel outil ou système compatible avec OpenLineage dans Knowledge Catalog. Certains Google Cloud services, tels que Managed Service pour Apache Spark et Managed Airflow, incluent des producteurs OpenLineage intégrés qui peuvent envoyer des événements à ce point de terminaison, ce qui automatise la capture de la traçabilité à partir de ces services.

  • Fonctionnalités non compatibles : l'API Data Lineage n'est pas compatible avec les éléments suivants :

    • Toute version ultérieure d'OpenLineage avec des modifications du format de message
    • DatasetEvent
    • JobEvent

  • Taille des messages : la taille maximale d'un message est de 5 Mo.

  • Longueur des noms : la longueur de chaque nom complet dans les entrées et les sorties est limitée à 4 000 caractères.

  • Limites de liens Les liens sont regroupés par événements, avec un maximum de 100 liens par événement. Le nombre total maximal de liens au niveau des tables est de 1 000. Si un message contient plus de 1 500 liens au niveau des colonnes, les informations au niveau des colonnes sont ignorées.

  • Champ d'application du graphique : Knowledge Catalog affiche un graphique de traçabilité pour chaque exécution de job, indiquant les entrées et les sorties des événements de traçabilité. Il n'est pas compatible avec les processus de niveau inférieur, tels que les étapes Spark.

Mappage des attributs de facette OpenLineage

Pour en savoir plus sur le mappage OpenLineage, consultez Mappage OpenLineage.

Importer un événement OpenLineage

Si vous n'avez pas encore configuré OpenLineage, consultez Premiers pas.

Pour importer un événement OpenLineage dans Knowledge Catalog, appelez la méthode d'API ProcessOpenLineageRunEvent.

C#

C#

Avant d'essayer cet exemple, suivez les instructions de configuration pour C# décrites dans le guide de démarrage rapide de Data Lineage à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l' API Data Lineage C#.

Pour vous authentifier auprès de Data Lineage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local. 

using Google.Cloud.DataCatalog.Lineage.V1;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedLineageClientSnippets
{
    /// <summary>Snippet for ProcessOpenLineageRunEvent</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ProcessOpenLineageRunEventRequestObject()
    {
        // Create client
        LineageClient lineageClient = LineageClient