In OpenLineage einbinden

In diesem Dokument wird beschrieben, wie Sie OpenLineage in Knowledge Catalog (ehemals Dataplex Universal Catalog) einbinden, um die Datenherkunft aus externen Systemen zu importieren und zu visualisieren. Wenn Sie Knowledge Catalog als OpenLineage-Consumer mit der ProcessOpenLineageRunEvent REST API verwenden, können Sie benutzerdefinierte Pipeline-Lineage zusammen mit der integrierten Lineage von Google Cloud -Diensten vereinheitlichen.

Übersicht

OpenLineage ist eine offene Plattform zum Erfassen und Analysieren von Informationen zur Datenherkunft. OpenLineage verwendet einen offenen Standard für Herkunftsdaten und erfasst Herkunftsereignisse von Datenpipelinekomponenten, die eine OpenLineage API verwenden, um Berichte zu Ausführungen, Jobs und Datasets zu erstellen.

Mit der Data Lineage API können Sie OpenLineage-Ereignisse importieren, die dann in der Knowledge Catalog-Weboberfläche zusammen mit Informationen zur Datenherkunft ausGoogle Cloud -Diensten wie BigQuery, Managed Service for Apache Airflow, Cloud Data Fusion und Managed Service for Apache Spark angezeigt werden.

Wenn Sie OpenLineage-Ereignisse importieren möchten, die die OpenLineage-Spezifikation verwenden, verwenden Sie die REST API-Methode ProcessOpenLineageRunEvent und ordnen Sie OpenLineage-Facets den Attributen der Data Lineage API zu.

Einschränkungen bei der OpenLineage-Integration

  • Unterstützte Versionen:Die Data Lineage API unterstützt OpenLineage-Hauptversion 1.

  • API-Aktionen:Der Data Lineage API-Endpunkt ProcessOpenLineageRunEvent fungiert nur als Nutzer von OpenLineage-Nachrichten, nicht als Ersteller. Mit der API können Sie Herkunftsinformationen, die von einem beliebigen OpenLineage-kompatiblen Tool oder System generiert wurden, in Knowledge Catalog senden. Einige Google Cloud Dienste wie Managed Service for Apache Spark und Managed Airflow enthalten integrierte OpenLineage-Erzeuger, die Ereignisse an diesen Endpunkt senden können. So wird die Erfassung von Lineage-Informationen aus diesen Diensten automatisiert.

  • Nicht unterstützte Funktionen:Die Data Lineage API unterstützt Folgendes nicht:

    • Alle nachfolgenden OpenLineage-Releases mit Änderungen am Nachrichtenformat
    • DatasetEvent
    • JobEvent

  • Nachrichtengröße:Die maximale Größe einer einzelnen Nachricht beträgt 5 MB.

  • Namenslänge:Die Länge jedes vollständig qualifizierten Namens in Ein- und Ausgaben ist auf 4.000 Zeichen begrenzt.

  • Linkbeschränkungen:Links werden nach Ereignissen gruppiert. Pro Ereignis sind maximal 100 Links zulässig. Die maximale Gesamtzahl der Links auf Tabellenebene beträgt 1.000. Wenn eine Nachricht mehr als 1.500 Links auf Spaltenebene enthält, werden die Informationen auf Spaltenebene übersprungen.

  • Diagrammbereich:Im Knowledge Catalog wird für jeden Joblauf ein Herkunftsdiagramm angezeigt, in dem die Ein- und Ausgaben von Herkunftsereignissen dargestellt werden. Prozesse auf niedrigerer Ebene wie Spark-Phasen werden nicht unterstützt.

OpenLineage-Facettenattributzuordnung

Informationen zur OpenLineage-Zuordnung finden Sie unter OpenLineage-Zuordnung.

OpenLineage-Ereignis importieren

Wenn Sie OpenLineage noch nicht eingerichtet haben, lesen Sie den Abschnitt Erste Schritte.

Rufen Sie die API-Methode ProcessOpenLineageRunEvent auf, um ein OpenLineage-Ereignis in den Knowledge Catalog zu importieren.

C#

C#

Folgen Sie der Einrichtungsanleitung für C# in der Data Lineage-Kurzanleitung zur Verwendung von Clientbibliotheken, bevor Sie dieses Beispiel ausprobieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Data Lineage C# API.

Richten Sie zur Authentifizierung bei Data Lineage die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

using Google.Cloud.DataCatalog.Lineage.V1;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedLineageClientSnippets
{
    /// <summary>Snippet for ProcessOpenLineageRunEvent</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ProcessOpenLineageRunEventRequestObject()
    {
        // Create client
        LineageClient lineageClient = LineageClient.Create();
        // Initialize request argument(s)