La derivazione dei dati ti aiuta a capire come i dati si spostano nei tuoi sistemi monitorando le relazioni tra gli asset di dati e i processi che li trasformano. Puoi visualizzare queste informazioni sulla derivazione come grafici ed elenchi nella Google Cloud console.
Questo documento descrive la granularità della derivazione dei dati a livello di tabella e di colonna e fornisce istruzioni per l'utilizzo delle visualizzazioni grafiche ed elenco per esplorare la derivazione dei dati nella Google Cloud console.
Per informazioni dettagliate sul modello dei dati sottostante, consulta il modello di informazioni sulla derivazione dei dati.
Differenze tra la derivazione a livello di tabella e a livello di colonna
La derivazione dei dati ti consente di tracciare l'origine e il percorso di trasformazione dei dati sia a livello di tabella che di colonna.
Quando utilizzare la derivazione a livello di tabella
La derivazione a livello di tabella fornisce una panoramica generale delle pipeline di dati mostrando le relazioni tra le tabelle intere. Utilizza la derivazione a livello di tabella per attività a livello macro, ad esempio:
Rilevamento dati. Un analista che crea una nuova dashboard può utilizzare la derivazione a livello di tabella per risalire a una tabella di riepilogo fino alle sue origini e verificare che i dati provengano da un database autorevole.
Pianificazione della migrazione. Un amministratore di database che pianifica la migrazione di un database principale può utilizzare la derivazione a livello di tabella per identificare tutti i report e le dashboard downstream che dipendono da esso.
Controllo e governance. Un responsabile della governance dei dati può utilizzare la derivazione a livello di tabella e di colonna per verificare il flusso dei dati da una tabella contenente informazioni che consentono l'identificazione personale (PII) in una pipeline.
Quando utilizzare la derivazione a livello di colonna
La derivazione a livello di colonna fornisce una visualizzazione più granulare monitorando il flusso di dati tra le singole colonne. In questa visualizzazione, i link all'interno di un evento di derivazione rappresentano la relazione tra una colonna di origine e una colonna di destinazione. Ognuno di questi link a livello di colonna ha un tipo di dipendenza che descrive la trasformazione:
Exact copy: i valori vengono copiati tra le colonne.Other: altri tipi di dipendenze tra le colonne.
Utilizza la derivazione a livello di colonna per attività come le seguenti:
Analisi delle cause principali. Se un analista di dati trova un valore errato in una colonna, può utilizzare la derivazione a livello di colonna per risalire alle colonne di origine e trovare la causa principale.
Analisi dell'impatto. Prima che un data engineer ritiri una colonna, può utilizzare la derivazione a livello di colonna per trovare tutte le colonne downstream che dipendono da essa.
Verifica dell'origine dati per le metriche. Un analista di dati può utilizzare la derivazione a livello di colonna per identificare le colonne di origine utilizzate per calcolare una metrica senza decifrare una query SQL complessa.
La derivazione a livello di colonna viene raccolta automaticamente per i seguenti tipi di job BigQuery:
Per i job Managed Service for Apache Spark, il supporto dipende dal tipo e dalla versione della dipendenza Open Lineage utilizzata da Managed Service for Apache Spark. La versione minima supportata è la 1.34. Di seguito sono riportate le versioni minime supportate delle immagini dei cluster Managed Service for Apache Spark:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Di seguito sono riportate le versioni minime supportate del runtime di Managed Service for Apache Spark:
- 3.0.3
- 2.3.20
Visualizzazioni della derivazione nella Google Cloud console
La derivazione dei dati nella Google Cloud console ti consente di interagire con le informazioni sulla derivazione in due modi: puoi esplorare il grafico della derivazione in più regioni disponibili oppure utilizzare il riquadro Esplora derivazioni per ottenere una visualizzazione più mirata all'interno di una regione specifica. Puoi anche passare dalla visualizzazione Grafico alla visualizzazione Elenco per analizzare il flusso di dati a diversi livelli di dettaglio.