Per le aziende con molte origini dati isolate, l'accesso ai dati aziendali in tutta l'organizzazione, soprattutto in tempo reale, può essere difficile. Ciò si traduce in un mondo di accesso ai dati limitato e lento, impedendo all'organizzazione di eseguire l'introspezione.
Datastream fornisce l'accesso quasi in tempo reale ai dati modificati da una serie di origini dati on-premise e basate sul cloud per creare l'accesso ai dati dell'organizzazione. Datastream fornisce un'API di consumo unificata che democratizza l'accesso dell'organizzazione ai dati aziendali più recenti disponibili in tutta l'organizzazione, consentendo scenari integrati quasi in tempo reale.
Uno di questi scenari è il trasferimento di dati da un database di origine a un servizio di archiviazione o a una coda di messaggistica basati sul cloud e la trasformazione di questi dati in un formato leggibile da altre applicazioni e servizi che comunicano con questo servizio di archiviazione o questa coda di messaggistica.
In questo tutorial, imparerai a utilizzare Datastream per trasferire schemi, tabelle e dati da un database Oracle di origine a una cartella in un bucket Cloud Storage. Cloud Storage è un servizio web per l'archiviazione e l'accesso ai dati su Google Cloud. Il servizio combina le prestazioni e la scalabilità del cloud di Google con funzionalità avanzate di sicurezza e condivisione.
Nell'ambito del trasferimento di queste informazioni in una cartella nel bucket Cloud Storage di destinazione, Datastream le traduce in Avro. Avro è definito da uno schema scritto in JavaScript Object Notation (JSON). Questa traduzione ti consente di leggere i dati di diverse origini dati in modo uniforme.
Obiettivi
In questo tutorial imparerai a:- Imposta le variabili di ambiente. Utilizzerai queste variabili quando effettui richieste a Datastream per creare e gestire sia i profili di connessione sia uno stream.
- Crea e gestisci profili di connessione per un database di origine e un bucket di destinazione in Cloud Storage. Creando questi profili di connessione, crei record che contengono informazioni sul database di origine e sul bucket Cloud Storage di destinazione. Il flusso in Datastream utilizza le informazioni nei profili di connessione per trasferire i dati dal database di origine a una cartella nel bucket di destinazione.
- Creare e gestire uno stream. Datastream utilizza questo flusso per trasferire dati, schemi e tabelle dal database di origine a una cartella nel bucket di destinazione.
- Verifica che Datastream trasferisca i dati e le tabelle associati a uno schema del database Oracle di origine in una cartella del bucket di destinazione e che converta questi dati nel formato di file Avro.
- Esegui la pulizia delle risorse che hai creato su Datastream in modo che non occupino quota e non ti vengano addebitate in futuro.
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- Cloud Storage
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il calcolatore prezzi.
Prima di iniziare
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission.