Crea un flusso

In questa sezione, imparerai a creare uno stream. Datastream utilizza questo flusso per trasferire i dati dai database di origine in BigQuery o Cloud Storage.

La creazione di uno stream include:

  • Definizione delle impostazioni per lo stream.
  • Selezionando il profilo di connessione che hai creato o creandone uno.
  • Configurazione delle informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
    • Può essere trasferito nella destinazione.
    • È soggetto a restrizioni per il trasferimento nella destinazione.

  • Determinare se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere in streaming le modifiche in corso nella destinazione, o se trasmetterà in streaming solo le modifiche ai dati. Quando attivi il backfill storico, puoi specificare facoltativamente gli schemi e le tabelle nel database di origine che Datastream non deve eseguire il backfill nella destinazione.

  • Selezionando il profilo di connessione che hai creato per BigQuery o Cloud Storage (il profilo di connessione di destinazione) o creando un profilo di connessione di destinazione se non ne hai creato uno.

  • Configurazione delle informazioni sulla destinazione dello stream. Queste informazioni comprendono:

    • Per BigQuery:
      • I set di dati in cui Datastream replicherà schemi, tabelle e dati da un database di origine.
    • Per Cloud Storage:
      • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

  • Convalida dello stream per garantire che venga eseguito correttamente. La convalida di uno stream controlla:

    • Se l'origine è configurata correttamente per consentire a Datastream di trasmettere in streaming i dati.
    • Se lo stream può connettersi sia all'origine che alla destinazione.
    • La configurazione end-to-end dello stream.

Prima di iniziare

  • Assicurati di aver configurato il database di origine per la replica. Per informazioni sui passaggi richiesti per ogni tipo di origine supportato, consulta Configurare le origini.
  • Scopri quali passaggi potrebbero essere necessari per configurare la destinazione selezionata. Per saperne di più, consulta Configurare le destinazioni.

Definisci le impostazioni per lo stream

  1. Vai alla pagina Stream nella console Google Cloud .

    Vai alla pagina Stream

  2. Fai clic su CREA STREAM.

  3. Utilizza la tabella seguente per compilare i campi della sezione Definisci i dettagli dello stream della pagina Crea stream:

    CampoDescrizione
    Nome flussoInserisci il nome visualizzato dello stream.
    ID streamDatastream compila automaticamente questo campo in base al nome dello stream che inserisci. Puoi mantenere l'ID generato automaticamente o modificarlo.
    RegioneSeleziona la regione in cui è archiviato lo stream. Gli stream, come tutte le risorse, vengono salvati in una regione. La selezione della regione non influisce sulla possibilità del flusso di connettersi al database di origine o alla destinazione, ma può influire sulla disponibilità se la regione subisce tempi di inattività. Ti consigliamo di mantenere tutte le risorse per lo stream nella stessa regione dei dati di origine per ottimizzare costi e prestazioni.
    Tipo di origine

    Seleziona il tipo di profilo che hai specificato quando hai creato un profilo di connessione per l'origine. In alternativa, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.

    Tipo di destinazioneSeleziona il tipo di profilo specificato quando hai creato un profilo di connessione per una destinazione BigQuery o Cloud Storage. In alternativa, se non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora.
    Crittografia

    Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la tua crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK):

    1. Seleziona la casella di controllo Chiave Cloud KMS.
    2. Dal menu a discesa Tipo di chiave, seleziona Cloud KMS e poi la tua CMEK.

    Se non vedi la tua chiave, fai clic su INSERISCI IL NOME RISORSA DELLA CHIAVE per fornire il nome risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key nel campo Nome risorsa della chiave e poi fare clic su SALVA.

  4. (Facoltativo) Utilizza le etichette per organizzare le risorse Datastream.

    1. Per creare un'etichetta, fai clic su AGGIUNGI ETICHETTA e poi inserisci la coppia chiave-valore per l'etichetta.
    2. Per rimuovere l'etichetta, fai clic sull'icona del cestino a destra della riga che la contiene.