FAQ

Datastream ist ein serverloser, nutzerfreundlicher Change Data Capture- (CDC) und Replikationsdienst. Mit Datastream können Daten aus relationalen Datenbankquellen wie AlloyDB for PostgreSQL, PostgreSQL, MySQL, SQL Server und Oracle sowie aus Salesforce, Salesforce Marketing Cloud (Vorabversion), ServiceNow (Vorabversion) und MongoDB nahtlos direkt in BigQuery repliziert werden. Datastream bietet die Skalierbarkeit, Geschwindigkeit, Sicherheit und Einfachheit, die moderne Unternehmen benötigen. Mit der serverlosen, automatisch skalierten Architektur ermöglicht Ihnen Datastream das Einrichten einer ELT-Pipeline (Extrahieren, Laden und Transformieren) für die Datenreplikation mit niedriger Latenz. Somit lassen sich Informationen nahezu in Echtzeit ableiten.

Mit Datastream können Sie Datenstreams über heterogene Datenbanken und Anwendungen hinweg zuverlässig und mit minimaler Latenz synchronisieren. Sie können den Dienst in Dataflow-Vorlagen einbinden, um Datenbanken in Cloud SQL oder Spanner zu replizieren und Datenbanken zu synchronisieren. Außerdem können Sie den Ereignisstream direkt aus Cloud Storage nutzen, um ereignisgesteuerte Architekturen zu realisieren.

• CDC: Fortlaufende Änderungen von der Quelle in Echtzeit erfassen.
• Backfill: Einen historischen Snapshot von Daten in einer Tabelle bereitstellen.

CDC ist ein Ansatz für die Datenintegration, mit dem Sie Daten schneller und mit weniger Systemressourcen integrieren und analysieren können. Dies ist eine Methode, um nur die neuesten Änderungen (Aktualisierungen, Einfügungen oder Löschungen) aus einer Datenquelle abzurufen. Dabei wird häufig das Änderungslog gelesen, das von der Quelle zu ihrer eigenen internen transaktionalen Integrität beibehalten wird.

CDC ist ein hocheffizienter Mechanismus zum Begrenzen der Auswirkungen auf die Quelle, wenn neue Daten in operative Datenspeicher und Data Warehouses geladen werden. Außerdem kann durch CDC auf das Aktualisieren von Bulk-Ladegängen und umständliche Batch-Fenster verzichtet werden, indem inkrementelles Laden oder Streaming von Datenänderungen in nahezu Echtzeit an ein Datenziel ermöglicht werden.

CDC kann in vielen Anwendungsfällen verwendet werden, die Nutzen aus einem konstanten Zugriff auf Datenänderungen ziehen, z. B. Analysen, Synchronisierung von Daten über geografisch verteilte Systeme und ereignisgesteuerte Architekturen.

Neben den laufenden Änderungen verwendet Datastream auch Backfill, um alle vorhandenen Daten aus einer Quelle abzurufen und sie dann an ein Ziel zu streamen. Deshalb wird auf das Ziel ein "Backfill" mit allen Verlaufsdaten aus der Quelle angewendet. Es gibt zwei Arten von Backfill:

• Inkrementell: Der Standardtyp für Backfills für Tabellen. Beim inkrementellen Backfill ruft Datastream Daten aus Zeilenbereichen in mehreren Batches ab und streamt die Daten Batch für Batch an ein Ziel.
• Vollständiger Dump: Beim Backfill mit vollständigem Dump ruft Datastream alle Daten auf einmal ab und streamt sie an ein Ziel.

Informationen zu Backfill-Einschränkungen finden Sie auf den Seiten zu bekannten Einschränkungen für die jeweiligen Quelltypen:

• MySQL
• Oracle
• PostgreSQL (einschließlich AlloyDB for PostgreSQL)
• SQL Server
• Salesforce
• Salesforce Marketing Cloud