行為和用途
Datastream 可讓使用者以近乎即時的方式，將關聯式資料庫管理系統 (RDBMS) 和其他來源的資料匯入 BigQuery、Apache Iceberg 資料表和 Cloud Storage 等目的地。這項功能可支援下游用途，例如將資料載入 BigQuery 以進行資料倉儲和分析，或對資料執行 Spark 工作，以用於人工智慧和機器學習用途。
概念
本節說明有效使用 Datastream 時需要瞭解的主要概念。
變更資料擷取
變更資料擷取 (CDC) 是一組軟體設計模式，用於判斷 (及追蹤) 已變更的資料，以便根據變更後的資料採取行動。CDC 也是一種資料整合方法，可識別、擷取及傳送企業資料來源的變更。
事件來源
事件來源於 2005 年推出，是一種設計模式，可將應用程式狀態的每項變更擷取至事件物件。應用程式可運用事件來源，重建狀態、執行時間點復原 (處理事件直到該時間點為止)、在邏輯變更時重新計算狀態，或啟用命令查詢職責分離 (CQRS) 設計。隨著即時事件處理工具不斷演進，許多應用程式都改用事件來源模式。從歷史來看，由於原子性、一致性、獨立性和耐用性 (ACID) 的要求，交易資料庫一向以事件為導向。
交易式資料庫
在交易式資料庫中，資料庫即將執行的作業集通常會先寫入預寫記錄檔 (WAL)，然後才在儲存引擎上執行任何作業。在儲存空間引擎上執行作業並提交至 WAL 後，作業即視為成功。使用 WAL 可確保完整性和耐久性，並實現資料庫的高精確度複製。部分資料庫會將儲存空間層級的確切作業 (例如 write 0x41 on location 20) 寫入記錄，因此這些動作只能在相同的儲存空間引擎上複製 (或重做)。其他資料庫會記錄完整的邏輯陳述式 (或資料列)，可在不同的儲存引擎上重新執行。
活動與串流
Datastream 會從各種來源擷取大量資料，並以近乎即時的速度將資料傳送至目的地。Datastream 儲存的資料單位是事件。串流代表從來源持續擷取事件，並將事件寫入目的地。
一致的類型
資料來源有自己的類型，有些是資料庫專用，有些則是通用，可跨資料庫共用。由於許多不同來源都會產生串流，並傳送到統一目的地，因此必須有標準的統一方式，才能在所有來源中代表原始來源類型。統一類型是常見的無損方式，可代表所有來源的資料類型，以便以一致的方式使用。Datastream 支援的統一類型會代表所有支援來源系統中所有正規化類型的超集，因此所有類型都能無損支援。
實體脈絡
Datastream 包含五個實體：
- 私人連線設定可讓 Datastream 透過安全的私人網路連線與資料來源通訊。這類通訊會透過虛擬私有雲 (VPC) 對等互連進行。
- 連線設定檔代表連線至特定來源或目的地資料庫的連線資訊。
- 串流代表一組來源和目的地連線設定檔，以及串流專屬設定。