跳至主要內容
技術領域
close
AI 和機器學習
應用程式開發
應用程式託管
運算
資料分析和管道
資料庫
分散式雲端、混合雲與多雲端
生成式 AI
產業解決方案
網路
觀測能力與監控
安全性
Storage
跨產品工具
close
存取權和資源管理
成本和用量管理
基礎架構即程式碼
遷移
SDK、語言、框架和工具
/
控制台
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
登入
Cloud Dataflow
免費試用
總覽
指南
Dataflow ML
參考資料
範例
資源
技術領域
更多
總覽
指南
Dataflow ML
參考資料
範例
資源
跨產品工具
更多
控制台
Discover
產品總覽
用途
Apache Beam 的程式設計模型
開始使用
開始使用 Dataflow
快速入門導覽課程
使用工作建構工具
使用範本
建構管道
總覽
使用 Apache Beam
總覽
安裝 Apache Beam SDK
建立 Java 管道
建立 Python 管道
建立 Go 管道
使用工作建構工具 UI
工作建構工具 UI 總覽
建立自訂工作
載入及儲存工作 YAML 檔案
使用工作建構工具 YAML 編輯器
封裝及匯入轉換
使用範本
關於範本
執行範本範例
Google 提供的範本
所有提供的範本
為範本建立 user-defined function
使用範本搭配 SSL 憑證
加密範本參數
Flex 範本
建構及執行 Flex 範本
設定 Flex 範本
Flex 範本基本映像檔
傳統範本
建立傳統範本
執行傳統範本
使用筆記本
開始使用筆記本
使用進階筆記本功能
Dataflow I/O
代管 I/O
I/O 最佳做法
Apache Iceberg
Apache Iceberg 的代管 I/O
從 Apache Iceberg 讀取
寫入 Apache Iceberg
使用 BigLake REST 目錄將串流寫入 Apache Iceberg
透過 BigLake REST 目錄從 Apache Iceberg 讀取 CDC 資料
Apache Kafka
Apache Kafka 的代管 I/O
從 Apache Kafka 讀取
寫入 Apache Kafka
使用 Managed Service for Apache Kafka
BigQuery
BigQuery 的代管 I/O
從 BigQuery 讀取
寫入 BigQuery
Bigtable
從 Bigtable 讀取
寫入 Bigtable
Cloud Storage
從 Cloud Storage 讀取
寫入 Cloud Storage
Pub/Sub
從 Pub/Sub 讀取
寫入 Pub/Sub
充實資料
補充資料轉換
使用 Apache Beam 和 Bigtable 充實資料
使用 Apache Beam 和 BigQuery 充實資料
使用 Apache Beam 和 Vertex AI 特徵儲存庫充實資料
最佳做法
Dataflow 最佳做法
大型批次管道最佳做法
Pub/Sub 到 BigQuery 最佳做法
執行管道
部署管道
使用 Dataflow Runner v2
設定管道選項
設定管道選項
管道選項參考資料
Dataflow 服務選項
設定 worker VM
使用 Arm VM
管理管道依附元件
設定管道串流模式
使用加速器 (GPU/TPU)
GPU
GPU 總覽
Dataflow 支援 GPU
GPU 最佳做法
使用 GPU 執行管道
使用 NVIDIA L4 GPU
使用 NVIDIA Multi-Processing Service
使用 GPU 處理衛星圖像
疑難排解 GPU 問題
TPU
Dataflow 支援 TPU
使用 TPU 執行管道
快速入門導覽課程：在 TPU 上執行 Dataflow
疑難排解 TPU 問題
使用自訂容器
總覽
建構自訂容器映像檔
建構多架構容器映像檔
在自訂容器中執行 Dataflow 工作
疑難排解自訂容器問題
區域
監控
總覽
專案監控資訊主頁
自訂監控資訊主頁
監控工作
工作清單
工作圖表
工作步驟資訊
執行作業詳細資料
工作指標
預估費用
建議
自動調度資源
使用 Cloud Monitoring
使用 Cloud Profiler
記錄
Dataflow 的稽核記錄
Data Pipelines 的稽核記錄
使用管道記錄
控管記錄擷取作業
管道資料範例
查看資料歷程
最佳化
使用 Streaming Engine 處理串流工作
批次工作的 Dataflow Shuffle
使用自動調整資源配置和重新平衡功能
自動水平調度資源
調整串流水平自動調度資源
動態執行緒資源配置
最適資源配置
瞭解動態重新平衡工作
使用 Dataflow Prime
關於 Dataflow Prime
自動垂直調度資源
使用 Dataflow Insights
使用彈性資源排程
使用 Compute Engine 預留項目
實現最佳成本效益
管理
管道更新
升級指南
更新串流管道
停止執行中的管道
要求配額
使用 Dataflow 快照
使用資料管道
使用 Eventarc 管理 Dataflow 工作
控管存取權
Authentication
Dataflow 角色和權限
安全性和權限
指定網路
設定網路連線能力與防火牆規則
使用客戶自行管理的加密金鑰
使用自訂限制
Dataflow 開發指南
規劃資料管道
管道生命週期
開發及測試管道
設計管道工作流程
串流管道中的資料表示法
僅需處理一次
Dataflow 工作負載範例
機器學習
Python 機器學習教學課程
在串流管道中執行 LLM
電子商務
建立電子商務串流管道
