跳至主要内容
技术领域
close
AI 和机器学习
应用开发
应用托管
计算
数据分析和流水线
数据库
分布式云、混合云和多云
生成式 AI
行业解决方案
网络
可观测性和监控
安全
Storage
跨产品工具
close
访问权限和资源管理
费用和用量管理
基础设施即代码
迁移
SDK、语言、框架和工具
/
控制台
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
登录
Cloud Dataflow
免费开始使用吧
概览
指南
Dataflow 机器学习
参考文档
示例
资源
技术领域
更多
概览
指南
Dataflow 机器学习
参考文档
示例
资源
跨产品工具
更多
控制台
Discover
产品概览
用例
Apache Beam 的编程模型
开始使用
开始使用 Dataflow
快速入门
使用作业构建器
使用模板
构建流水线
概览
使用 Apache Beam
概览
安装 Apache Beam SDK
创建 Java 流水线
创建 Python 流水线
创建 Go 流水线
使用作业构建器界面
作业构建器界面概览
创建自定义作业
加载和保存作业 YAML 文件
使用作业构建器 YAML 编辑器
软件包和导入转换
使用模板
模板简介
运行示例模板
Google 提供的模板
所有提供的模板
为模板创建用户自定义函数
将 SSL 证书与模板搭配使用
加密模板参数
Flex 模板
使用 Flex 模板打包流水线
运行 Flex 模板
构建并运行示例 Flex 模板
Flex 模板基础映像
经典模板
创建经典模板
运行经典模板
使用笔记本
笔记本使用入门
使用高级笔记本功能
Dataflow I/O
托管式 I/O
I/O 最佳实践
Apache Iceberg
适用于 Apache Iceberg 的托管式 I/O
从 Apache Iceberg 读取数据
将数据写入 Apache Iceberg
使用 BigLake REST 目录向 Apache Iceberg 进行流式写入
使用 BigLake REST 目录从 Apache Iceberg 读取 CDC 数据
Apache Kafka
适用于 Apache Kafka 的托管式 I/O
从 Apache Kafka 读取
写入 Apache Kafka
使用适用于 Apache Kafka 的托管式服务
BigQuery
适用于 BigQuery 的托管式 I/O
从 BigQuery 中读取
写入 BigQuery
Bigtable
从 Bigtable 中读取
写入 Bigtable
Cloud Storage
从 Cloud Storage 读取数据
写入 Cloud Storage
Pub/Sub
从 Pub/Sub 读取
写入 Pub/Sub
性能基准：Pub/Sub 到 BigQuery
丰富数据
扩充转换
使用 Apache Beam 和 Bigtable 来丰富数据
使用 Apache Beam 和 BigQuery 来丰富数据
使用 Apache Beam 和 Vertex AI Feature Store 来丰富数据
最佳实践
Dataflow 最佳实践
大批量流水线最佳实践
Pub/Sub 到 BigQuery 最佳实践
运行流水线
部署流水线
使用 Dataflow Runner v2
配置流水线选项
设置流水线选项
流水线选项参考文档
Dataflow 服务选项
配置工作器虚拟机
使用 Arm 虚拟机
管理流水线依赖项
设置流水线流处理模式
使用加速器 (GPU/TPU)
GPU
GPU 概览
GPU 的 Dataflow 支持
GPU 最佳实践
使用 GPU 运行流水线
使用 NVIDIA L4 GPU
使用 NVIDIA 多处理服务
使用 GPU 处理卫星图像
排查 GPU 问题
TPU
Dataflow 对 TPU 的支持
使用 TPU 运行流水线
快速入门：在 TPU 上运行 Dataflow
排查 TPU 问题
使用自定义容器
概览
构建自定义容器映像
构建多架构容器映像
在自定义容器中运行 Dataflow 作业
自定义容器问题排查
Regions
监控
概览
项目监控信息中心
自定义监控信息中心
监控作业
作业列表
作业图
作业步骤信息
执行详细信息
作业指标
估算的费用
建议
自动扩缩
