Ir para o conteúdo principal
Áreas de tecnologia
close
IA e ML
Desenvolvimento de aplicativos
Hospedagem de aplicativos
Computação
Pipelines e análises de dados
Bancos de dados
Distribuído, híbrido e multicloud
Soluções por setor
Migração
Rede
Observabilidade e monitoramento
Segurança
Storage
Ferramentas de vários produtos
close
Gerenciamento de recursos e acesso
Gerenciamento de custos e uso
Infraestrutura como código
SDK, linguagens, frameworks e ferramentas
/
Console
English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Fazer login
Cloud Dataflow
Comece sem custos financeiros
Visão geral
Guias
ML do Dataflow
Referência
Exemplos
Recursos
Áreas de tecnologia
Mais
Visão geral
Guias
ML do Dataflow
Referência
Exemplos
Recursos
Ferramentas de vários produtos
Mais
Console
Descoberta
Visão geral do produto
Casos de uso
Modelo de programação para o Apache Beam
Começar
Para começar com o Dataflow
Guias de início rápido
Usar o builder de jobs
Usar um modelo
Criar pipelines
Visão geral
Usar o Apache Beam
Visão geral
Instale o SDK do Apache Beam
Criar um pipeline em Java
Criar um pipeline em Python
Criar um pipeline em Go
Usar a interface do builder de jobs
Visão geral UI interface do job builder
Crie um job personalizado
Carregar e salvar arquivos YAML de job
Usar o editor YAML do builder de jobs
Empacotar e importar transformações
Tutorial: criar pipelines usando o formulário do builder na interface do job builder
Usar modelos
Sobre modelos
Executar um modelo de amostra
Modelos fornecidos pelo Google
Todos os modelos fornecidos
Criar funções definidas pelo usuário para modelos
Usar certificados SSL com modelos
Criptografar parâmetros de modelo
Modelos Flex
Usar modelos Flex para empacotar um pipeline
Executar modelos Flex
Criar e executar um exemplo de modelo Flex
Imagens de base dos modelos flexíveis
Modelos clássicos
Criar modelos clássicos
Executar modelos clássicos
Usar notebooks
Começar a usar os notebooks
Usar recursos avançados de notebook
E/S do Dataflow
E/S gerenciada
Práticas recomendadas de E/S
Apache Iceberg
E/S gerenciada para Apache Iceberg
Ler no Apache Iceberg
Gravar no Apache Iceberg
Gravação de streaming no Apache Iceberg com o catálogo REST do Lakehouse
Leitura de CDC do Apache Iceberg com o catálogo REST do Lakehouse
Apache Kafka
E/S gerenciada para Apache Kafka
Ler do Apache Kafka
Gravar no Apache Kafka
Usar o serviço gerenciado para Apache Kafka
Comparativos de performance: Apache Kafka para BigQuery
BigQuery
E/S gerenciada para BigQuery
Ler pelo BigQuery
Gravar no BigQuery
Bigtable
Ler do Bigtable
Gravar no Bigtable
Cloud Storage
Ler do Cloud Storage
Gravar no Cloud Storage
Bancos de dados
E/S gerenciada para bancos de dados
Ler de bancos de dados
Gravar em bancos de dados
Pub/Sub
Ler do Pub/Sub
Gravar no Pub/Sub
Comparativos de performance: Pub/Sub para BigQuery
Enriquecer dados
Transformação de enriquecimento
Usar o Apache Beam e o Bigtable para enriquecer dados
Usar o Apache Beam e o BigQuery para enriquecer dados
Usar o Apache Beam e o Vertex AI Feature Store para enriquecer dados
Práticas recomendadas
Práticas recomendadas do Dataflow
Práticas recomendadas para pipelines de lotes grandes
Práticas recomendadas do Pub/Sub para o BigQuery
Executar pipelines
Implantar canais
Usar o Portable Runner
Configurar opções de pipeline
Definir opções de canal
Referência das opções de pipeline
Opções de serviço do Dataflow
Configurar VMs de worker
Usar VMs do Arm
Gerenciar dependências do pipeline
Definir o modo de streaming do pipeline
Usar aceleradores (GPUs/TPUs)
GPUs
Visão geral da GPU
Compatibilidade do Dataflow com GPUs
Práticas recomendadas para GPU
Executar um pipeline com GPUs
Métricas da GPU
Usar GPUs NVIDIA L4
Usar o serviço de multiprocessamento NVIDIA
Processar imagens de satélite com GPUs
Resolver problemas de GPUs
TPUs
Suporte do Dataflow para TPUs
Executar um pipeline com TPUs
Guia de início rápido: como executar o Dataflow em TPUs
Resolver problemas de TPUs
Usar contêineres personalizados
Visão geral
Criar imagens de contêiner personalizadas
Crie imagens de contêineres com várias arquiteturas
Executar um job do Dataflow em um contêiner personalizado
Resolver problemas com contêineres personalizados
Regiões
Monitoramento
Visão geral
Painel de monitoramento do projeto
Personalizar o painel de monitoramento
Monitorar jobs
Lista de jobs
Gráficos do job
Informações da etapa do job
Detalhes da execução
Métricas do job
Custo estimado
Recomendações
Escalonamento automático
Usar o Cloud Monitoring
Usar o Cloud Profiler.
Logging
Geração de registros de auditoria para o Dataflow
Geração de registros de auditoria para pipelines de dados
