Ir para o conteúdo principal
Áreas de tecnologia
close
IA e aprendizagem automática
Desenvolvimento de aplicações
Alojamento de aplicações
Computação
Estatísticas e pipelines de dados
Bases de dados
Sistema distribuído, híbrido e de várias nuvens
IA generativa
Soluções para setores
Trabalho em rede
Observabilidade e monitorização
Segurança
Storage
Ferramentas de produtos cruzados
close
Gestão de acesso e recursos
Gestão de custos e utilização
Infraestrutura como código
Migração
SDK, linguagens, frameworks e ferramentas
/
Console
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Fazer login
Data analytics
Cloud Dataflow
Começar gratuitamente
Vista geral
Guias
Dataflow ML
Referência
Amostras
Recursos
Áreas de tecnologia
Mais
Vista geral
Guias
Dataflow ML
Referência
Amostras
Recursos
Ferramentas de produtos cruzados
Mais
Console
Descubra
Vista geral do produto
Exemplos de utilização
Modelo de programação para o Apache Beam
Começar
Comece a usar o Dataflow
Inícios rápidos
Use o criador de tarefas
Use um modelo
Crie pipelines
Vista geral
Use o Apache Beam
Vista geral
Instale o SDK do Apache Beam
Crie um pipeline Java
Crie um pipeline Python
Crie um pipeline do Go
Use a IU do criador de tarefas
Vista geral da IU do criador de tarefas
Crie uma tarefa personalizada
Carregue e guarde ficheiros YAML de tarefas
Use o editor YAML do criador de tarefas
Empacote e importe transformações
Use modelos
Acerca dos modelos
Execute um modelo de exemplo
Modelos fornecidos pela Google
Todos os modelos fornecidos
Crie funções definidas pelo utilizador para modelos
Use certificados SSL com modelos
Encriptar parâmetros de modelos
Modelos flexíveis
Use modelos flexíveis para criar um pacote de uma pipeline
Execute modelos flexíveis
Crie e execute um modelo flexível de exemplo
Imagens de base dos modelos flexíveis
Modelos clássicos
Crie modelos clássicos
Execute modelos clássicos
Use notebooks
Comece a usar os notebooks
Use funcionalidades avançadas do bloco de notas
E/S do Dataflow
I/O gerido
Práticas recomendadas de E/S
Apache Iceberg
E/S gerida para Apache Iceberg
Leia a partir do Apache Iceberg
Escreva no Apache Iceberg
Streaming de gravação no Apache Iceberg com o catálogo REST do BigLake
Leitura de CDC do Apache Iceberg com o catálogo REST do BigLake
Apache Kafka
E/S gerida para Apache Kafka
Leia a partir do Apache Kafka
Escreva no Apache Kafka
Use o Managed Service para Apache Kafka
BigQuery
E/S gerida para o BigQuery
Ler a partir do BigQuery
Escrever no BigQuery
Bigtable
Ler a partir do Bigtable
Escreva no Bigtable
Cloud Storage
Ler a partir do Cloud Storage
Escreva no Cloud Storage
Pub/Sub
Ler a partir do Pub/Sub
Escrever no Pub/Sub
Referências de desempenho: Pub/Sub para BigQuery
Enriqueça os dados
Transformação de enriquecimento
Use o Apache Beam e o Bigtable para enriquecer os dados
Use o Apache Beam e o BigQuery para enriquecer dados
Use o Apache Beam e o Vertex AI Feature Store para enriquecer os dados
Práticas recomendadas
Práticas recomendadas para o fluxo de dados
Práticas recomendadas para pipelines de processamento em massa de grande volume
Práticas recomendadas do Pub/Sub para o BigQuery
Executar pipelines
Implemente pipelines
Use o executor do Dataflow v2
Configure as opções de pipeline
Defina opções de tubagens
Referência das opções de pipeline
Opções do serviço Dataflow
Configure VMs de trabalho
Use VMs Arm
Faça a gestão das dependências do pipeline
Defina o modo de streaming da pipeline
Use aceleradores (GPUs/TPUs)
GPUs
Vista geral da GPU
Compatibilidade do Dataflow com GPUs
Práticas recomendadas para GPUs
Execute um pipeline com GPUs
Use GPUs NVIDIA L4
Use o serviço de multiprocessamento da NVIDIA
Processe imagens de satélite com GPUs
Resolva problemas com GPUs
TPUs
Compatibilidade do Dataflow com TPUs
Execute um pipeline com TPUs
Início rápido: executar o Dataflow em TPUs
Resolva problemas com TPUs
Use contentores personalizados
Vista geral
Crie imagens de contentores personalizadas
Crie imagens de contentores de várias arquiteturas
Execute uma tarefa do Dataflow num contentor personalizado
Resolva problemas de contentores personalizados
Regiões
Monitor
Vista geral
Painel de controlo de monitorização de projetos
Personalize o painel de controlo de monitorização
Monitorize tarefas
Lista de tarefas
Gráficos de tarefas
Informações sobre o passo da tarefa
Detalhes da execução
Métricas de empregos
Custo estimado
Recomendações
Escala automática
Utilize o Cloud Monitoring
Use o Cloud Profiler
Registo
Registo de auditoria para o Dataflow
Registo de auditoria para data pipelines
Trabalhe com registos de pipelines
Controlar o carregamento de registos
Dados de pipeline de exemplo
Veja a linhagem de dados
Otimizar
Use o Streaming Engine para tarefas de streaming
Dataflow Shuffle para tarefas em lote
Use a escala automática e o reequilíbrio
Escala automática horizontal
Ajuste a escala automática horizontal de streaming
Dimensionamento dinâmico de threads
Encaixe à direita
Compreenda o reequilíbrio dinâmico do trabalho
Use o Dataflow Prime
Acerca do Dataflow Prime
Escala automática vertical
Use as Estatísticas do Dataflow
Use o agendamento flexível de recursos
Use reservas do Compute Engine
Otimize os custos
Gerir
Atualizações de pipelines
Guia de atualização
Atualize um pipeline de streaming
Pare uma pipeline em execução
Quotas de pedidos
Migre tarefas entre projetos
Use instantâneos do Dataflow
Trabalhe com data pipelines
Use o Eventarc para gerir tarefas do Dataflow
Controle o acesso
Authentication
Funções e autorizações do fluxo de dados
Segurança e autorizações
Especifique uma rede
Configure o acesso à Internet e as regras de firewall
Use chaves de encriptação geridas pelo cliente
Use restrições personalizadas
Guia de desenvolvimento do Dataflow
Planeie data pipelines
Ciclo de vida da pipeline
Desenvolva e teste pipelines
Crie fluxos de trabalho de pipelines de design
Representação de dados em pipelines de streaming
Processamento exatamente uma vez
Exemplos de cargas de trabalho do Dataflow
Aprendizagem automática
Tutoriais de ML em Python
Execute um GML numa pipeline de streaming
Comércio eletrónico
Crie um pipeline de streaming de comércio eletrónico
Padrões de tarefas Java
Faça stream do Apache Kafka para o BigQuery
Faça streaming do Pub/Sub para o BigQuery
Cargas de trabalho altamente paralelas de HPC
Vista geral
Acerca do HPC altamente paralelo com o Dataflow
Práticas recomendadas
Tutorial
Padrões de referência
Migre do MapReduce
Resolver problemas
Resolva problemas com pipelines
Resolva problemas de pipelines de streaming
