Ir al contenido principal
Áreas de tecnología
close
IA y AA
Desarrollo de aplicaciones
Hosting de aplicaciones
Procesamiento
Canalizaciones y análisis de datos
Bases de datos
Nubes distribuidas, híbridas y múltiples
Soluciones de la industria
Migración
Redes
Observabilidad y supervisión
Seguridad
Storage
Herramientas para uso entre productos
close
Administración de accesos y recursos
Administración de uso y costos
Infraestructura como código
SDK, lenguajes, frameworks y herramientas
/
Consola
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Acceder
Cloud Dataflow
Comenzar gratis
Descripción general
Guías
Dataflow ML
Referencia
Ejemplos
Recursos
Áreas de tecnología
Más
Descripción general
Guías
Dataflow ML
Referencia
Ejemplos
Recursos
Herramientas para uso entre productos
Más
Consola
Descubrimiento
Descripción general del producto
Casos de uso
Modelo de programación de Apache Beam
Comenzar
Comienza a usar Dataflow
Guías de inicio rápido
Usa el compilador de trabajos
Con una plantilla
Canalizaciones de compilación
Descripción general
Usa Apache Beam
Descripción general
Instalar el SDK de Apache Beam
Crea una canalización de Java
Crea una canalización de Python
Crea una canalización de Go
Usa la IU del compilador de trabajos
Descripción general de la IU del compilador de trabajos
Crea un trabajo personalizado
Cómo cargar y guardar archivos YAML de trabajos
Usa el editor de YAML del compilador de trabajos
Paquete e importación de transformaciones
Instructivo: Crea canalizaciones con el formulario de compilador en la IU del compilador de trabajos
Usa plantillas
Acerca de las plantillas
Ejecuta una plantilla de muestra
Plantillas proporcionadas por Google
Todas las plantillas proporcionadas
Crea funciones definidas por el usuario para plantillas
Usa certificados SSL con plantillas
Encripta los parámetros de la plantilla
Plantillas de Flex
Usa plantillas de Flex para empaquetar una canalización
Ejecuta plantillas de Flex
Compila y ejecuta una plantilla de Flex de ejemplo
Imágenes base de plantillas de Flex
Plantillas clásicas
Crea plantillas clásicas
Ejecuta plantillas clásicas
Usa notebooks
Comienza a usar notebooks
Usa las funciones avanzadas del notebook
E/S de Dataflow
E/S administrada
Prácticas recomendadas de E/S
Apache Iceberg
E/S administrada para Apache Iceberg
Leer desde Apache Iceberg
Escribe en Apache Iceberg
Escritura de transmisión en Apache Iceberg con el catálogo de REST de Lakehouse
Lectura de CDC desde Apache Iceberg con el catálogo de REST de Lakehouse
Apache Kafka
E/S administrada para Apache Kafka
Lee desde Apache Kafka
Escribe en Apache Kafka
Usa Managed Service para Apache Kafka
Comparativas de rendimiento: Apache Kafka a BigQuery
BigQuery
E/S administrada para BigQuery
Lee desde BigQuery
Escribe en BigQuery
Bigtable
Lee desde Bigtable
Escribe en Bigtable
Cloud Storage
Lee desde Cloud Storage
Escribir en Cloud Storage
Bases de datos
E/S administrada para bases de datos
Lectura desde Databases
Escribe en bases de datos
Pub/Sub
Lee desde Pub/Sub
Escribe en Pub/Sub
Comparativas de rendimiento: Pub/Sub a BigQuery
Enriquece datos
Transformación de enriquecimiento
Usa Apache Beam y Bigtable para enriquecer los datos
Usa Apache Beam y BigQuery para enriquecer los datos
Usa Apache Beam y Vertex AI Feature Store para enriquecer los datos
Prácticas recomendadas
Prácticas recomendadas para Dataflow
Prácticas recomendadas para canalizaciones de lotes grandes
Prácticas recomendadas para Pub/Sub a BigQuery
Ejecutar canalizaciones
Implementa canalizaciones
Usa el ejecutor portátil
Configura las opciones de canalización
Configura las opciones de canalización
Referencia de las opciones de canalización
Opciones del servicio de Dataflow
Configura las VMs de trabajador
Usa VMs de Arm
Administra las dependencias de la canalización
Configura el modo de transmisión de la canalización
Usa aceleradores (GPUs/TPUs)
GPU
Descripción general de la GPU
Compatibilidad de Dataflow para GPU
Prácticas recomendadas de GPU
Ejecuta una canalización con las GPU
Métricas de GPU
Usar las GPU NVIDIA L4
Usa el Servicio de procesamiento múltiple de NVIDIA
Procesa imágenes satelitales con las GPU
Solucionar problemas de GPU
TPU
Compatibilidad de Dataflow con las TPU
Ejecuta una canalización con TPUs
Guía de inicio rápido: Ejecuta Dataflow en TPU
Soluciona problemas de las TPU
Usar contenedores personalizados
Descripción general
Compila imágenes personalizadas de contenedores
Compila imágenes de contenedores de varias arquitecturas
Ejecuta un trabajo de Dataflow en un contenedor personalizado
Soluciona problemas de contenedores personalizados
Regiones
Supervisión
Descripción general
Panel de supervisión del proyecto
Personaliza el panel de supervisión
Supervisa trabajos
Lista de trabajos
Gráfico del trabajo
Información del paso del trabajo
Detalles de la ejecución
Métricas del trabajo
Costo estimado
Recomendaciones
Ajuste de escala automático
Use Cloud Monitoring
Usar Cloud Profiler
Registro
Registro de auditoría de Dataflow
Registro de auditoría de Data Pipelines
Trabaja con registros de canalización
Controla la transferencia de registros
Muestra de datos de canalización
Cómo ver el linaje de datos
Optimización
Usa Streaming Engine para trabajos de transmisión
Dataflow Shuffle para trabajos por lotes
Usa el ajuste de escala automático y el rebalanceo
Ajuste de escala automático horizontal
Ajusta el ajuste de escala automático horizontal de transmisión
Escalamiento dinámico de subprocesos
Ajuste adecuado
Información sobre el rebalanceo dinámico de trabajos
Usa Dataflow Prime
Acerca de Dataflow Prime
Ajuste de escala automático vertical
Usa las estadísticas de Dataflow
Usa la programación flexible de recursos
Usa las reservas de Compute Engine
Optimización de costos
Administrar
Actualizaciones de la canalización
Guía de actualización
Actualizar una canalización de transmisión
Detén una canalización en ejecución
Pausa un trabajo
Cuotas de solicitudes
Migra trabajos entre proyectos
Usa instantáneas de Dataflow
Trabaja con canalizaciones de datos
Usa Eventarc para administrar trabajos de Dataflow
Controla el acceso
Authentication
Roles y permisos de Dataflow
Seguridad y permisos
Especifica una red
Configura el acceso a Internet y las reglas de firewall
Usar claves de encriptación administradas por el cliente
Usa restricciones personalizadas
Guía de desarrollo de Dataflow
Planifica canalizaciones de datos
Ciclo de vida de la canalización
Desarrolla y prueba canalizaciones
Diseña flujos de trabajo de canalización
Representación de datos en canalizaciones de transmisión
Procesamiento “exactamente una vez”
Cargas de trabajo de ejemplo de Dataflow
Aprendizaje automático
Instructivos de AA de Python
Ejecuta un LLM en una canalización de transmisión
Comercio electrónico
Crear una canalización de transmisión de comercio electrónico
Patrones de tareas de Java
Transmite datos de Apache Kafka a BigQuery
Transmite de Pub/Sub a BigQuery
Importa datos de catálogos externos de Iceberg a Lakehouse
Importa archivos Parquet del almacenamiento a Lakehouse
Cargas de trabajo altamente paralelas de HPC
Descripción general
Acerca de HPC altamente paralelo con Dataflow
Prácticas recomendadas
Instructivo
Patrones de referencia
Migración desde MapReduce
Solución de problemas
Solución de problemas de canalización
Soluciona problemas de canalizaciones de transmisión
Soluciona problemas de trabajos de transmisión lentos o atascados
Soluciona problemas de demora en trabajos de transmisión
Soluciona problemas de cuellos de botella
Soluciona problemas de actualización de canalizaciones de transmisión
Soluciona problemas de canalizaciones por lotes
Soluciona problemas de trabajos por lotes lentos o atascados
Soluciona problemas de rezagados en trabajos por lotes
Soluciona problemas de errores de memoria insuficiente
Solucionar problemas de permisos
Solución de problemas de Herramientas de redes
Soluciona problemas de plantillas de Flex
Solución de problemas del ajuste de escala automático horizontal
Errores y códigos de error
Códigos de error de entrada y salida
Errores comunes de Dataflow
