Ir al contenido principal
Áreas tecnológicas
close
IA y aprendizaje automático
Desarrollo de aplicaciones
Alojamiento de aplicaciones
Computación
Analíticas y flujos de datos
Bases de datos
Tecnologías distribuidas, híbridas y multinube
IA generativa
Soluciones por sector
Redes
Observabilidad y monitorización
Seguridad
Storage
Herramientas para varios productos
close
Gestión de accesos y recursos
Gestión de costes y uso
Infraestructura como código
Migración
SDK, lenguajes, frameworks y herramientas
/
Consola
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Acceder
Data analytics
Cloud Dataflow
Empezar gratis
Introducción
Guías
Dataflow ML
Referencia
Ejemplos
Recursos
Áreas tecnológicas
Más
Introducción
Guías
Dataflow ML
Referencia
Ejemplos
Recursos
Herramientas para varios productos
Más
Consola
Descubrir
Descripción general del producto
Casos prácticos
Modelo de programación de Apache Beam
Empezar
Empezar a usar Dataflow
Guías de inicio rápido
Usar el creador de tareas
Utilizar una plantilla
Creación de flujos de procesamiento
Introducción
Usar Apache Beam
Introducción
Instalar el SDK de Apache Beam
Crear un flujo de procesamiento de Java
Crear un flujo de procesamiento de Python
Crear un flujo de procesamiento de Go
Usar la interfaz de usuario del creador de trabajos
Descripción general de la interfaz de usuario de Creador de tareas
Crear una tarea personalizada
Cargar y guardar archivos YAML de trabajos
Usar el editor YAML de creador de trabajos
Empaquetar e importar transformaciones
Usar plantillas
Acerca de las plantillas
Ejecutar una plantilla de ejemplo
Plantillas proporcionadas por Google
Todas las plantillas proporcionadas
Crear funciones definidas por el usuario para plantillas
Usar certificados SSL con plantillas
Cifrar parámetros de plantilla
Plantillas Flex
Usar plantillas Flex para empaquetar una canalización
Ejecutar plantillas Flex
Crear y ejecutar una plantilla Flex de ejemplo
Imágenes base de plantillas Flex
Plantillas clásicas
Crear plantillas clásicas
Ejecutar plantillas clásicas
Usar cuadernos
Empezar a usar cuadernos
Usar funciones avanzadas de cuaderno
Entrada/salida de Dataflow
E/S gestionada
Prácticas recomendadas de E/S
Apache Iceberg
Gestión de E/S para Apache Iceberg
Lectura de Apache Iceberg
Escribir en Apache Iceberg
Escritura de streaming en Apache Iceberg con el catálogo REST de BigLake
Lectura de CDC de Apache Iceberg con el catálogo REST de BigLake
Apache Kafka
E/S gestionada para Apache Kafka
Leer desde Apache Kafka
Escribir en Apache Kafka
Usar Managed Service para Apache Kafka
BigQuery
E/S gestionada para BigQuery
Leer desde BigQuery
Escribir en BigQuery
Bigtable
Leer desde Bigtable
Escribir en Bigtable
Cloud Storage
Leer de Cloud Storage
Escribir en Cloud Storage
Pub/Sub
Leer de Pub/Sub
Escribir en Pub/Sub
Comparativas de rendimiento: Pub/Sub a BigQuery
Enriquecer datos
Transformación de enriquecimiento
Usar Apache Beam y Bigtable para enriquecer datos
Usar Apache Beam y BigQuery para enriquecer datos
Usar Apache Beam y Vertex AI Feature Store para enriquecer datos
Prácticas recomendadas
Prácticas recomendadas de Dataflow
Prácticas recomendadas para las canalizaciones de lotes grandes
Prácticas recomendadas para Pub/Sub a BigQuery
Ejecutar flujos de procesamiento
Flujos de procesamiento de despliegue
Usar Dataflow Runner v2
Configurar las opciones del flujo de procesamiento
Definir opciones de flujo de procesamiento
Referencia de las opciones de flujo de procesamiento
Opciones del servicio Dataflow
Configurar VMs de trabajador
Usar VMs Arm
Gestionar dependencias de la canalización
Definir el modo de streaming de la canalización
Usar aceleradores (GPUs o TPUs)
GPUs
Información general sobre las GPUs
Compatibilidad de Dataflow con GPUs
Prácticas recomendadas para GPUs
Ejecutar una canalización con GPUs
Usar GPUs NVIDIA L4
Usar el servicio multiproceso de NVIDIA
Procesar imágenes de satélite con GPUs
Solucionar problemas con las GPUs
TPUs
Compatibilidad de Dataflow con las TPUs
Ejecutar un flujo de procesamiento con TPUs
Guía de inicio rápido: ejecutar Dataflow en TPUs
Solucionar problemas de TPUs
Usar contenedores personalizados
Introducción
Crear imágenes de contenedor personalizadas
Crear imágenes de contenedor de varias arquitecturas
Ejecutar un trabajo de Dataflow en un contenedor personalizado
Solucionar problemas con los contenedores personalizados
Zonas o países
Monitorizar
Introducción
Panel de control de monitorización de proyectos
Personalizar el panel de control de monitorización
Monitorizar tareas
Lista de tareas
Gráficos de tareas
Información sobre el paso de la tarea
Detalles de ejecución
Métricas de tareas
Coste estimado
Recomendaciones
Autoescalado
Usa Cloud Monitoring
Usar Cloud Profiler
Registros
Registros de auditoría de Dataflow
Registros de auditoría de Data Pipelines
Trabajar con registros de canalizaciones
Controlar la ingestión de registros
Datos de ejemplo de un flujo de procesamiento
Ver el linaje de datos
Optimizar
Usar Streaming Engine en tareas de streaming
Shuffle de Dataflow para tareas por lotes
Usar el escalado y el reequilibrio automáticos
Autoescalado horizontal
Ajustar el autoescalado horizontal de streaming
Escalado dinámico de hilos
Ajuste adecuado
Información sobre el restablecimiento dinámico del equilibrio de trabajos
Usar Dataflow Prime
Acerca de Dataflow Prime
Autoescalado vertical
Usar Estadísticas de Dataflow
Usar la programación flexible de recursos
Usar reservas de Compute Engine
Optimización de costes
Gestionar
Actualizaciones de la canalización
Guía de actualización
Actualizar un flujo de procesamiento
Detener un flujo de procesamiento en ejecución
Cuotas de solicitudes
Migrar tareas entre proyectos
Usar capturas de Dataflow
Trabajar con flujos de datos
Usar Eventarc para gestionar trabajos de Dataflow
Controlar accesos
Authentication
Roles y permisos de Dataflow
Seguridad y permisos
Especificar una red
Configurar el acceso a Internet y las reglas de cortafuegos
Usar claves de encriptado gestionadas por el cliente
Usar restricciones personalizadas
Guía de desarrollo de Dataflow
Planificar flujos de procesamiento de datos
Ciclo de vida de una canalización
Desarrollar y probar flujos de trabajo
Diseñar flujos de trabajo de la canalización
Representación de datos en flujos de procesamiento de streaming
Procesamiento exacto
Ejemplos de cargas de trabajo de Dataflow
Aprendizaje automático
Tutoriales de aprendizaje automático de Python
Ejecutar un LLM en un flujo de procesamiento de streaming
Comercio electrónico
Crear un flujo de procesamiento de streaming de comercio electrónico
Patrones de tareas de Java
Transmitir datos de Apache Kafka a BigQuery
Transmitir datos de Pub/Sub a BigQuery
Cargas de trabajo de HPC altamente paralelas
Introducción
Información sobre la computación de alto rendimiento altamente paralela con Dataflow
Prácticas recomendadas
Tutorial
Patrones de referencia
Migrar desde MapReduce
Solucionar problemas
Solucionar problemas de flujos de trabajo
Solucionar problemas de flujos de procesamiento en streaming
Solucionar problemas de tareas de streaming lentas o bloqueadas
Solucionar problemas de retrasos en las tareas de streaming
Solucionar cuellos de botella
Solucionar problemas de actualización de la canalización de streaming
Solucionar problemas de flujos de procesamiento por lotes
Solucionar problemas con tareas por lotes lentas o bloqueadas
Solucionar problemas de retrasos en tareas por lotes
Solucionar errores de falta de memoria
Solucionar problemas de permisos
Solucionar problemas de red
Solucionar problemas de plantillas Flex
Solucionar problemas de autoescalado horizontal
