Passer au contenu principal
Domaines technologiques
close
IA et ML
Développement d'applications
Hébergement d'applications
Calcul
Analyses de données et pipelines
Bases de données
Solutions distribuées, hybrides et multicloud
Solutions par secteur d'activité
Migration
Mise en réseau
Observabilité et surveillance
Sécurité
Storage
Outils de produits croisés
close
Gestion des accès et des ressources
Gestion des coûts et de l'utilisation
Infrastructure as Code
SDK, langages, frameworks et outils
/
Console
English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Connexion
Cloud Dataflow
Commencer l'essai gratuit
Aperçu
Guides
Dataflow ML
Référence
Exemples
Ressources
Domaines technologiques
Plus
Aperçu
Guides
Dataflow ML
Référence
Exemples
Ressources
Outils de produits croisés
Plus
Console
Découvrir
Vue d'ensemble du produit
Cas d'utilisation
Modèle de programmation pour Apache Beam
Premiers pas
Premiers pas avec Dataflow.
Guides de démarrage rapide
Utiliser le générateur de jobs
Utiliser un modèle
Pipelines de compilation
Aperçu
Utiliser Apache Beam
Aperçu
Installer le SDK Apache Beam
Créer un pipeline Java
Créer un pipeline Python
Créer un pipeline Go
Utiliser l'interface utilisateur du générateur de jobs
Présentation de l'UI du générateur de jobs
Créer une tâche personnalisée
Charger et enregistrer des fichiers YAML de tâches
Utiliser l'éditeur YAML du générateur de jobs
Empaqueter et importer des transformations
Tutoriel : Créer des pipelines à l'aide du formulaire de création dans l'UI du générateur de jobs
Utiliser des modèles
À propos des modèles
Exécuter un exemple de modèle
Modèles fournis par Google
Tous les modèles fournis
Créer des fonctions définies par l'utilisateur pour les modèles
Utiliser des certificats SSL avec des modèles
Chiffrer les paramètres de modèle
Modèles Flex
Utiliser des modèles Flex pour empaqueter un pipeline
Exécuter des modèles Flex
Créer et exécuter un exemple de modèle Flex
Images de base des modèles Flex
Modèles classiques
Créer des modèles classiques
Exécuter des modèles classiques
Utiliser des notebooks
Premiers pas avec les notebooks
Utiliser les fonctionnalités avancées du notebook
E/S Dataflow
E/S gérées
Bonnes pratiques concernant les E/S
Apache Iceberg
E/S gérées pour Apache Iceberg
Lire à partir d'Apache Iceberg
Écrire dans Apache Iceberg
Écriture en flux continu dans Apache Iceberg avec le catalogue REST Lakehouse
Lecture CDC depuis Apache Iceberg avec le catalogue REST Lakehouse
Apache Kafka
E/S gérées pour Apache Kafka
Lire des données depuis Apache Kafka
Écrire dans Apache Kafka
Utiliser Managed Service pour Apache Kafka
Benchmarks de performances : Apache Kafka vers BigQuery
BigQuery
E/S gérées pour BigQuery
Procéder à la lecture dans BigQuery
Écrire dans BigQuery
Bigtable
Lire à partir de Bigtable
Écrire dans Bigtable
Cloud Storage
Lire à partir de Cloud Storage
Écrire dans Cloud Storage
Bases de données
E/S gérées pour les bases de données
Lire des données à partir de bases de données
Écrire dans des bases de données
Pub/Sub
Lire à partir de Pub/Sub
Écrire dans Pub/Sub
Benchmarks de performances : Pub/Sub vers BigQuery
Enrichir les données
Transformation d'enrichissement
Utiliser Apache Beam et Bigtable pour enrichir les données
Utiliser Apache Beam et BigQuery pour enrichir les données
Utiliser Apache Beam et Vertex AI Feature Store pour enrichir les données
Bonnes pratiques
Bonnes pratiques pour Dataflow
Bonnes pratiques pour les pipelines de lots volumineux
Bonnes pratiques pour Pub/Sub vers BigQuery
Exécuter des pipelines
Déployer des pipelines
Utiliser Portable Runner
Configurer les options de pipeline
Définir les options de pipeline
Documentation de référence sur les options de pipeline
Options du service Dataflow
Configurer les VM de nœud de calcul
Utiliser des VM basées sur l'architecture ARM
Gérer les dépendances de pipeline
Définir le mode de traitement par flux du pipeline
Utiliser des accélérateurs (GPU/TPU)
GPU
Présentation des GPU
Compatibilité de Dataflow avec les GPU
Bonnes pratiques concernant les GPU
Exécuter un pipeline avec des GPU
Métriques concernant les GPU
Utiliser les GPU NVIDIA L4
Utiliser le service multitraitement NVIDIA
Traiter des images satellite avec des GPU
Résoudre les problèmes liés aux GPU
TPU
Compatibilité de Dataflow avec les TPU
Exécuter un pipeline avec des TPU
Démarrage rapide : exécuter Dataflow sur des TPU
Résoudre les problèmes liés aux TPU
Utiliser des conteneurs personnalisés
Aperçu
Créer des images de conteneurs personnalisées
Créer des images de conteneurs multi-architectures
Exécuter un job Dataflow dans un conteneur personnalisé
Résoudre les problèmes liés aux conteneurs personnalisés
Régions
Surveiller
Aperçu
Tableau de bord de surveillance des projets
Personnaliser le tableau de bord de surveillance
Surveiller les jobs
Liste des jobs
Graphiques de job
Informations sur les étapes du job
Execution details
Métriques de tâche
Coût estimé
Recommandations
Autoscaling
Utilisez Cloud Monitoring
Utiliser Cloud Profiler
Journalisation
Journaux d'audit pour Dataflow
Journaux d'audit pour les pipelines de données
Utiliser les journaux de pipeline
Contrôler l'ingestion de journaux
Exemples de données de pipeline
Afficher la traçabilité des données
Optimiser
Utiliser Streaming Engine pour les jobs par flux
Dataflow Shuffle pour les tâches par lot
Utiliser le scaling et le rééquilibrage automatiques
Autoscaling horizontal
Régler l'autoscaling horizontal de flux
Scaling dynamique de threads
Adaptation des ressources
Comprendre le rééquilibrage dynamique du travail
Utiliser Dataflow Prime
À propos de Dataflow Prime
Autoscaling vertical
Utiliser les insights Dataflow
Utiliser la planification flexible des ressources
Utiliser des réservations Compute Engine
Optimiser les coûts
Gérer
Mises à jour des pipelines
Guide de mise à niveau
Mettre à jour un pipeline de streaming
Arrêter un pipeline en cours d'exécution
Suspendre un job
Quotas de requêtes
Migrer des jobs entre des projets
Utiliser des instantanés Dataflow
Utiliser des pipelines de données
Utiliser Eventarc pour gérer des jobs Dataflow
Contrôler les accès
Authentication
Rôles et autorisations Dataflow
Sécurité et autorisations
Spécifier un réseau
Configurer des règles d'accès à Internet et de pare-feu
Utiliser des clés de chiffrement gérées par le client
Utiliser des contraintes personnalisées
Guide de développement Dataflow
Planifier des pipelines de données
Cycle de vie du pipeline
Développer et tester des pipelines
Concevoir des workflows de pipeline
Représentation des données dans les pipelines de traitement par flux
Traitement de type "exactement une fois"
Exemples de charges de travail Dataflow
Machine learning
Tutoriels ML Python
Exécuter un LLM dans un pipeline de traitement par flux
E-commerce
Créer un pipeline de streaming d'e-commerce
Modèles de tâche Java
Diffuser des données depuis Apache Kafka vers BigQuery
Diffuser des données en streaming depuis Pub/Sub vers BigQuery
Importer des données depuis des catalogues Iceberg externes vers Lakehouse
Importer des fichiers Parquet du stockage vers Lakehouse
Charges de travail HPC hautement parallèles
Aperçu
À propos du HPC hautement parallèle avec Dataflow
Bonnes pratiques
Tutoriel
Modèles de référence
Migrer à partir de MapReduce
Dépannage
Résoudre les problèmes liés aux pipelines
Résoudre les problèmes liés aux pipelines de traitement par flux
Résoudre les problèmes liés aux jobs de traitement en flux continu lents ou bloqués
Résoudre les problèmes des retardataires dans les jobs de traitement de flux
Résoudre les problèmes de goulots d'étranglement
Résoudre les problèmes de mise à niveau des pipelines de traitement en flux continu
Résoudre les problèmes liés aux pipelines par lot
Résoudre les problèmes liés aux jobs par lot lents ou bloqués
Résoudre les problèmes des retardataires dans les tâches par lot
Résoudre les erreurs de mémoire insuffisante
Résoudre les problèmes d'autorisation
Résoudre les problèmes de mise en réseau
Résoudre les problèmes liés aux modèles Flex
Résoudre les problèmes liés à l'autoscaling horizontal
Erreurs et codes d'erreur
Codes d'erreur d'entrée et de sortie
Erreurs Dataflow courantes
IA et ML
Développement d'applications
Hébergement d'applications
Calcul
Analyses de données et pipelines
Bases de données
Solutions distribuées, hybrides et multicloud
Solutions par secteur d'activité
Migration
Mise en réseau
Observabilité et surveillance
Sécurité
Storage
Gestion des accès et des ressources
Gestion des coûts et de l'utilisation
