Passa ai contenuti principali
Aree tecnologiche
close
AI e ML
Sviluppo di applicazioni
Hosting di applicazioni
Computing
Analisi dei dati e pipeline
Database
Distribuito, ibrido e multi-cloud
Soluzioni di settore
Migrazione
Networking
Osservabilità e monitoraggio
Sicurezza
Storage
Strumenti per più prodotti
close
Gestione di accessi e risorse
Gestione di costi e utilizzo
Infrastructure as Code (IaC)
SDK, linguaggi, framework e strumenti
/
Console
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Accedi
Cloud Dataflow
Inizia gratuitamente
Panoramica
Guide
Dataflow ML
Riferimento
Esempi
Risorse
Aree tecnologiche
Altro
Panoramica
Guide
Dataflow ML
Riferimento
Esempi
Risorse
Strumenti per più prodotti
Altro
Console
Scopri
Panoramica del prodotto
Casi d'uso
Modello di programmazione per Apache Beam
Per iniziare
Inizia a utilizzare Dataflow.
Guide rapide
Utilizzare il builder di job
Utilizza un modello
Creazione di pipeline
Panoramica
Utilizzare Apache Beam
Panoramica
Installa l'SDK Apache Beam
Crea una pipeline Java
Crea una pipeline Python
Crea una pipeline Go
Utilizzare l'interfaccia utente del builder dedicato
Panoramica della UI di Job Builder
Creazione di un job personalizzato
Caricare e salvare i file YAML del job
Utilizza l'editor YAML del builder dei job
Pacchettizzare e importare le trasformazioni
Tutorial: crea pipeline utilizzando il modulo Builder nell'interfaccia utente di Job Builder
Utilizzare i modelli
Informazioni sui modelli
Esegui un modello di esempio
Modelli forniti da Google
Tutti i modelli forniti
Creare funzioni definite dall'utente per i modelli
Utilizzare certificati SSL con i modelli
Cripta i parametri del modello
Modelli flessibili
Utilizzare i modelli flessibili per creare un pacchetto di una pipeline
Esegui i modelli flessibili
Crea ed esegui un modello flessibile di esempio
Immagini di base per i modelli flessibili
Modelli classici
Creare modelli classici
Eseguire modelli classici
Utilizzare i notebook
Inizia a utilizzare i notebook
Utilizzare le funzionalità avanzate del blocco note
Dataflow I/O
I/O gestito
Best practice di I/O
Apache Iceberg
I/O gestito per Apache Iceberg
Lettura da Apache Iceberg
Scrivere in Apache Iceberg
Scrittura in streaming in Apache Iceberg con il catalogo REST Lakehouse
Lettura CDC da Apache Iceberg con il catalogo REST Lakehouse
Apache Kafka
Managed I/O per Apache Kafka
Leggi da Apache Kafka
Scrivi su Apache Kafka
Utilizzare Managed Service per Apache Kafka
Benchmark delle prestazioni: da Apache Kafka a BigQuery
BigQuery
I/O gestito per BigQuery
Lettura da BigQuery
Scrivi in BigQuery
Bigtable
Lettura da Bigtable
Scrivere in Bigtable
Cloud Storage
Leggi da Cloud Storage
Scrivi in Cloud Storage
Database
I/O gestito per Databases
Leggi da Database
Scrivere nei database
Pub/Sub
Leggi da Pub/Sub
Scrivi in Pub/Sub
Benchmark delle prestazioni: da Pub/Sub a BigQuery
Arricchisci i dati
Trasformazione di arricchimento
Utilizza Apache Beam e Bigtable per arricchire i dati
Utilizzare Apache Beam e BigQuery per arricchire i dati
Utilizzare Apache Beam e Vertex AI Feature Store per arricchire i dati
Best practice
Best practice per Dataflow
Best practice per le pipeline batch di grandi dimensioni
Best practice per Pub/Sub in BigQuery
Esegui pipeline
Esegui il deployment delle pipeline
Utilizzare il Portable Runner
Configura le opzioni della pipeline
Impostare le opzioni pipeline
Riferimento alle opzioni pipeline
Opzioni del servizio Dataflow
Configura le VM worker
Utilizzare le VM Arm
Gestisci le dipendenze della pipeline
Imposta la modalità di streaming della pipeline
Utilizzare gli acceleratori (GPU/TPU)
GPU
Panoramica della GPU
Supporto di Dataflow per le GPU
Best practice per la GPU
Esegui una pipeline con GPU
Metriche GPU
Utilizzare le GPU NVIDIA L4
Utilizzare NVIDIA Multi-Processing Service
Elaborare immagini satellitari con le GPU
Risolvere i problemi relativi alle GPU
TPU
Supporto di Dataflow per le TPU
Esegui una pipeline con le TPU
Guida rapida: esecuzione di Dataflow sulle TPU
Risolvere i problemi relativi alle TPU
Utilizzo di container personalizzati
Panoramica
Crea immagini container personalizzate
Crea immagini container multiarchitettura
Esegui un job Dataflow in un container personalizzato
Risolvere i problemi relativi ai container personalizzati
Regioni
Monitoraggio
Panoramica
Dashboard di monitoraggio del progetto
Personalizzare la dashboard di monitoraggio
Monitorare i job
Elenco dei job
Grafici dei job
Informazioni sul passaggio del job
Dettagli esecuzione
Metriche del job
Costo stimato
Suggerimenti
Scalabilità automatica
Usa Cloud Monitoring
Utilizzare Cloud Profiler
Logging
Audit logging per Dataflow
Audit logging per Data Pipelines
Utilizzare i log della pipeline
Controllare l'importazione dei log
Dati della pipeline di esempio
Visualizzare la derivazione dei dati
Ottimizza
Utilizzare Streaming Engine per i job di streaming
Dataflow Shuffle per i job batch
Utilizzare la scalabilità automatica e il ribilanciamento
Scalabilità automatica orizzontale
Ottimizzare la scalabilità automatica orizzontale di Streaming
scaling dinamico dei thread
Adattabilità
Informazioni sul ribilanciamento dinamico del lavoro
Utilizzare Dataflow Prime
Informazioni su Dataflow Prime
Scalabilità automatica verticale
Utilizzare Dataflow Insights
Utilizzare la pianificazione flessibile delle risorse
Utilizzare le prenotazioni di Compute Engine
Ottimizza i costi
Gestisci
Aggiornamenti della pipeline
Guida all'upgrade
Aggiorna una pipeline di streaming
Arrestare una pipeline in esecuzione
Mettere in pausa un job
Quote per le richieste
Esegui la migrazione dei job tra progetti
Utilizzare gli snapshot Dataflow
Utilizzare le pipeline di dati
Utilizzare Eventarc per gestire i job Dataflow
Controlla l'accesso
Authentication
Ruoli e autorizzazioni Dataflow
Sicurezza e autorizzazioni
Specifica di una rete
Configurazione dell'accesso a Internet e delle regole firewall
Utilizza le chiavi di crittografia gestite dal cliente
Utilizzare vincoli personalizzati
Guida allo sviluppo di Dataflow
Pianificare le pipeline di dati
Ciclo di vita della pipeline
Sviluppare e testare le pipeline
Progettare i workflow della pipeline
Rappresentazione dei dati nelle pipeline in modalità flusso
Elaborazione "exactly-once"
Esempi di workload Dataflow
Il machine learning
Tutorial su Python ML
Esegui un LLM in una pipeline di streaming
E-commerce
Crea una pipeline di flussi di e-commerce
Pattern di attività Java
Trasmettere in streaming da Apache Kafka a BigQuery
Trasmetti in streaming da Pub/Sub a BigQuery
Importa dati da cataloghi Iceberg esterni in Lakehouse
Importa file Parquet dallo spazio di archiviazione a Lakehouse
Workload HPC altamente paralleli
Panoramica
Informazioni su HPC altamente parallelo con Dataflow
Best practice
Tutorial
Pattern di riferimento
Migrazione da MapReduce
Risoluzione dei problemi
Risolvere i problemi relativi alle pipeline
Risolvere i problemi delle pipeline in modalità flusso
Risolvere i problemi relativi ai job di streaming lenti o bloccati
Risolvere i problemi relativi ai job di streaming in ritardo
Risolvere i problemi relativi ai colli di bottiglia
Risolvere i problemi relativi agli upgrade della pipeline di streaming
Risolvere i problemi relativi alle pipeline batch
Risolvere i problemi relativi ai job batch lenti o bloccati
Risolvere i problemi relativi ai job batch in ritardo
Risolvere i problemi relativi agli errori di memoria insufficiente
Risolvere i problemi relativi alle autorizzazioni
Risolvere i problemi di networking
Risolvere i problemi relativi ai modelli flessibili
Risolvere i problemi relativi alla scalabilità automatica orizzontale
Errori e codici di errore
Codici di errore di input e output
Errori comuni di Dataflow
AI e ML
Sviluppo di applicazioni
Hosting di applicazioni
Computing
Analisi dei dati e pipeline
Database
Distribuito, ibrido e multi-cloud
