Zum Hauptinhalt springen
Technologiebereiche
close
KI und ML
Anwendungsentwicklung
Anwendungshosting
Compute
Datenanalyse und Pipelines
Datenbanken
Verteilt, Hybrid und Multi-Cloud
Branchenlösungen
Migration
Netzwerk
Beobachtbarkeit und Monitoring
Sicherheit
Storage
Produktübergreifende Tools
close
Zugriffs- und Ressourcenverwaltung
Kosten- und Nutzungsmanagement
Infrastruktur als Code
SDK, Sprachen, Frameworks und Tools
/
Console
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
Anmelden
Cloud Dataflow
Jetzt kostenlos testen
Übersicht
Leitfäden
Dataflow ML
Referenzen
Beispiele
Ressourcen
Technologiebereiche
Mehr
Übersicht
Leitfäden
Dataflow ML
Referenzen
Beispiele
Ressourcen
Produktübergreifende Tools
Mehr
Console
Erste Schritte
Produktübersicht
Anwendungsfälle
Programmiermodell für Apache Beam
Los gehts
Erste Schritte mit Dataflow
Kurzanleitungen
Job-Builder verwenden
Vorlage verwenden
Build-Pipelines
Übersicht
Apache Beam verwenden
Übersicht
Apache Beam SDK installieren
Java-Pipeline erstellen
Python-Pipeline erstellen
Go-Pipeline erstellen
Job Builder-Benutzeroberfläche verwenden
Job-Builder-UI – Übersicht
Einen benutzerdefinierten Job erstellen
Job-YAML-Dateien laden und speichern
YAML-Editor des Job-Builders verwenden
Transformationen verpacken und importieren
Anleitung: Pipelines mit dem Builder-Formular in der Job-Builder-UI erstellen
Vorlagen verwenden
Vorlagen
Beispielvorlage ausführen
Von Google bereitgestellte Vorlagen
Alle bereitgestellten Vorlagen
Benutzerdefinierte Funktionen für Vorlagen erstellen
SSL-Zertifikate mit Vorlagen verwenden
Vorlagenparameter verschlüsseln
Flex-Vorlagen
Flexible Vorlagen zum Verpacken einer Pipeline verwenden
Flexible Vorlagen ausführen
Beispiel für eine flexible Vorlage erstellen und ausführen
Basis-Images für Flex-Vorlagen
Klassische Vorlagen
Klassische Vorlagen erstellen
Klassische Vorlagen ausführen
Notebooks verwenden
Erste Schritte mit Notebooks
Erweiterte Notebookfeatures verwenden
Dataflow-E/A
Verwaltete E/A
Best Practices für Ein-/Ausgabe
Apache Iceberg
Verwaltete E/A für Apache Iceberg
Aus Apache Iceberg lesen
In Apache Iceberg schreiben
Streaming-Schreibvorgänge in Apache Iceberg mit Lakehouse REST-Katalog
CDC-Lesevorgang aus Apache Iceberg mit Lakehouse-REST-Katalog
Apache Kafka
Managed I/O für Apache Kafka
Aus Apache Kafka lesen
In Apache Kafka schreiben
Managed Service for Apache Kafka verwenden
Leistungsbenchmarks: Apache Kafka für BigQuery
BigQuery
Verwaltete Ein-/Ausgabe für BigQuery
Aus BigQuery abrufen
In BigQuery schreiben
Bigtable
Aus Bigtable lesen
In Bigtable schreiben
Cloud Storage
Aus Cloud Storage lesen
In Cloud Storage schreiben
Datenbanken
Verwaltete E/A für Datenbanken
Aus Datenbanken lesen
In Datenbanken schreiben
Pub/Sub
Aus Pub/Sub lesen
In Pub/Sub schreiben
Leistungsbenchmarks: Pub/Sub zu BigQuery
Daten anreichern
Anreicherungstransformation
Daten mit Apache Beam und Bigtable anreichern
Daten mit Apache Beam und BigQuery anreichern
Mit Apache Beam und Vertex AI Feature Store Daten anreichern
Best Practices
Best Practices für Dataflow
Best Practices für Pipelines mit großen Batches
Best Practices für Pub/Sub zu BigQuery
Pipelines ausführen
Pipelines implementieren
Portable Runner verwenden
Pipelineoptionen konfigurieren
Pipelineoptionen festlegen
Referenz zu Pipelineoptionen
Dataflow-Dienstoptionen
Worker-VMs konfigurieren
ARM-VMs verwenden
Pipelineabhängigkeiten verwalten
Pipeline-Streaming-Modus festlegen
Beschleuniger (GPUs/TPUs) verwenden
GPUs
GPU-Übersicht
Dataflow-Unterstützung für GPUs
Best Practices für GPUs
Pipeline mit GPUs ausführen
GPU-Messwerte
NVIDIA L4-GPUs verwenden
NVIDIA-Multi-Verarbeitungsdienst verwenden
Satellitenbilder mit GPUs verarbeiten
Fehlerbehebung bei GPUs
TPUs
Dataflow-Unterstützung für TPUs
Pipeline mit TPUs ausführen
Kurzanleitung: Dataflow auf TPUs ausführen
Fehlerbehebung bei TPUs
Benutzerdefinierte Container verwenden
Übersicht
Benutzerdefinierte Container-Images erstellen
Container-Images mit mehreren Architekturen erstellen
Dataflow-Job in einem benutzerdefinierten Container ausführen
Fehlerbehebung bei benutzerdefinierten Containern
Regionen
Überwachen
Übersicht
Dashboard für Projektmonitoring
Monitoring-Dashboard anpassen
Monitoring von Jobs
Jobliste
Jobgrafiken
Informationen zu Jobschritten
Ausführungsdetails
Jobmesswerte
Geschätzte Kosten
Empfehlungen
Autoscaling
Cloud Monitoring verwenden
Cloud Profiler verwenden
Logging
Audit-Logging für Dataflow
Audit-Logging für Data Pipelines
Mit Pipelinelogs arbeiten
Logaufnahme steuern
Beispielpipelinedaten
Data Lineage ansehen
Optimieren
Streaming Engine für Streamingjobs verwenden
Dataflow Shuffle für Batchjobs
Automatische Skalierung und Ausgleich verwenden
Horizontales Autoscaling
Horizontales Autoscaling für Streamingpipelines optimieren
Dynamische Thread-Skalierung
Individuell anpassbar
Informationen zum dynamischen Work-Ausgleich
Dataflow Prime verwenden
Informationen zu Dataflow Prime
Vertikales Autoscaling
Dataflow Insights verwenden
Flexible Ressourcenplanung verwenden
Compute Engine-Reservierungen verwenden
Kostenoptimierung
Verwalten
Pipelineaktualisierungen
Upgrade-Leitfaden
Streamingpipeline aktualisieren
Laufende Pipeline beenden
Job anhalten
Anfragekontingente
Jobs zwischen Projekten migrieren
Dataflow-Snapshots verwenden
Mit Datenpipelines arbeiten
Dataflow-Jobs mit Eventarc verwalten
Zugriff kontrollieren
Authentication
Dataflow-Rollen und -Berechtigungen
Sicherheit und Berechtigungen
Netzwerk angeben
Internetzugriff und Firewallregeln konfigurieren
Kundenverwaltete Verschlüsselungsschlüssel verwenden
Benutzerdefinierte Einschränkungen verwenden
Dataflow-Entwicklungsleitfaden
Datenpipelines planen
Pipeline-Lebenszyklus
Pipelines entwickeln und testen
Pipeline-Workflows entwerfen
Datendarstellung in Streaming-Pipelines
Genau einmalige Verarbeitung
Beispiel für Dataflow-Arbeitslasten
Maschinelles Lernen
Python ML-Anleitungen
LLM in einer Streamingpipeline ausführen
E-Commerce
E-Commerce-Streamingpipeline erstellen
Java-Aufgabenmuster
Daten aus Apache Kafka in BigQuery streamen
Von Pub/Sub zu BigQuery streamen
Daten aus externen Iceberg-Katalogen in Lakehouse importieren
Parquet-Dateien aus dem Speicher in Lakehouse importieren
HPC stark parallele Arbeitslasten
Übersicht
HPC stark parallel mit Dataflow
Best Practices
Anleitung
Referenzmuster
Von MapReduce migrieren
Fehler beheben
Fehlerbehebung bei Pipelines
Fehlerbehebung bei Streamingpipelines
Fehlerbehebung bei langsamen oder hängenden Streamingjobs
Fehlerbehebung bei Nachzüglern in Streamingjobs
Engpässe beheben
Fehlerbehebung bei Upgrades von Streaming-Pipelines
Fehlerbehebung bei Batchpipelines
Fehlerbehebung bei langsamen oder hängenden Batchjobs
Fehlerbehebung bei Nachzüglern in Batchjobs
Fehler aufgrund von fehlendem Arbeitsspeichers beheben
Fehlerbehebung bei Berechtigungen
Fehlerbehebung bei Netzwerken
Fehlerbehebung bei Flex-Vorlagen
Fehlerbehebung beim horizontalen Autoscaling
Fehler und Fehlercodes
Eingabe- und Ausgabefehlercodes
Häufige Dataflow-Fehler
KI und ML
Anwendungsentwicklung
Anwendungshosting
Compute
Datenanalyse und Pipelines
Datenbanken
