דילוג לתוכן הראשי
תחומים טכנולוגיים
close
AI ו-ML
פיתוח אפליקציות
אירוח אפליקציות
Compute
ניתוח נתונים וצינורות עיבוד נתונים
מסדי נתונים
סביבות מבוזרות, היברידיות ומרובות עננים (multi-cloud)
פתרונות לתעשייה
העברה
קשרים מקצועיים
ניראות ומעקב
אבטחה
Storage
כלים למכפלה וקטורית (cross product)
close
ניהול גישה ומשאבים
ניהול עלויות ושימוש
תשתית כקוד
SDK, שפות, frameworks וכלים
/
מסוף
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
היכנס
Cloud Dataflow
התחלת תקופת ניסיון בחינם
סקירה כללית
מדריכים
Dataflow ML
חומרי עזר
דוגמאות
משאבים
תחומים טכנולוגיים
עוד
סקירה כללית
מדריכים
Dataflow ML
חומרי עזר
דוגמאות
משאבים
כלים למכפלה וקטורית (cross product)
עוד
מסוף
Discover
סקירה כללית על המוצר
תרחישים לדוגמה
מודל תכנות ל-Apache Beam
מתחילים
תחילת העבודה עם Dataflow
מדריכים למתחילים
שימוש בכלי ליצירת משרות
שימוש בתבנית
פיתוח צינורות עיבוד נתונים
סקירה כללית
שימוש ב-Apache Beam
סקירה כללית
התקנה של Apache Beam SDK
יצירת צינור עיבוד נתונים ב-Java
יצירת פייפליין Python
יצירת פייפליין ב-Go
שימוש בממשק המשתמש של הכלי ליצירת משרות
סקירה כללית של ממשק המשתמש של כלי בניית המשרות
יצירת משימה בהתאמה אישית
טעינה ושמירה של קובצי YAML של משימות
שימוש בעורך YAML ליצירת משימות
חבילות וייבוא של טרנספורמציות
הדרכה: יצירת צינורות עיבוד נתונים באמצעות טופס ה-Builder בממשק המשתמש של Job Builder
שימוש בתבניות
מידע על תבניות
הרצת תבנית לדוגמה
תבניות ש-Google סיפקה
כל התבניות שסופקו
יצירת פונקציות בהגדרת המשתמש לתבניות
שימוש באישורי SSL עם תבניות
הצפנת פרמטרים של תבניות
תבניות Flex
שימוש בתבניות Flex לאריזת צינור עיבוד נתונים
הפעלת תבניות Flex
יצירה והרצה של תבנית Flex לדוגמה
תמונות בסיס של תבניות Flex
תבניות קלאסיות
יצירת תבניות קלאסיות
הפעלת תבניות קלאסיות
שימוש ב-Notebook
איך מתחילים לעבוד עם מחברות
שימוש בתכונות מתקדמות של מחברת
קלט/פלט ב-Dataflow
Managed I/O
שיטות מומלצות לשימוש בקלט/פלט
Apache Iceberg
Managed I/O for Apache Iceberg
קריאה מ-Apache Iceberg
כתיבה אל Apache Iceberg
כתיבה ל-Apache Iceberg באמצעות קטלוג REST של Lakehouse
קריאת CDC מ-Apache Iceberg באמצעות קטלוג Lakehouse REST
Apache Kafka
Managed I/O for Apache Kafka
קריאה מ-Apache Kafka
כתיבה ל-Apache Kafka
שימוש בשירות מנוהל ל-Apache Kafka
נקודות השוואה של ביצועים: Apache Kafka ל-BigQuery
BigQuery
קלט/פלט מנוהל ל-BigQuery
קריאה מ-BigQuery
כתיבה ל-BigQuery
Bigtable
קריאה מ-Bigtable
כתיבה ל-Bigtable
Cloud Storage
קריאה מ-Cloud Storage
כתיבה ל-Cloud Storage
מסדי נתונים
קלט/פלט מנוהל למסדי נתונים
קריאה ממסדי נתונים
כתיבה למסדי נתונים
Pub/Sub
קריאה מ-Pub/Sub
כתיבה ל-Pub/Sub
נקודות השוואה של ביצועים: Pub/Sub ל-BigQuery
העשרת נתונים
טרנספורמציה של העשרה
שימוש ב-Apache Beam וב-Bigtable כדי להעשיר נתונים
שימוש ב-Apache Beam וב-BigQuery להעשרת נתונים
שימוש ב-Apache Beam וב-Vertex AI Feature Store כדי להעשיר נתונים
שיטות מומלצות
שיטות מומלצות לשימוש ב-Dataflow
שיטות מומלצות לצינורות עיבוד נתונים של אצווה גדולה
שיטות מומלצות לשימוש ב-Pub/Sub עם BigQuery
הפעלת צינורות עיבוד נתונים
פריסת צינורות עיבוד נתונים
שימוש ב-Portable Runner
הגדרת אפשרויות של צינור עיבוד הנתונים
הגדרת אפשרויות של צינור עיבוד הנתונים
טבלת הסבר לאפשרויות של צינורות עיבוד נתונים
אפשרויות של שירות Dataflow
הגדרת מכונות וירטואליות של Worker
שימוש במכונות וירטואליות של Arm
ניהול יחסי תלות בצינורות
הגדרת מצב הסטרימינג של צינור עיבוד הנתונים
שימוש במאיצים (GPU/TPU)
יחידות GPU
סקירה כללית של GPU
תמיכה ב-GPU ב-Dataflow
שיטות מומלצות לשימוש ב-GPU
הרצת צינור עיבוד נתונים עם GPU
מדדי GPU
שימוש במעבדי NVIDIA L4 GPU
שימוש ב-NVIDIA Multi-Processing Service
עיבוד תמונות לוויין באמצעות מעבדי GPU
פתרון בעיות שקשורות ל-GPU
TPUs
תמיכה ב-TPU ב-Dataflow
הפעלת צינור עיבוד נתונים עם מעבדי TPU
מדריך למתחילים: הפעלת Dataflow במעבדי TPU
פתרון בעיות ב-TPU
שימוש במאגרי תגים מותאמים אישית
סקירה כללית
יצירת תמונות קונטיינר בהתאמה אישית
יצירת קובצי אימג' של קונטיינרים עם תמיכה בכמה ארכיטקטורות
הפעלת משימת Dataflow בקונטיינר בהתאמה אישית
פתרון בעיות במאגרי תגים בהתאמה אישית
אזורים
מעקב
סקירה כללית
לוח בקרה למעקב אחרי פרויקטים
התאמה אישית של לוח הבקרה למעקב
מעקב אחרי משימות
רשימת משרות
תרשימי משימות
פרטים על שלב המשרה
פרטי ההרצה
מדדי משימות
עלות משוערת
המלצות
התאמה אוטומטית לעומס (Automatic scaling)
שימוש ב-Cloud Monitoring
שימוש ב-Cloud Profiler
רישום ביומן
רישום ביומן הביקורת ב-Dataflow
רישום ביומן הביקורת של Data Pipelines
עבודה עם יומני צינורות
שליטה בהטמעת יומנים
נתונים לדוגמה של פייפליין
הצגת שושלת הנתונים
אופטימיזציה
שימוש ב-Streaming Engine למשימות סטרימינג
ארגון נתונים של Dataflow למשימות באצווה
שימוש בהתאמה אוטומטית לעומס ובאיזון מחדש
התאמה אופקית אוטומטית לעומס
שינוי ההגדרות של התאמה אופקית לעומס (autoscaling) בסטרימינג
התאמה דינמית של קטעי Thread לעומס
התאמה נכונה
הסבר על איזון מחדש דינמי של עומסי עבודה
שימוש ב-Dataflow Prime
מידע על Dataflow Prime
התאמה אנכית אוטומטית לעומס
שימוש בתובנות של Dataflow
שימוש בתזמון משאבים גמיש
שימוש במקומות שמורים ב-Compute Engine
אופטימיזציה של העלויות
ניהול
עדכונים בפייפליין
מדריך לביצוע שדרוג
עדכון צינור לעיבוד נתונים בזמן אמת
הפסקה של צינור עיבוד נתונים פעיל
השהיית משימה
בקשת מכסות
העברת משרות בין פרויקטים
שימוש בתמונות מצב של Dataflow
עבודה עם צינורות נתונים
שימוש ב-Eventarc לניהול משימות ב-Dataflow
בקרת הגישה
Authentication
תפקידים והרשאות ב-Dataflow
אבטחה והרשאות
ציון רשת
הגדרת גישה לאינטרנט וכללים לחומת אש
שימוש במפתחות הצפנה בניהול הלקוח
שימוש באילוצים מותאמים אישית
מדריך למפתחים בנושא Dataflow
תכנון צינורות נתונים
מחזור החיים של צינור עיבוד נתונים
פיתוח ובדיקה של צינורות עיבוד נתונים
תכנון תהליכי עבודה של צינורות עיבוד נתונים
ייצוג נתונים בצינורות נתונים בסטרימינג
עיבוד בדיוק פעם אחת
דוגמאות לעומסי עבודה ב-Dataflow
למידת מכונה
מדריכים ללמידת מכונה ב-Python
הפעלת LLM בצינור עיבוד נתונים בסטרימינג
