אימות ל-Managed Service for Apache Spark | Google Cloud Documentation

דילוג לתוכן הראשי

תחומים טכנולוגיים

‫AI ו-ML
פיתוח אפליקציות
אירוח אפליקציות
Compute
ניתוח נתונים וצינורות עיבוד נתונים
מסדי נתונים
סביבות מבוזרות, היברידיות ומרובות עננים (multi-cloud)
פתרונות לתעשייה
העברה
קשרים מקצועיים
ניראות ומעקב
אבטחה
Storage

כלים למכפלה וקטורית (cross product)

ניהול גישה ומשאבים
ניהול עלויות ושימוש
תשתית כקוד
‫SDK, שפות, frameworks וכלים

/

מסוף

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

היכנס

Managed Service for Apache Spark

התחלת תקופת ניסיון בחינם

סקירה כללית מדריכים חומרי עזר דוגמאות משאבים

תחומים טכנולוגיים
- עוד
כלים למכפלה וקטורית (cross product)
- עוד
מסוף

סקירה כללית
מושגים מרכזיים
Managed Service for Apache Spark serverless
- סקירה כללית
- Managed Service for Apache Spark ברמות שירות בלי שרת (serverless)
‫Managed Service for Apache Spark באשכולות
השוואה בין פריסות ללא שרת לבין פריסות של אשכולות
‫Managed Service for Apache Spark on GKE
מתחילים
בלי שרת (serverless)
- יצירת עומס עבודה של אצווה ב-Spark ללא שרת
אשכולות
GKE
- הרצת משימת Spark ב-Kubernetes
פיתוח
בלי שרת (serverless)
- הגדרת serverless
- יצירת עומסי עבודה וסשנים של אצווה
- יצירת טבלת Apache Iceberg עם מטא-נתונים בקטלוג של Lakehouse runtime
- שימוש במחבר BigQuery עם Spark
  - סקירה כללית
  - שליחת שאילתות לטבלאות ב-BigQuery
- הרצת קוד PySpark ב-notebooks של BigQuery Studio
- אופטימיזציה
אשכולות
- עיבוד נתונים
  - הגדרת Spark
    ניהול יחסי תלות ב-Spark
    התאמה אישית של סביבת Spark
    הפעלת כתיבה בו-זמנית
    שיפור הביצועים של Spark
    כוונון של Spark
    שימוש במנוע Lightning
  - הרצת משימות Spark
    שימוש במסוף
    שימוש בשורת הפקודה
    
    שימוש ב-REST APIs Explorer
    יצירת אשכול
    הרצת משימת Spark
    עדכון אשכול
    מחיקת אשכול
    שימוש בספריות לקוח
  - הרצת משימות ב-Hadoop
  - כתיבה והרצה של משימות Spark Scala
  - הפעלת Trino
  - הפעלת Flink
  - הרצת Hive
  - Run Pig
  - הפעלת HBase
  - הרצת Python
    הגדרת סביבת Python
    שימוש בספריות לקוח של Cloud ל-Python
  - שימוש במחברי נתונים
    
    שימוש במחבר Spark BigQuery
    סקירה כללית
    דוגמאות קוד של מחבר BigQuery
    שימוש במחבר Cloud Storage
    שימוש במחבר Spark Spanner
- אגמי נתונים (data lakes) ו-lake houses
- ממשקי משתמש ו-notebooks למדעי הנתונים
  - שימוש ב-Notebook
    סקירה כללית
    הרצת מחברת Jupyter באשכול
    הרצת ניתוח גנומיקה ב-notebook
    שימוש בתוסף JupyterLab לפיתוח עומסי עבודה (workloads) של Spark ללא שרת (serverless)
  - שימוש בשער הרכיבים
- מקורות נתונים ואחסון
- ניהול ומשילות מידע