במסמך הזה מוסברת הארכיטקטורה של תהליכי עבודה ב-Dataform ואיך הם מבוצעים.
אתם יכולים להשתמש ב-Dataform כדי לפתח, לבדוק ולנהל גרסאות של תהליכי עבודה שאתם יכולים להריץ ב-BigQuery כדי להמיר נתונים לצורכי ניתוח. תהליכי העבודה ב-Dataform מפעילים צינורות של BigQuery, הכנות של נתונים, מחברות ושאילתות שמורות.
אפשר לפתח תהליכי עבודה באמצעות Dataform core, באמצעות קובצי SQLX וקובצי JavaScript (אופציונלי), או באמצעות JavaScript.
תהליך עבודה יכול לכלול את האובייקטים הבאים:
- הצהרות על מקורות נתונים
- הצהרות של מקורות נתונים ב-BigQuery שמאפשרות לכם להפנות למקורות הנתונים האלה בהגדרות של טבלאות Dataform ובפעולות SQL.
- טבלאות
- טבלאות שיוצרים ב-Dataform על סמך מקורות הנתונים שהוגדרו או טבלאות אחרות בתהליך העבודה. Dataform תומך בסוגי הטבלאות הבאים: table, incremental table, view ו-materialized view.
- טענות
- שאילתות לבדיקת איכות הנתונים שבהן אפשר להשתמש כדי לאמת את נתוני הטבלה. Dataform מריץ הצהרות בכל פעם שהוא מעדכן את תהליך העבודה, ומעדכן אתכם אם הצהרה כלשהי נכשלת.
- פעולות SQL בהתאמה אישית
- הצהרות SQL שמופעלות ב-BigQuery על ידי Dataform כמו שהן, ללא שינוי.
- כולל
- קבצי JavaScript עם הגדרות של משתנים ופונקציות שאפשר לעשות בהם שימוש חוזר בתהליך העבודה.
המחשה ויזואלית של תהליך עבודה
אפשר לראות את תהליך העבודה בתצוגה חזותית בצורה של גרף אציקלי מכוון (DAG). ה-DAG מציג את כל האובייקטים של תהליך העבודה שהוגדר בסביבת העבודה, ואת הקשרים ביניהם. אפשר להגדיל או להקטין את התצוגה ולהשתמש בניווט בשיטת גרירה ושחרור ב-DAG. אם יש שגיאות קומפילציה בתהליך העבודה, Dataform מציג הודעת שגיאה במקום ה-DAG.
כדי לראות את ה-DAG של תהליך העבודה, לוחצים על Compiled graph (גרף מהודר) בסביבת העבודה.
הרצה של תהליך עבודה
כדי להפעיל תהליכי עבודה, צריך לשייך לחשבון שירות מותאם אישית מאגר Dataform. כל שאר הפעולות במאגר עדיין מבוצעות על ידי סוכן השירות של Dataform שמוגדר כברירת מחדל.
בסביבת העבודה לפיתוח, אפשר להפעיל ידנית הרצה של כל תהליך העבודה, של קבוצת פעולות או של קבוצת תגים.
אפשר לתזמן הרצות באמצעות הגדרות של גרסאות ו