יצירת טבלאות

ב-Dataform, טבלה היא אחד מסוגי האובייקטים שמרכיבים תהליך עבודה. אתם יכולים ליצור טבלאות שמפנות לנתונים ממקורות הנתונים שהוגדרו לזרימת העבודה או מטבלאות אחרות בזרימת העבודה. ‫Dataform מבצע הידור של הגדרות הטבלה ל-SQL בזמן אמת. כשמפעילים את ההרצה, Dataform מריץ את קוד ה-SQL ויוצר את הטבלאות שהגדרתם ב-BigQuery.

אפשר ליצור את סוגי הטבלאות הבאים בקובץ type: "table" SQLX:

אפשר גם להגדיר מחיצות ואשכולות בטבלה.

כדי לשמור תיעוד של המטרה של טבלה או של הקשר שלה לטבלאות אחרות בתהליך העבודה, אפשר להוסיף תיעוד לטבלה או לעמודות שנבחרו בה.

כדי לבדוק את הנתונים בטבלה לפי תנאים ספציפיים, אפשר ליצור שאילתות לבדיקת איכות הנתונים שנקראות טענות. ‫Dataform מריץ הצהרות בכל פעם שהוא מעדכן את תהליך העבודה, ומתריע אם הצהרה כלשהי נכשלת.

כדי לשנות את סכימת ברירת המחדל, מסד הנתונים והשם של טבלה שנבחרה, אפשר לשנות את הגדרות הטבלה.

כדי להשבית את יצירת הטבלה או להריץ הצהרת SQL לפני או אחרי יצירת הטבלה, אפשר להגדיר פעולות נוספות.

כדי לארגן את הטבלאות ב-BigQuery אחרי שמריצים אותן, אפשר להוסיף תוויות BigQuery. מידע נוסף זמין במאמר מבוא לתוויות.

כדי להגביל את הגישה לנתונים ברמת העמודה בטבלה, אפשר להוסיף תגי מדיניות של BigQuery. מידע נוסף זמין במאמר בנושא מבוא לבקרת גישה ברמת העמודה.

בנוסף להגדרת טבלאות בקובץ type: "table" SQLX, אפשר ליצור טבלאות ריקות על ידי הגדרת שאילתת SQL מותאמת אישית בקובץ type: "operations" SQLX. יכול להיות שתרצו ליצור טבלה ריקה כדי ששירות אחר יוכל לאכלס אותה בנתונים.

לפני שמתחילים

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. יצירה ואתחול של סביבת עבודה לפיתוח במאגר.

  3. אופציונלי: הצהרה על מקור נתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Dataform Editor (roles/dataform.editor) בסביבות עבודה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

צור טבלה

בקטע הזה מוסבר איך ליצור טבלאות באמצעות Dataform core ב-Dataform.

מידע על הגדרות טבלאות

כדי להגדיר טבלה, מגדירים את סוג הטבלה וכותבים משפט SELECT בקובץ type: "table" SQLX. לאחר מכן, Dataform מהדר את קוד הליבה של Dataform ל-SQL, מריץ את קוד ה-SQL ויוצר את הטבלאות שהגדרתם ב-BigQuery.

בהצהרת Dataform core SELECT, מגדירים את מבנה הטבלה ומפנים לאובייקטים אחרים בתהליך העבודה.

בנוסף להגדרת טבלאות בקובץ type: "table" SQLX, אפשר ליצור טבלאות ריקות על ידי הגדרת שאילתת SQL מותאמת אישית בקובץ type: "operations" SQLX. מידע נוסף זמין במאמר יצירת טבלה ריקה.

הפניה ליחסי תלות באמצעות ref

כדי להפנות לפעולה בתהליך עבודה בהצהרת