יצירת מאגר

במסמך הזה מוסבר על הרעיון של מאגרי מידע ב-Dataform ואיך ליצור מאגר מידע חדש.

מידע על מאגרי Dataform

כל מאגר Dataform מכיל אוסף של קובצי SQLX ו-JavaScript שמרכיבים את תהליך העבודה, וגם קובצי הגדרה וחבילות של Dataform. אתם יכולים ליצור אינטראקציה עם התוכן של המאגר בסביבת עבודה לפיתוח.

מאגרי המידע מוצגים בדף Dataform לפי סדר אלפביתי של מזהי מאגרי המידע. אפשר למיין ולסנן אותם.

• כדי לראות את המאגרים, במסוף Google Cloud נכנסים לדף Dataform.

  מעבר אל Dataform

כל מאגר Dataform צריך להיות מקושר לחשבון שירות מותאם אישית. בוחרים חשבון שירות בהתאמה אישית כשיוצרים מאגר. אפשר לערוך את חשבון השירות מאוחר יותר.

‫Dataform משתמש ב-Git כדי לתעד שינויים ולנהל גרסאות של קבצים. כל מאגר Dataform תואם למאגר Git. אחרי שיוצרים מאגר Dataform, אפשר לקשר אותו למאגר מרוחק ב-GitHub, ב-GitLab או ב-Bitbucket.

במאגר Dataform, הקוד של המאגר מאוחסן ב-Dataform. במאגר מקושר, מאגר הצד השלישי מאחסן את קוד המאגר. ‫Dataform מתקשר עם המאגר של צד שלישי כדי לאפשר לכם לערוך את התוכן שלו ולהריץ אותו בסביבת עבודה לפיתוח ב-Dataform.

דף המאגר של Dataform מורכב מהרכיבים הבאים:

הכרטיסייה 'סביבות עבודה לפיתוח'

הצגת סביבות עבודה לפיתוח שנוצרו במאגר.

הכרטיסייה 'יומני ביצוע של תהליכי עבודה'

הצגת יומני הביצוע של תהליכי עבודה ב-Dataform.

הכרטיסייה 'הפצה ותזמון'

אפשר לבדוק, ליצור, לערוך ולמחוק הגדרות של גרסאות והגדרות של תהליכי עבודה.

הכרטיסייה 'הגדרות'

השם והמיקום של המאגר. אם המאגר מחובר למאגר Git של צד שלישי, מוצגים מקור המאגר של הצד השלישי, שם ברירת המחדל של הענף וטוקן סודי. מוצגים הלחצנים לחיבור המאגר למאגר Git של צד שלישי ולעריכת חיבור Git.

כפתור ליצירת סביבת עבודה לפיתוח

אפשר ליצור סביבת עבודה לפיתוח.

אחרי שיוצרים ומפעילים סביבת פיתוח, אפשר לערוך את קובץ הגדרות תהליך העבודה כדי להגדיר את ההגדרות הבאות של Dataform במאגר:

• מסד הנתונים שמוגדר כברירת מחדל (Google Cloud מזהה הפרויקט).
• סכימת ברירת המחדל (מזהה מערך הנתונים ב-BigQuery).
• מיקום ברירת המחדל ב-BigQuery.
• סכימת ברירת המחדל (מזהה מערך הנתונים ב-BigQuery) לאישורים.
• המחסן, שחייב להיות מוגדר כ-bigquery.
• משתנים שהוגדרו על ידי המשתמש וזמינים לקוד הפרויקט במהלך ההידור.

מידע נוסף על הגדרות מאגר Dataform זמין במאמר בנושא IProjectConfig במאמר העזר בנושא Dataform Core.

הגדרות המאגר

כשיוצרים מאגר Dataform, צריך להגדיר את ההגדרות הבאות של המאגר:

מזהה מאגר

מזהה ייחודי של המאגר. המזהים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

אזור

אזור Dataform לאחסון המאגר והתכנים שלו.

אזור האחסון הזה יכול להיות שונה מאזור העיבוד שבו Dataform מעבד את הקוד ומאחסן את הפלט של ההרצות. כברירת מחדל, אזור העיבוד מוגדר לאזור ברירת המחדל של מערך הנתונים של BigQuery. אחרי שיוצרים את המאגר, אפשר לערוך את אזור העיבוד בקובץ ההגדרות של תהליך העבודה. מידע נוסף זמין במאמר הגדרת הגדרות של תהליכי עבודה ב-Dataform.

חשבון שירות

חשבון השירות המותאם אישית שמשויך למאגר. אפשר לבחור חשבון שירות שמשויך לפרויקט או להזין ידנית חשבון שירות אחר. Google Cloud

כדי להריץ תהליכי עבודה במאגר, צריך להשתמש בחשבון שירות בהתאמה אישית. כל הפעולות האחרות במאגר מתבצעות על ידי סוכן השירות של Dataform שמוגדר כברירת מחדל.

מצב קפדני של פעולה בשם אחר

הפעלה של בדיקת אבטחה נוספת שנדרשת עבורה ההרשאה iam.serviceAccounts.actAs בחשבון השירות. מצב פעולה קפדני מופעל בכל המאגרים.

הצפנה

שיטת ההצפנה של המאגר. אתם יכולים להשתמש בהצפנת ברירת המחדל, במפתח הצפנה ייחודי בניהול הלקוח ב-Cloud KMS או במפתח ברירת המחדל של Dataform CMEK. מידע נוסף על שימוש במפתחות הצפנה בניהול הלקוח (CMEK) ב-Dataform זמין במאמר שימוש במפתחות הצפנה בניהול הלקוח.

אחרי שיוצרים מאגר, אפשר לקשר אותו ל-GitHub או ל-GitLab.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

1. כדי להשתמש בהצפנת CMEK למאגר, מפעילים הצפנת CMEK של מאגרי Dataform.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה ולמחיקה של מאגר, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במאגרים:

• אדמין Dataform‏ (roles/dataform.admin) – הפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) – חשבון השירות המותאם אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מתן התפקידים הנדרשים

כדי להריץ תהליכי עבודה במאגר Dataform וב-BigQuery, אפשר להשתמש בחשבון שירות בהתאמה אישית או בחשבון Google.

לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:

• עריכה של נתוני BigQuery (roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform.
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם.
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.

כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:

• יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
• משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי להקצות את התפקידים האלה:

1. נכנסים לדף IAM במסוף Google Cloud .

   כניסה לדף IAM

2. לוחצים על הענקת גישה.