יצירה והרצה של תהליך עבודה ב-Dataform
המדריך הזה מיועד למהנדסי נתונים ולמנתחי נתונים שרוצים לנהל המרות נתונים ב-BigQuery. במדריך הזה תלמדו איך ליצור ולהפעיל תהליך עבודה של Dataform באמצעות Dataform Core, מסגרת מבוססת-SQL לטרנספורמציה של נתונים גולמיים לנכסי נתונים שנאספו, נבדקו ותועדו. בעזרת Dataform, תוכלו לפתח צינורות עיבוד נתונים לבניית מודלים של נתונים ולנהל את הגרסאות שלהם במאגר מרכזי, כדי להבטיח אמינות וגמישות.
במדריך למתחילים הזה מוסבר איך ליצור תהליך עבודה ב-Dataform ולהפעיל אותו ב-BigQuery:
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לביצוע כל המשימות במדריך למתחילים הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
- אדמין Dataform (
roles/dataform.admin) בפרויקט או במאגר - BigQuery Data Editor (
roles/bigquery.dataEditor) בפרויקט או במערכי נתונים ספציפיים - BigQuery Job User (
roles/bigquery.jobUser) בפרויקט - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
מתן התפקידים הנדרשים
כדי להריץ תהליכי עבודה ב-BigQuery, אפשר להשתמש בחשבון שירות בהתאמה אישית או בחשבון Google.
לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:
- עריכה של נתוני BigQuery
(
roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform. - BigQuery Data Viewer
(
roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם. - BigQuery Job User
(
roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.
כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:
- יצירת אסימונים בחשבון שירות
(
roles/iam.serviceAccountTokenCreator) - משתמש בחשבון שירות
(
roles/iam.serviceAccountUser)
כדי להקצות את התפקידים האלה:
נכנסים לדף IAM במסוף Google Cloud .
לוחצים על הענקת גישה.
בשדה New principals, מזינים את המזהה של חשבון השירות המותאם אישית.
בתפריט Select a role (בחירת תפקיד), בוחרים את התפקידים הבאים אחד אחרי השני. כדי להוסיף עוד תפקידים, לוחצים על Add another role (הוספת תפקיד נוסף):
- עריכה של נתוני BigQuery
- BigQuery Data Viewer (צפייה בנתוני BigQuery)