יצירה ושימוש בסריקות של פרופיל נתונים

Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לזהות מאפיינים סטטיסטיים נפוצים (ערכים נפוצים, התפלגות נתונים, ספירת ערכי NULL) של העמודות בטבלאות BigQuery. המידע הזה עוזר לכם להבין ולנתח את הנתונים בצורה יעילה יותר.

מידע נוסף על סריקות פרופיל נתונים ב-Knowledge Catalog זמין במאמר בנושא פרופיל נתונים.

לפני שמתחילים

מפעילים את Dataplex API.

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

להפעלת ה-API

תפקידים והרשאות נדרשים

בקטע הזה מפורטים התפקידים וההרשאות ב-IAM שנדרשים כדי להשתמש בסריקות של פרופילי נתונים ב-Knowledge Catalog.

תפקידים והרשאות של משתמשים

כדי לקבל את ההרשאות שדרושות ליצירה ולניהול של סריקות פרופיל נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • יצירה, הפעלה, עדכון ומחיקה של סריקות פרופיל נתונים: Dataplex DataScan Editor (roles/dataplex.dataScanEditor) בפרויקט שמכיל את סריקת הנתונים
  • צפייה בתוצאות של סריקת פרופיל נתונים, במשימות ובהיסטוריה: ‫Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) בפרויקט שמכיל את סריקת הנתונים
  • פרסום תוצאות הסריקה של פרופיל הנתונים ב-Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) ב-@bigquery entry group
  • כדי לראות את תוצאות הסריקה של פרופיל הנתונים שפורסם ב-BigQuery, עוברים לכרטיסייה פרופיל נתונים: BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלה

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות ליצירה ולניהול של סריקות פרופיל נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור ולנהל סריקות של פרופיל נתונים, צריך את ההרשאות הבאות:

  • יצירה, הפעלה, עדכון ומחיקה של סריקות פרופיל נתונים:
    • dataplex.datascans.create בפרויקט
    • dataplex.datascans.update בסריקת נתונים
    • dataplex.datascans.delete בסריקת נתונים
    • dataplex.datascans.run בסריקת נתונים
    • dataplex.datascans.get בסריקת נתונים
    • dataplex.datascans.list בפרויקט
    • dataplex.dataScanJobs.get במשימת סריקת נתונים
    • dataplex.dataScanJobs.list בסריקת נתונים
  • הצגת תוצאות הסריקה של פרופיל הנתונים, המשימות וההיסטוריה:
    • dataplex.datascans.getData בסריקת נתונים
    • dataplex.datascans.list בפרויקט
    • dataplex.dataScanJobs.get במשימת סריקת נתונים
    • dataplex.dataScanJobs.list בסריקת נתונים
  • פרסום תוצאות של סריקת פרופיל נתונים ב-Knowledge Catalog:
    • dataplex.entryGroups.useDataProfileAspect on entry group
    • bigquery.tables.update בטבלה
    • dataplex.entries.update on entry
  • כדי לראות את התוצאות של פרופיל הנתונים שפורסם עבור טבלה ב-BigQuery או ב-Knowledge Catalog:
    • bigquery.tables.get בטבלה
    • bigquery.tables.getData בטבלה

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

תפקידים והרשאות של חשבון שירות ב-Knowledge Catalog

כדי לוודא שלחשבון השירות של Knowledge Catalog יש את ההרשאות שנדרשות להרצת סריקות של פרופילי נתונים ולייצוא התוצאות, צריך לבקש מהאדמין להקצות לחשבון השירות של Knowledge Catalog את תפקידי ה-IAM הבאים:

  • מריצים סריקות של פרופיל נתונים על נתונים ב-BigQuery:
    • BigQuery Job User (roles/bigquery.jobUser) בפרויקט שבו מופעלת הסריקה
    • ‫BigQuery Data Viewer (צפייה בנתוני BigQuery) ‏(roles/bigquery.dataViewer) בטבלאות שנסרקות
  • הפעלת סריקות של פרופיל נתונים לטבלאות חיצוניות ב-BigQuery שמשתמשות בנתונים מ-Cloud Storage:
  • הפעלת סריקות של פרופילי נתונים לטבלאות של Iceberg REST Catalog ב- Google Cloud Lakehouse: BigLake Viewer (roles/biglake.viewer) בטבלאות של Iceberg Rest Catalog שנסרקות
  • ייצוא תוצאות הסריקה של פרופיל הנתונים לטבלה ב-BigQuery: ‫BigQuery Data Editor (עריכה של נתוני BigQuery) roles/bigquery.dataEditor בטבלה

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.