במאמר הזה מוסבר איך לייבא מטא-נתונים ממערכת צד שלישי אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות שיטות של metadata import API וצינור משלכם. מטא-נתונים של Knowledge Catalog מורכבים מרשומות וממאפיינים שלהן.
אם אתם רוצים להשתמש בצינור עיבוד נתונים מנוהל לארגון כדי לחלץ ולייבא מטא-נתונים, מומלץ להשתמש בצינור עיבוד נתונים מנוהל לקישוריות. באמצעות צינור עיבוד נתונים מנוהל לקישוריות, אתם יכולים להשתמש במחבר משלכם שחולץ מטא-נתונים ומפיק פלט בפורמט שאפשר להשתמש בו כקלט בשיטות של Metadata Import API (קובץ ייבוא המטא-נתונים). לאחר מכן, אתם משתמשים ב-Workflows כדי לארגן את המשימות בצינור עיבוד הנתונים. Google Cloud
אפשר להריץ את סוגי משימות הייבוא הבאים של מטא-נתונים:
- סנכרון מלא של רשומות עם ייבוא מצטבר של ההיבטים שלהן. נתמך עבור ערכים מותאמים אישית.
- ייבוא מצטבר של היבטים בלבד. התמיכה קיימת לגבי היבטים ששייכים לרשומות מותאמות אישית ולרשומות מערכת. במקרים של רשומות מותאמות אישית, אפשר לשנות גם את ההיבטים האופציונליים וגם את ההיבטים הנדרשים. בנתוני מערכת, אפשר לשנות היבטים אופציונליים.
שלבים כלליים
כדי לייבא מטא-נתונים באמצעות Metadata Import API, פועלים לפי השלבים הכלליים הבאים:
קובעים את היקף העבודה.
בנוסף, חשוב להבין איך Knowledge Catalog מיישם את לוגיקת ההשוואה ואת מצב הסנכרון של הרשומות וההיבטים.
יוצרים קובץ אחד או יותר של ייבוא מטא-נתונים שמגדירים את הנתונים לייבוא.
שומרים את קובצי ייבוא המטא-נתונים בקטגוריה של Cloud Storage.
מריצים משימה של ייבוא מטא-נתונים.
השלבים בדף הזה מניחים שאתם מכירים את המושגים שקשורים למטא-נתונים ב-Knowledge Catalog, כולל קבוצות רשומות, סוגי רשומות וסוגי היבטים. למידע נוסף, תוכלו לעיין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.
לפני שמתחילים
לפני שמייבאים מטא-נתונים, צריך להשלים את המשימות שבקטע הזה.