אבחון בעיות

יכול להיות שיתרחשו שגיאות בשידור במהלך זמן הריצה.

  • אפשר לתקן שגיאות מסוימות, כמו סיסמה שגויה במסד הנתונים של המקור, והזרם יתחדש אוטומטית.
  • יכול להיות שהשגיאות ישפיעו על אובייקט אחד, כמו אירוע שמכיל סוגי נתונים לא נתמכים. שגיאות אחרות עשויות להשפיע על כמה אובייקטים או על כל הזרם, למשל אם Datastream לא מצליח להתחבר למסד הנתונים של המקור.
  • בהתאם לשגיאה, המידע מופיע בדפים מקורות נתונים או פרטים של מקור נתונים בממשק המשתמש של Datastream. אפשר גם להשתמש בממשקי ה-API של Datastream כדי לאחזר מידע על השגיאה.

כדי לפתור שגיאה, עוברים לזרם כדי לראות את השגיאה ופועלים לפי השלבים שמפורטים בהודעת השגיאה.

בדף הזה מופיע מידע על שגיאות בהגדרות, בקישוריות, ב-Oracle וב-MySQL, וגם שלבים לפתרון הבעיות.

שגיאות בהגדרות ובקישוריות

שגיאה שלבים לפתרון בעיות
החיבור למסד הנתונים של המקור נכשל (כללי).

יכולות להיות לכך כמה סיבות. כדי לפתור את השגיאה:

  1. מוודאים שמסד הנתונים של המקור פועל ושאפשר לגשת אליו.
  2. עוברים לפרופיל של חיבור המקור מהדפים Streams או Connection profiles.
  3. מוודאים שפרטי הקישוריות בפרופיל החיבור נכונים.
  4. מוודאים ששם המשתמש והסיסמה תואמים.
  5. מוודאים ששם המשתמש קיים במסד הנתונים ושיש לו את ההרשאות הנדרשות.
  6. שומרים את השינויים שביצעתם בדף פרופילי חיבור.

השידור יתחדש באופן אוטומטי.
החיבור למסד הנתונים של המקור נכשל (רשימת כתובות IP שאפשר להשתמש בהן). זה יכול לקרות אם שיטת הקישור שנבחרה היא רשימת כתובות IP להיתר, אבל כתובת IP יוצאת אחת או יותר של Datastream לא נוספה בצורה תקינה למסד הנתונים של המקור. מוודאים שכתובות ה-IP היוצאות שמוצגות בפרופיל החיבור של Datastream מוגדרות בחומת האש של הרשת, כדי ששרת מסד הנתונים של המקור יוכל לקבל חיבורים מכתובות ה-IP האלה. אחרי שהבעיה תיפתר, השידור יתחדש אוטומטית.
החיבור למסד הנתונים של המקור נכשל (מנהרת SSH קדימה). זה יכול לקרות אם יש בעיה במנהרת ה-SSH להעברת נתונים. בודקים את הסטטוס של המנהרה. אם המנהרה הופסקה, צריך להפעיל אותה. אחרי שהבעיה תיפתר, השידור יתחדש אוטומטית.
‫Datastream לא יכול להתחבר ליעד מבוצר (bastion host) דרך מנהרת SSH להעברת נתונים. מוודאים שהגדרת מנהרת ה-SSH להעברה מוגדרת בצורה נכונה בפרופיל החיבור של המקור, ושהיציאה פתוחה בשרת מנהרת ה-SSH.
החיבור למסד הנתונים של המקור נכשל בגלל אישורים לא תקינים. זה יכול לקרות אם יש בעיה באישורים שסופקו כשמגדירים את פרופיל חיבור המקור. עוברים לדף פרופילי חיבור ובוחרים את פרופיל החיבור הרצוי. מוודאים שהאישורים מוגדרים בצורה נכונה. אחרי שמבצעים את השינויים, שומרים את פרופיל החיבור והשידור מתחדש באופן אוטומטי.
החיבור למסד הנתונים של המקור נכשל בגלל בעיה בקישוריות הפרטית. השגיאה הזו קשורה לשיטת הקישוריות הפרטית של קישור בין רשתות VPC שכנות (peering).
  1. חשוב לוודא שהשלמתם את כל התנאים המוקדמים תנאים מוקדמים ל-VPC peering.

  2. אחרי יצירת ההגדרה של הקישוריות הפרטית, מוודאים שהנתיב שמכיל את כתובת ה-IP הפנימית של מסד הנתונים מופיע בכרטיסייה Exported routes בדף VPC Network Peering.

    כדי לעשות את זה, עוברים לדף VPC Network Peering ומחפשים את ה-peering שנוסף (השם הוא peering-[UUID]). אפשר למצוא את המסלול בכרטיסייה Exported routes. אם המסלול הזה לא קיים, צריך להוסיף אותו ידנית.

  3. ב-Datastream לא מתבצעת בדיקה של חפיפה עם מסלולי ניתוב דינמיים של שירותי Peering. אספקת רשת משנה שחופפת לנתיב דינמי עלולה לגרום לבעיות בקישוריות. לכן, לא מומלץ להשתמש ברשת משנה שהיא חלק מניתוב דינמי.
  4. מוודאים שהמסלולים המותאמים אישית לטווחים של כתובות ה-IP של מקור הנתונים מפורסמים בצורה נכונה. אם המסלולים המותאמים אישית לא מופיעים, אפשר לעיין במאמר בנושא מסלולים מותאמים אישית שפורסמו.
  5. אם עדיין יש בעיות בחיבור למסד הנתונים של המקור, כדאי לעיין במאמר בנושא הגדרת פרוקסי הפוך.
החיבור למסד הנתונים של המקור נכשל באמצעות ממשק Private Service Connect.
  1. חשוב לוודא שכל הדרישות המוקדמות הושלמו.
  2. מוודאים שכללי חומת האש מאפשרים לרשת המשנה של קובץ הרשת המצורף להתחבר למסד הנתונים של המקור.
  3. מוודאים שהמסלולים המותאמים אישית לטווחים של כתובות ה-IP של מקור הנתונים מפורסמים בצורה נכונה. אם המסלולים המותאמים אישית לא מופיעים, אפשר לעיין במאמר בנושא מסלולים מותאמים אישית שפורסמו.
סוג הקישוריות STATIC_SERVICE_IP_CONNECTIVITY לא מותר כשהאילוצים של מדיניות הארגון או datastream.disablePublicConnectivity מופעלים.

בחרתם בשיטות הציבוריות לרשימת כתובות ה-IP המותרות או למנהור SSH להעברה לקישוריות לרשת עבור פרופיל החיבור שאתם יוצרים. עם זאת, מדיניות הארגון Block Public Connectivity Methods (חסימת שיטות קישוריות ציבוריות) מופעלת ב-Datastream. לכן, אי אפשר לבחור שיטות קישוריות ציבוריות לפרופיל החיבור.

כדי לפתור את הבעיה הזו, צריך לבחור את שיטת הקישוריות לרשת VPC peering או ממשקי Private Service Connect, או להשבית את מדיניות הארגון.

כדי להשבית את מדיניות הארגון:

  1. עוברים לדף מדיניות הארגון במסוף Google Cloud .
  2. בוחרים את מדיניות הארגון Datastream - Block Public Connectivity Methods.

  3. לוחצים על עריכה.

  4. בקטע חל על בדף, בוחרים באפשרות התאמה אישית.

  5. בקטע Enforcement, בוחרים באפשרות Off.

  6. לוחצים על SAVE.
  7. חוזרים לפרופיל החיבור של Oracle שיוצרים ולוחצים על יצירה.
כשמגדירים את מסד הנתונים של המקור לסטרימינג, אי אפשר למצוא ברשימת האובייקטים את הטבלאות והסכימות שרוצים להעביר.

זה יכול לקרות אם במסד הנתונים יש אלפי טבלאות וסכימות. יכול להיות שחלק מהם לא ייכללו ברשימת האובייקטים למשיכה כשמגדירים את המקור לזרם ב Google Cloud מסוף. במקום לבחור באפשרות סכימות וטבלאות ספציפיות בקטע בחירת אובייקטים להכללה, בוחרים באפשרות בהתאמה אישית. בשדה קריטריונים להתאמת אובייקטים, מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף.
הוספתי כמה טבלאות לשידור שלי באמצעות התפריט אובייקטים להוספה. עם זאת, כשמעיינים בכרטיסייה Objects בStream details, אפשר לראות שחסרות כמה טבלאות. חשוב לוודא שיש לפחות עדכון CDC אחד לכל אחת מהטבלאות האלה, כדי ש-Datastream יוכל לזהות את השינויים ולכלול את הטבלאות בזרם באופן אוטומטי.
הטעינה של רשימת האובייקטים נכשלת כשמשתמשים בתפריט Objects to include במסוף Google Cloud . זה יכול לקרות אם במסד הנתונים יש יותר מ-5,000 סכימות וטבלאות. אפשר להשתמש בשיטה אחרת כדי לציין אילו אובייקטים לכלול, או להשתמש ב-Datastream API. מידע נוסף זמין במאמר בנושא הגדרת מסדי נתונים של מקורות.
אירועים שהושמטו במהלך הסטרימינג ולא שוכפלו ביעד.

יכול להיות שאירועים שלא נתמכים יושמטו ממקור הנתונים במהלך העיבוד בסטרימינג. כדי לפתור את הבעיה, אפשר לבצע את הפעולות הבאות:

  • מפעילים ידנית מילוי חוסרים של כל הטבלה. האפשרות הזו פועלת רק אם האירועים שהושלכו הם אירועים מסוג UPSERT. אם האירועים שהושמטו כוללים אירועי DELETE, צריך לחתוך את הטבלה ב-BigQuery לפני שמבצעים מילוי חוסרים.

    במאמר