המשך אימון של מעבד שאומן מראש

באמצעות כלי לניתוח חשבוניות, אתם יכולים להמשיך לאמן מעבד שאומן מראש כדי לשפר את הדיוק. מתחילים עם מודל מוכן מראש, מאמנים אותו עם הנתונים שלכם ומוסיפים שדות בהתאמה אישית. יש מגוון פורמטים של חשבוניות, ואם תאמנו מחדש מנתח חשבוניות כללי עם הנתונים שלכם, תוכלו לשפר את הדיוק בפורמטים ספציפיים ולאפשר למנתח לחלץ שדות שלא נתמכים על ידי המודל שאומן מראש. יש נתונים לדוגמה, אבל אפשר לבצע את אותן פעולות באמצעות נתונים משלכם.

לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Document AI, Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Document AI, Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    10.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להמשך אימון של מעבד שאומן מראש, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מעבד

  1. בתפריט הניווט במסוף Google Cloud , בוחרים באפשרות Document AI ואז באפשרות Processor Gallery.

    מעבד Gallery

  2. בגלריית המעבדים, מחפשים את כלי הניתוח של חשבוניות ולוחצים על יצירה.

    uptrain-a-legacy-processor-1

  3. מזינים שם מעבד, למשל invoice-parser-for-uptraining.

  4. בוחרים את האזור שהכי קרוב אליכם.

  5. לוחצים על יצירה. מופיעה הכרטיסייה פרטי המעבד.

    uptrain-a-legacy-processor-2

יצירת קטגוריה של Cloud Storage למערך הנתונים

כדי לאמן את המעבד החדש הזה, צריך ליצור מערך נתונים עם נתוני אימון ובדיקה שיעזרו למעבד לזהות את הישויות שרוצים לחלץ.

מערך הנתונים הזה דורש קטגוריה חדשה ב-Cloud Storage. אל תשתמשו באותה קטגוריה שבה מאוחסנים המסמכים שלכם.

  1. עוברים לכרטיסייה Train (אימון) של המעבד.

  2. בוחרים באפשרות הגדרת מיקום מערך הנתונים. תתבקשו לבחור או ליצור קטגוריה של Cloud Storage או תיקייה ריקות.

    uptrain-a-legacy-processor-3

  3. לוחצים על עיון כדי לפתוח את בחירת תיקייה.

  4. בוחרים באפשרות Create a new bucket (יצירת קטגוריית קצה עורפי חדשה) ופועלים לפי ההנחיות ליצירת קטגוריית קצה עורפי חדשה. מידע נוסף על יצירת קטגוריה של Cloud Storage זמין במאמר קטגוריות של Cloud Storage.

    הערה: קטגוריה היא ישות אחסון ברמה העליונה, שאפשר להוסיף לה תיקיות. במקום ליצור ולבחור קטגוריה, אפשר גם ליצור ולבחור תיקייה ריקה בתוך קטגוריה קיימת, אם אתם מעדיפים. מידע נוסף זמין במאמר בנושא תיקיות מדומה.

    אחרי שיוצרים את הקטגוריה, מופיע הדף בחירת תיקייה של הקטגוריה.

  5. בדף בחירת תיקייה של הדלי, לוחצים על בחירה בתחתית תיבת הדו-שיח.

    uptrain-a-legacy-processor-4

  6. מוודאים שנתיב היעד מאוכלס בשם של קטגוריית הנתונים שבחרתם. בוחרים באפשרות יצירת מערך נתונים. יכול להיות שיחלפו כמה דקות עד שערכת הנתונים תיווצר.

    uptrain-a-legacy-processor-5

  • מעבר ישירות לאימון: אפשר לדלג אל ייבוא נתונים עם תוויות שהוגדרו מראש. במקום לייבא מסמך לדוגמה, אפשר להשתמש בכלים כדי להוסיף תוויות לשדות באופן ידני, ולהוסיף את המסמך לנתוני האימון.

  • תיוג ידני של מסמכים והוספה שלהם לקבוצת נתונים לאימון: לפני שממשיכים בהמשך אימון, צריך לעבור אל ייבוא מסמך לדוגמה לתיוג ידני ולבצע את ההוראות שמופיעות שם.

ייבוא מסמך לדוגמה לסימון ידני

לאחר מכן, מייבאים קובץ PDF לדוגמה של חשבונית אל מערך הנתונים. השדות במסמך הזה מסומנים כדי לעזור בתהליך ההכשרה הבא.

במדריך הזה, מסופק קובץ מייצג שמשמש כדוגמה למסמך.

  1. בכרטיסייה Train (אימון), בוחרים באפשרות Import documents (ייבוא מסמכים).

    uptrain-a-legacy-processor-6

  2. בדוגמה הזו, מזינים את שם הקטגוריה בשדה נתיב המקור. הקישור הזה מוביל ישירות למסמך אחד.

    cloud-samples-data/documentai/codelabs/uptraining/pdfs

  3. בקטע Data split (פיצול נתונים), בוחרים באפשרות Unassigned (לא הוקצה). המסמך בתיקייה הזו לא משויך לקבוצת הבדיקה או לקבוצת נתונים לאימון. משאירים את התיבה ייבוא עם תיוג אוטומטי לא מסומנת.

  4. לוחצים על ייבוא. ‫Document AI קורא את המסמכים מהקטגוריה אל מערך הנתונים. היא לא משנה את קטגוריית הייבוא ולא קוראת מהקטגוריה אחרי שהייבוא מסתיים.

כשמייבאים מסמכים, אפשר להקצות אותם לקבוצת האימון או לקבוצת הבדיקה במהלך הייבוא, או להקצות אותם מאוחר יותר.

כדי למחוק מסמך או מסמכים שייבאתם, בוחרים אותם בכרטיסייה אימון ולוחצים על מחיקה.

מידע נוסף על הכנת הנתונים לייבוא זמין במדריך להכנת נתונים.

הגדרת סכימת המעבד

יכול להיות שערכת הנתונים לא תכיל את כל התוויות שנתמכות על ידי הכלי לניתוח חשבוניות. אם כן, צריך לסמן את התוויות שלא בשימוש כ-Inactive לפני שמתחילים באימון. אפשר גם להוסיף תווית מותאמת אישית אחת או יותר לפני שמתחילים את תהליך ההכשרה.

  1. בכרטיסייה Train (אימון), לוחצים על Edit Schema (עריכת סכימה) בפינה הימנית התחתונה. הדף ניהול תוויות ייפתח.

  2. כדי להשבית תוויות שלא נמצאות בשימוש, מסמנים את תיבות הסימון של השדות שלא מופיעים ברשימה הבאה, ואז בוחרים באפשרות השבתה. השדות הבאים צריכים להישאר מופעלים:

    invoice_date
line_item
  amount
  description
receiver_address
receiver_name
supplier_address
supplier_name
total_amount

    הערה: אי אפשר למחוק תוויות. במקום זאת, אפשר להשבית כל תווית שלא רוצים להשתמש בה.

  3. כשמסיימים להוסיף את התוויות, לוחצים על שמירה.

    uptrain-a-legacy-processor-7

  4. לוחצים על החץ 'הקודם' כדי לחזור לדף הדרכה.

הוספת תוויות למסמך

התהליך של בחירת טקסט במסמך והחלת תוויות נקרא הערה.

  1. חוזרים לכרטיסייה Train ובוחרים באפשרות a document כדי לפתוח את מסוף Label management.

  2. לאחר מכן, בוחרים מתוך תווית הסכימה בחלונית הימנית את התווית שמתאימה לערך שרוצים להוסיף לו הערה, ומחילים את התווית.

  3. כדי לבחור את התוכן ולהחיל את התווית, משתמשים בכלי תיבת תוחמת כברירת מחדל, או בכלי בחירת טקסט עבור ערכים מרובי שורות.

    לדוגמה, בחשבונית הזו, לטקסט "McWilliam Piping International Piping Company" צריך להקצות את התווית supplier_name. אפשר להשתמש במסנן הטקסט כדי לחפש שמות של תוויות.

    הערה: הכלי בחירת טקסט לא פועל עבור כל ערכי הטקסט, לכן כדאי להשתמש בתיבת התוחמת אם זה מתאים. אפשר גם לבחור שדות שהם לא טקסט, כמו תיבות סימון, באמצעות הכלי תיבת תוחמת.

  4. בודקים את ערכי הטקסט שזוהו כדי לוודא שהם משקפים את הטקסט הנכון מהמסמך.

    • כשבוחרים טקסט שמתאים לתווית, חשוב לכלול רק את הטקסט הרלוונטי. לדוגמה, כשמזינים תווית invoice_id, לא כוללים תווים כמו # שלרוב מופיעים לפני הערך המספרי. אל תכללו סמלי מטבע כמו $ כשמציינים סכום כסף.

      • חשוב לוודא שמוסיפים הערות לכל המופעים של ישות. לדוגמה, יכול להיות שהתגים supplier_name או invoice_id יופיעו כמה פעמים במסמך, וצריך להוסיף הערה לכל מופע.

  5. חוזרים על הפעולה לכל שדה שרוצים לתייג.

דוגמה לסט מלא של תוויות עם הטקסט המתאים.

שם התווית טקסט
supplier_name McWilliam Piping International Piping Company
supplier_address ‪14368 Pipeline Ave Chino, CA 91710
invoice_id 10001
due_date 2020-01-02
line_item/description מחברי אגרוף
line_item/quantity 9
line_item/unit_price 74.43
line_item/amount ‪669.87
line_item/description צינור PVC‏ 12 אינץ'
line_item/quantity 7
line_item/unit_price 15.90
line_item/amount 111.30
line_item/description צינורות נחושת
line_item/quantity 7
line_item/unit_price 91.20
line_item/amount 638.40
net_amount 1,419.57
total_tax_amount 113.57
total_amount 1,533.14
currency $

  1. כשמסיימים להוסיף הערות למסמך, בוחרים באפשרות סימון כ'תויג'.

    בכרטיסייה Train (אימון), בחלונית הימנית מוצג שמסמך אחד סומן.

הקצאת מסמך עם הערות לקבוצת נתונים לאימון

אחרי שמתייגים את המסמך לדוגמה, אפשר להקצות אותו לקבוצת נתונים לאימון.

  1. בכרטיסייה Train (אימון), מסמנים את תיבת הסימון Select All (בחירת הכול).

  2. ברשימה הקצאה לקבוצה, בוחרים באפשרות הדרכה.

בחלונית הימנית, אפשר לראות שמסמך אחד הוקצה לקבוצת נתונים לאימון.

ייבוא נתונים עם תוויות מוגדרות מראש למערכי האימון והבדיקה

כדי לשפר את האימון של Document AI, צריך לפחות 10 מסמכים גם בקבוצת האימון וגם בקבוצת הבדיקה, וגם 10 מקרים של כל תווית בכל קבוצה.

כדי לקבל את הביצועים הכי טובים, מומלץ לכלול לפחות 50 מסמכים בכל קבוצה, עם 50 מקרים של כל תווית. בדרך כלל, ככל שיש יותר נתוני אימון, כך רמת הדיוק גבוהה יותר.

במדריך הזה, הנתונים מסומנים מראש. אם אתם עובדים על פרויקט משלכם, אתם צריכים להחליט איך לתייג את הנתונים. אפשרויות התיוג

  1. לוחצים על ייבוא מסמכים.

  2. מזינים את הנתיב הבא בנתיב המקור. המאגר הזה מכיל מסמכים עם תוויות מוגדרות מראש בפורמט Document JSON.

    cloud-samples-data/documentai/Custom/Invoices/JSON

  3. ברשימה פיצול נתונים, בוחרים באפשרות פיצול אוטומטי. הפעולה הזו מפצלת באופן אוטומטי את המסמכים כך ש-80% מהם יהיו בקבוצת נתונים לאימון ו-20% בקבוצת נתונים לבדיקה. משאירים את התיבה ייבוא עם תיוג אוטומטי לא מסומנת.

  4. לוחצים על ייבוא. תהליך הייבוא עשוי להימשך כמה דקות. אחרי כן, המסמכים יופיעו בכרטיסייה Train (אימון).

אופציונלי: הוספת תוויות אוטומטית למסמכים חדשים שיובאו

כשמייבאים מסמכים לא מתויגים למעבד עם גרסה קיימת של מעבד שהופעלה, אפשר להשתמש בתיוג אוטומטי כדי לחסוך זמן בתיוג.

  1. בדף Train (אימון), לוחצים על Import documents (ייבוא מסמכים).

  2. מעתיקים ומדביקים את הנתיב הבא ב-Cloud Storage. הספרייה הזו מכילה חמישה קובצי PDF של חשבוניות ללא תוויות. ברשימה הנפתחת פיצול נתונים, בוחרים באפשרות אימון.

    cloud-samples-data/documentai/Custom/Invoices/PDF_Unlabeled

  3. בקטע תיוג אוטומטי, מסמנים את התיבה