Document AI を使用すると、独自のトレーニング データを使用して新しいプロセッサ バージョンをトレーニングし、独自のテストデータに対してプロセッサ バージョンの品質を評価できます。
これは、カスタム プロセッサを使用する場合に便利です。ドキュメント タイプに対応する Document AI プロセッサはありますが、ニーズに合わせてカスタム バージョンをアップトレーニングできます。
通常、トレーニングと評価は並行して実行され、高品質で使いやすいプロセッサ バージョンに向けて反復処理が行われます。
Document AI
Document AI を使用すると、特定のタイプのドキュメントからエンティティを抽出する独自のカスタム エクストラクタを構築できます。たとえば、メニューの項目や、履歴書の名前や連絡先情報を抽出できます。
他のプロセッサとは異なり、カスタム プロセッサには事前トレーニング済みバージョンのプロセッサが備わっていないため、バージョンにゼロからトレーニングを行った後でなければドキュメントを処理できません。
Document AI の使用を開始するには、独自のカスタム プロセッサを構築するをご覧ください。
プロセッサのアップトレーニング
新しいプロセッサ バージョンをアップトレーニングすると、データの精度を向上させ、ドキュメントから追加のカスタム フィールドを抽出し、新しい言語のサポートを追加できます。
アップ トレーニングは、Google の事前トレーニング済みプロセッサ バージョンに転移学習を適用することで機能します。通常、スクラッチからのトレーニングよりも必要なデータが少なくなります。
使用を開始するには、事前トレーニング済みプロセッサをアップトレーニングするをご覧ください。
サポートされるプロセッサ
すべての専用プロセッサがアップ トレーニングをサポートしているわけではありません。アップ トレーニングをサポートするプロセッサは次のとおりです。
データの考慮事項と推奨事項
データの質と量によって、トレーニング、アップトレーニング、評価の質が決まります。
代表的な実際のドキュメントのセットを取得し、十分な高品質のラベルを提供することは、多くの場合、プロセスの中で最も時間とリソースを要する部分です。
ドキュメント数
ドキュメントの形式がすべて類似している場合（たとえば、バリエーションが非常に少ない固定フォームなど）、精度を高めるために必要なドキュメントの数は少なくなります。バリエーションが大きいほど、必要なドキュメントが多くなります。
次のグラフは、カスタム ドキュメント エクストラクタが特定の品質スコアを達成するために必要なドキュメント数のおおよその見積もりを示しています。
| 変動が少ない | 変動が大きい |
|---|---|
 |
 |
Data Labeling
ドキュメントにラベルを付けるオプションを検討し、データセット内のドキュメントにアノテーションを付けるのに十分なリソースがあることを確認します。
モデルのトレーニング
カスタム エクストラクタ プロセッサは、特定のユースケースと利用可能なトレーニング データに応じて、さまざまなモデルタイプを使用できます。
- カスタムモデル: ラベル付きトレーニング データを使用するモデル。
- テンプレート ベース: レイアウトが固定されたドキュメント。
- モデルベース: レイアウトのバリエーションがあるドキュメント。
- 生成 AI モデル: 事前トレーニング済みの基盤モデルに基づいており、追加のトレーニングは最小限で済みます。
次の表に、各モデルタイプに対応するユースケースを示します。
| カスタムモデル | 生成 AI | ||
|---|---|---|---|
| テンプレート ベース | モデルベース | ||
| レイアウトのバリエーション | なし | ||