パフォーマンスを評価する

Document AI が生成する適合率や再現率などの評価指標を使用して、プロセッサの予測パフォーマンスを判断します。

これらの評価指標は、プロセッサから返されたエンティティ（予測）とテスト ドキュメント内のアノテーションを比較することで生成されます。プロセッサにテストセットがない場合は、まずデータセットを作成し、テスト ドキュメントにラベルを付ける必要があります。

評価を実行する

評価は、プロセッサ バージョンのトレーニングまたはアップトレーニングを行うたびに自動的に実行されます。

評価を手動で実行することもできます。これは、テストセットを変更した後に更新された指標を生成する場合や、事前トレーニング済みのプロセッサ バージョンを評価する場合に必要です。

ウェブ UI

  1. Google Cloud コンソールで、[プロセッサ] ページに移動して、プロセッサを選択します。

    [プロセッサ] ページに移動

  2. [評価とテスト] タブで、評価するプロセッサの [バージョン] を選択し、[新しい評価を実行] をクリックします。

完了すると、ページにはすべてのラベルと個々のラベルの評価指標が表示されます。

Python

詳細については、Document AI Python API リファレンス ドキュメントをご覧ください。

Document AI に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。


from google.api_core.client_options import ClientOptions
from google.cloud import documentai  # type: ignore

# TODO(developer): Uncomment these variables before running the sample.
# project_id = 'YOUR_PROJECT_ID'
# location = 'YOUR_PROCESSOR_LOCATION' # Format is 'us' or 'eu'
# processor_id = 'YOUR_PROCESSOR_ID'
# processor_version_id = 'YOUR_PROCESSOR_VERSION_ID'
# gcs_input_uri = # Format: gs://bucket/directory/


def evaluate_processor_version_sample(
    project_id: str,
    location: str,
    processor_id: str,
    processor_version_id: str,
    gcs_input_uri: str,
) -> None:
    # You must set the api_endpoint if you use a location other than 'us', e.g.:
    opts = ClientOptions(api_endpoint=f"{location}-documentai.googleapis.com")

    client = documentai.DocumentProcessorServiceClient(client_options=opts)

    # The full resource name of the processor version
    # e.g. `projects/{project_id}/locations/{location}/processors/{processor_id}/processorVersions/{processor_version_id}`
    name = client.processor_version_path(
        project_id, location, processor_id, processor_version_id
    )

    evaluation_documents = documentai.BatchDocumentsInputConfig(
        gcs_prefix=documentai.GcsPrefix(gcs_uri_prefix=gcs_input_uri)
    )

    # NOTE: Alternatively, specify a list of GCS Documents
    #
    # gcs_input_uri = "gs://bucket/directory/file.pdf"
    # input_mime_type = "application/pdf"
    #
    # gcs_document = documentai.GcsDocument(
    #     gcs_uri=gcs_input_uri, mime_type=input_mime_type
    # )
    # gcs_documents = [gcs_document]
    # evaluation_documents = documentai.BatchDocumentsInputConfig(
    #     gcs_documents=documentai.GcsDocuments(documents=gcs_documents)
    # )
    #

    request = documentai.EvaluateProcessorVersionRequest(
        processor_version=name,
        evaluation_documents=evaluation_documents,
    )

    # Make EvaluateProcessorVersion request
    # Continually polls the operation until it is complete.
    # This could take some time for larger files
    operation = client.evaluate_processor_version(request=request)
    # Print operation details
    # Format: projects/PROJECT_NUMBER/locations/LOCATION/operations/OPERATION_ID
    print(f"Waiting for operation {operation.operation.name} to complete...")
    # Wait for operation to complete
    response = documentai.EvaluateProcessorVersionResponse(operation.result())

    # After the operation is complete,
    # Print evaluation ID from operation response
    print(f"Evaluation Complete: {response.evaluation}")

評価の結果を取得する

ウェブ UI

  1. Google Cloud コンソールで、[プロセッサ] ページに移動して、プロセッサを選択します。

    [プロセッサ] ページに移動

  2. [評価とテスト] タブで、評価を表示するプロセッサの [バージョン] を選択します。

完了すると、ページにはすべてのラベルと個々のラベルの評価指標が表示されます。