Evaluar el rendimiento

Document AI genera métricas de evaluación, como la precisión y el recuerdo, que te ayudan a determinar el rendimiento predictivo de tus procesadores.

Estas métricas de evaluación se generan comparando las entidades que devuelve el procesador (las predicciones) con las anotaciones que hay en los documentos de prueba. Si tu procesador no tiene un conjunto de pruebas, primero debes crear un conjunto de datos y etiquetar los documentos de prueba.

Haz una evaluación

Cada evaluación se ejecuta automáticamente cada vez que entrenas o mejoras una versión de un procesador.

También puedes ejecutar una evaluación manualmente. Es obligatorio para generar métricas actualizadas después de modificar el conjunto de pruebas o si estás evaluando una versión de procesador preentrenada.

UI web

  1. En la Google Cloud consola, ve a la página Procesadores y elige el procesador.

    Ir a la página Procesadores

  2. En la pestaña Evaluar y probar, seleccione la versión del procesador que quiera evaluar y, a continuación, haga clic en Ejecutar nueva evaluación.

Una vez completado el proceso, la página contiene métricas de evaluación de todas las etiquetas y de cada etiqueta individual.

Python

Para obtener más información, consulta la documentación de referencia de la API Python de Document AI.

Para autenticarte en Document AI, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta el artículo Configurar la autenticación en un entorno de desarrollo local. 


from google.api_core.client_options import ClientOptions
from google.cloud import documentai  # type: ignore

# TODO(developer): Uncomment these variables before running the sample.
# project_id = 'YOUR_PROJECT_ID'
# location = 'YOUR_PROCESSOR_LOCATION' # Format is 'us' or 'eu'
# processor_id = 'YOUR_PROCESSOR_ID'
# processor_version_id = 'YOUR_PROCESSOR_VERSION_ID'
# gcs_input_uri = # Format: gs://bucket/directory/


def evaluate_processor_version_sample(
    project_id: str,
    location: str,
    processor_id: str,
    processor_version_id: str,
    gcs_input_uri: str,
) -> None: