Acerca de la gestión de metadatos en Dataplex Universal Catalog

Dataplex Universal Catalog es un servicio totalmente gestionado que automatiza el descubrimiento y el inventario de tus datos distribuidos y recursos de IA. Crea una base de conocimientos unificada y con función de búsqueda que rige los datos en Google Cloud y otros entornos, lo que garantiza que tus analíticas y modelos de IA se basen en información fiable y conforme a las normativas.

Casos prácticos

• Acelera las analíticas de autoservicio: resuelve el problema del "arranque en frío" permitiendo que los analistas encuentren, comprendan y verifiquen la calidad de los datos sin tener que esperar a que el equipo de ingeniería les proporcione asistencia.

• Gobernar productos de IA y datos: gestiona el ciclo de vida de los modelos de IA y los conjuntos de datos conjuntamente, lo que asegura que las aplicaciones de IA posteriores se basen en entradas seguras y aprobadas.

• Simplifica el cumplimiento: automatiza el seguimiento del linaje de datos para mapear cómo fluye la información sensible, incluida la información personal identificable (IPI), en tu organización.

Cómo funciona Dataplex Universal Catalog

Dataplex Universal Catalog es como una biblioteca inteligente automatizada para tu empresa. En lugar de indexar manualmente, el sistema analiza automáticamente tus sistemas de almacenamiento (como BigQuery) para recoger metadatos técnicos.

Después, te permite enriquecer estos metadatos con contexto empresarial (como las puntuaciones de calidad de los datos o la propiedad) y organizarlos en grupos lógicos. De esta forma, cuando los usuarios busquen en el catálogo, encontrarán recursos que se puedan descubrir y que estén regidos por políticas de seguridad activas.

Terminología

Las funciones de gestión de metadatos de Dataplex Universal Catalog se basan en los siguientes conceptos:

Entrada

Una entrada representa un recurso de datos. Es similar a

entradas de Data Catalog.

Por ejemplo, una tabla de BigQuery llamada test-project.sales_data.customer_orders se representa como una entrada.

Una columna de una entrada representa una subsección específica de un activo de datos, como una columna de una tabla de BigQuery o un campo de un archivo JSON. Las columnas te permiten adjuntar metadatos a campos concretos de una entrada, no solo a la entrada en su conjunto. No se definen columnas directamente, sino que se crean cuando se adjunta un aspecto de tipo schema a una entrada. Las columnas también se denominan rutas.

Ejemplo: Para describir el campo email_address de la entrada customer_orders como que contiene información personal identificable (IPI), puede adjuntar un aspecto a la columna email_address.

Para obtener más información sobre las entradas, consulta Entradas.

Aspecto

Un aspecto es un conjunto de campos de metadatos relacionados. Puedes adjuntar

Un aspecto de una entrada para describir la entrada en su conjunto. La mayoría de los metadatos se describen mediante aspectos de una entrada. Es similar a las etiquetas del catálogo de datos. Sin embargo, los aspectos se almacenan en las entradas y no como recursos independientes.

Ejemplo: Para definir todas las columnas de la entrada customer_orders, como order_id, order_date y email_address, puedes adjuntar un aspecto schema a la entrada customer_orders. Para especificar que la columna email_address contiene una dirección de correo, puedes adjuntar un aspecto schema a la columna email_address.

Para obtener más información sobre los aspectos, consulta Aspectos.

Tipo de entrada

Un tipo de entrada es una plantilla para crear entradas. Establece

los elementos de metadatos esenciales, que se describen como una lista de aspectos obligatorios para las entradas de este tipo. Un tipo de entrada especifica qué tipos de aspectos son obligatorios para un recurso de datos concreto.

Por ejemplo, para asegurarse de que todas las entradas tengan los metadatos necesarios, puede crear un tipo de entrada llamado StandardOperationalTable que requiera que se adjunte un aspecto OwnerInfo a cualquier entrada nueva de este tipo.

Para obtener más información sobre los tipos de entrada, consulta Tipos de entrada.

Tipo de aspecto

Un tipo de aspecto es una plantilla reutilizable para aspectos. Todos los aspectos

es una instancia de un tipo de aspecto. Es similar a las plantillas de etiquetas de Data Catalog.

Ejemplo: Para definir una plantilla reutilizable de información de contacto, puedes definir un tipo de aspecto llamado ContactInfo con campos para owner_name, email y support_team. Después, puedes crear ContactInfo aspectos a partir de esta plantilla y adjuntarlos a entradas o columnas.

Para obtener más información sobre los tipos de aspectos, consulta Tipos de aspectos.

Grupo de entradas

Un grupo de entradas es un contenedor de entradas que sirve como

unidad de gestión de estas entradas. Por ejemplo, puedes usar un grupo de entradas para configurar el control de acceso de Gestión de Identidades y Accesos, la atribución de proyectos o la ubicación de las entradas del grupo. Es similar a los grupos de entradas de Data Catalog.

Por ejemplo, un equipo de finanzas quiere gestionar los permisos de todas sus hojas de cálculo a la vez. Pueden crear un grupo de entradas llamado production_finance_data y añadir las entradas de las tablas customer_orders, quarterly_revenue y employee_salaries.

Para obtener más información sobre los grupos de entradas, consulta Grupos de entradas.

Dataplex Universal Catalog y Data Catalog

Dataplex Universal Catalog ofrece funciones integradas para gestionar tus metadatos. El almacenamiento de metadatos y los métodos de la API se integran en la API de Dataplex.

Estas son las principales funciones de gestión de metadatos de Dataplex Universal Catalog:

• Metamodelo más sólido

  • Entradas escritas. Puede aplicar estándares de metadatos mínimos definiendo el contenido de metadatos obligatorio para las entradas personalizadas.
  • Metamodelo configurable por el usuario para entradas personalizadas, que ayuda a que la ingestión personalizada sea más sólida y mejora la coherencia y la exhaustividad de los metadatos personalizados.
  • Compatibilidad con una mayor variedad y complejidad de metadatos, incluida la compatibilidad con estructuras anidadas, como listas, mapas y arrays.

• Se ha mejorado la escalabilidad, incluida la posibilidad de interactuar con todos los metadatos asociados a una entrada mediante operaciones CRUD atómicas únicas y la posibilidad de obtener varias anotaciones de metadatos asociadas en búsquedas o respuestas de listas.

En la siguiente tabla se comparan las funciones de gestión de metadatos de Dataplex Universal Catalog y Data Catalog:

Comparación entre Dataplex Universal Catalog y Data Catalog

Función	Dataplex Universal Catalog	Data Catalog
Fuentes Google Cloud admitidas	Todas las fuentes descritas en la sección Fuentes admitidas Google Cloud de este documento.	Todas las fuentes descritas en Entradas y grupos de entrada.
Ingestión de fuentes personalizadas	Ingestión en entradas personalizadas con una estructura controlada, definida por tipos de entrada. Las entradas y los grupos de entradas personalizados de Data Catalog están disponibles en Dataplex Universal Catalog con el tipo de entrada generic.	Ingestión en entradas personalizadas genéricas.
Enriquecimiento de metadatos	El contexto de los metadatos de las entradas se captura mediante glosarios empresariales, aspectos y tipos de aspectos.	El contexto de los metadatos de las entradas se obtiene mediante glosarios empresariales, etiquetas y plantillas de etiquetas.
Buscar	La búsqueda se realiza en los siguientes elementos: Todas las Google Cloud fuentes descritas en Fuentes Google Cloud admitidas Entradas personalizadas creadas en Dataplex Universal Catalog Aspectos que se crean en Dataplex Universal Catalog Entradas personalizadas que se crean en Data Catalog y se incorporan a Dataplex Universal Catalog Los resultados de búsqueda solo incluyen los recursos que pertenecen a la misma organización y al mismo perímetro de los controles de servicio de VPC que el proyecto en el que se realiza la búsqueda. Cuando se usa la consola Google Cloud , este es el proyecto seleccionado en la consola. Ten en cuenta que, para buscar entradas, debes tener al menos uno de los siguientes roles de gestión de identidades y accesos en el proyecto que se utiliza para la búsqueda: Administrador de Dataplex Catalog, Editor de Dataplex Catalog o Lector de Dataplex Catalog. Los permisos de los resultados de búsqueda se comprueban independientemente del proyecto seleccionado.	La búsqueda se realiza en los siguientes elementos: Todas las fuentes descritas en Entradas y grupos de entrada Google Cloud Entradas personalizadas que se crean en Data Catalog Etiquetas creadas en Data Catalog
Linaje de datos	El linaje de datos obtiene los detalles de las entradas de los nodos de recursos mediante la API de Dataplex. La consola Google Cloud muestra los aspectos adjuntos.	El linaje de datos obtiene los detalles de las entradas de los nodos de recursos mediante la API de Data Catalog.
Glosarios empresariales	El glosario empresarial le permite crear una taxonomía de términos empresariales y asociarlos a recursos y columnas de datos. Puedes usar la búsqueda para descubrir recursos vinculados a un término.	El glosario empresarial te permite crear una taxonomía de términos empresariales y asociarlos a columnas. Puedes usar la búsqueda para descubrir recursos vinculados a un término.

En la siguiente tabla se describe cómo se corresponden los recursos de Dataplex Universal Catalog con los de Data Catalog:

Asignación entre recursos de Dataplex Universal Catalog y Data Catalog

Recurso de Dataplex Universal Catalog	Recurso de Data Catalog	Descripción
Tipo de aspecto (global)	Plantilla de etiqueta pública	Las plantillas de etiquetas son recursos regionales. Sin embargo, puedes usarlas para crear etiquetas en todas las regiones. Las plantillas de etiquetas corresponden a los tipos de global aspecto de Dataplex Universal Catalog.
Aspecto opcional	Etiqueta pública	Las etiquetas públicas de Data Catalog corresponden a aspectos opcionales de Dataplex Universal Catalog.
Grupo de entradas	Grupo de entradas	En el caso de las Google Cloud fuentes, @bigquery se crean grupos de entradas del sistema por proyecto en Dataplex Universal Catalog.
Aspectos necesarios de las entradas personalizadas	Entrada personalizada	Data Catalog y Dataplex Universal Catalog comparten conceptos similares para las entradas personalizadas. Las propiedades de entrada estándar se modelan como aspectos obligatorios en Dataplex Universal Catalog.
Aspectos necesarios para acceder al sistema	Entrada del sistema (Google Cloud)	Los metadatos que describen entidades integradas, como Schema para las tablas de BigQuery, se registran en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.
Glosarios empresariales	Glosarios empresariales	Usa glosarios para crear una taxonomía de términos empresariales que estandarice el contexto empresarial en toda la empresa.

Para obtener más información sobre las funciones disponibles en Data Catalog que no se admiten en el catálogo universal de Dataplex, consulta la sección Funciones de gestión de metadatos que no se admiten en el catálogo universal de Dataplex de este documento.

Para usuarios actuales de Data Catalog

Si ya usas Data Catalog, ten en cuenta lo siguiente:

• Las entradas personalizadas, el contexto general, los glosarios y los grupos de entradas que hayas creado en Data Catalog estarán disponibles en Dataplex Universal Catalog.
• Como administrador, puede hacer que el contenido de las plantillas y las etiquetas de Data Catalog esté disponible simultáneamente en Dataplex Universal Catalog. Para obtener más información, consulta Transición de Data Catalog a Dataplex Universal Catalog.
• Cuando buscas recursos de datos en Dataplex Universal Catalog, se incluyen tanto los metadatos creados directamente en Dataplex Universal Catalog como los metadatos importados de Data Catalog a Dataplex Universal Catalog.
• Cuando buscas recursos de datos en Data Catalog, solo se incluyen los metadatos que se han creado en Data Catalog.
• Las descripciones de los grupos de entradas de Data Catalog que superen los 1024 caracteres se truncarán a 1024 caracteres en Dataplex Universal Catalog.
• Como administrador, para que los glosarios y los enlaces asociados entre los términos empresariales y las columnas que has creado en Data Catalog estén disponibles en Dataplex Universal Catalog, sigue el proceso de transición.

Para obtener más información sobre cómo migrar el contenido y el uso de Data Catalog independiente a Dataplex Universal Catalog, consulta el artículo Migrar de Data Catalog a Dataplex Universal Catalog.

Asignar métodos de la API Data Catalog a Dataplex Universal Catalog

Si vas a migrar de Data Catalog a Dataplex Universal Catalog, debes actualizar tus flujos de trabajo programáticos para usar la API de Dataplex. En esta sección se proporciona una asignación entre la API de Data Catalog y la API de Dataplex.

Para obtener más información sobre los métodos de la API Dataplex Universal Catalog, consulta la documentación de la API Dataplex para métodos REST y la documentación de la API Dataplex para métodos RPC.

En las siguientes tablas se muestra una asignación de los métodos de la API Data Catalog a sus equivalentes en la API Dataplex.

Grupos de entrada

El concepto de grupos de entradas es el mismo en Dataplex Universal Catalog y Data Catalog.

Método de la API Data Catalog	Método de la API de Dataplex
projects.locations.entryGroups.create (REST)