Utilizar las API DataStream

Datastream

En las empresas con muchas fuentes de datos aisladas, puede ser difícil acceder a los datos de la empresa en toda la organización, sobre todo en tiempo real. Esto provoca que el acceso a los datos sea limitado y lento, lo que impide que la organización pueda introspeccionar.

Datastream proporciona acceso casi en tiempo real a los datos de cambios de varias fuentes de datos locales y basadas en la nube para crear acceso a los datos de la organización. Datastream proporciona una API de consumo unificada que democratiza el acceso de la organización a los datos empresariales más recientes disponibles en toda la organización, lo que permite crear escenarios integrados casi en tiempo real.

Un ejemplo de este tipo de situación es la transferencia de datos de una base de datos de origen a un servicio de almacenamiento o una cola de mensajes basados en la nube, y la transformación de estos datos en un formato que puedan leer otras aplicaciones y servicios que se comuniquen con este servicio de almacenamiento o esta cola de mensajes.

En este tutorial, aprenderá a usar Datastream para transferir esquemas, tablas y datos de una base de datos de Oracle de origen a una carpeta de un segmento de Cloud Storage. Cloud Storage es un servicio web para almacenar y acceder a datos en Google Cloud. El servicio combina el rendimiento y la escalabilidad de la nube de Google con funciones avanzadas de seguridad y uso compartido.

Como parte de la transferencia de esta información a una carpeta del segmento de Cloud Storage de destino, Datastream traduce esta información a Avro. Avro se define mediante un esquema escrito en JavaScript Object Notation (JSON). De esta forma, puede leer datos de diferentes fuentes de datos de forma uniforme.

Configurar variables de entorno

En este procedimiento, definirá las siguientes variables:

  • $PROJECT: esta variable está asociada a tu Google Cloud proyecto. Todos los recursos de Google Cloud que asignes y utilices deben pertenecer a un proyecto.
  • $TOKEN: esta variable está asociada a un token de acceso. El token de acceso proporciona una sesión que Cloud Shell usa para realizar tareas en Datastream mediante APIs REST.

  1. Inicia tu aplicación de Cloud Shell.

  2. Después de autenticarte en tu aplicación con tu cuenta de Google, introduce el siguiente comando:

    gcloud auth login

  3. En la petición Do you want to continue (Y/n)?, introduce Y.

  4. Abre un navegador web y copia la URL en él.

  5. Autentícate en el SDK de Google Cloud con tu cuenta de Google. Aparecerá un código en la página Iniciar sesión. Este código es tu token de acceso.

  6. Copia el token de acceso, pégalo en el parámetro Enter verification code: de tu aplicación Cloud Shell y pulsa Enter.

  7. En la petición, introduce PROJECT=\"YOUR_PROJECT_NAME\" para definir la variable de entorno $PROJECT en tu proyecto Google Cloud.

  8. En la petición, introduce gcloud config set project YOUR_PROJECT_NAME para definir el proyecto en el que quieres trabajar como tu proyecto Google Cloud.

    La línea de comandos se actualiza para reflejar el proyecto activo y respeta este formato: USERNAME@cloudshell:~ (YOUR_PROJECT_NAME)$

  9. En la petición, introduce TOKEN=$(gcloud auth print-access-token) para obtener el token de acceso y guárdalo como una variable.

  10. En la petición, introduce los siguientes comandos para asegurarte de que las variables $PROJECT y $TOKEN se han definido correctamente:

    • echo $PROJECT
    • echo $TOKEN

Ahora que has definido tus variables, puedes enviar solicitudes a Datastream para crear y gestionar tanto perfiles de conexión como un flujo.

Crear y gestionar perfiles de conexión

En esta sección, creará y gestionará perfiles de conexión para una base de datos Oracle de origen y un segmento de destino en Cloud Storage.

Cuando creas estos perfiles de conexión, se crean registros que contienen información sobre la base de datos de origen y el segmento de Cloud Storage de destino. Datastream usa la información de los perfiles de conexión para transferir datos de la base de datos de origen a una carpeta del contenedor de destino.

Crear y gestionar perfiles de conexión implica lo siguiente:

  • Crear perfiles de conexión para una base de datos Oracle de origen y un segmento de destino en Cloud Storage
  • Obtener información sobre un perfil de conexión
  • Modificar un perfil de conexión
  • Realizar una llamada a la API Discover en el perfil de conexión de Oracle de origen. Esta llamada te permite consultar la base de datos para ver los objetos asociados a ella. Estos objetos incluyen los esquemas y las tablas que contienen los datos de la base de datos. Cuando usa Datastream para configurar un flujo, puede que no quiera extraer todos los objetos de la base de datos, sino un subconjunto de los objetos (por ejemplo, solo determinadas tablas y esquemas de la base de datos). Usa la API Discover para encontrar (o descubrir) el subconjunto de objetos de la base de datos que quieras extraer.

Crear perfiles de conexión

En este procedimiento, creará dos perfiles de conexión: uno a una base de datos Oracle de origen y otro a un segmento de destino en Cloud Storage.

  1. Crea un perfil de conexión a una base de datos de Oracle de origen. En el mensaje, introduce el siguiente comando: