Crear un flujo

En esta sección, aprenderás a crear un stream. Datastream usa este flujo para transferir datos de una base de datos de origen de Oracle, MySQL, SQL Server o PostgreSQL a BigQuery o Cloud Storage.

Para crear un flujo, debes hacer lo siguiente:

  • Definir los ajustes de la emisión.
  • Selecciona el perfil de conexión que has creado para tu fuente Oracle, MySQL, SQL Server, PostgreSQL, Salesforce o MongoDB (el perfil de conexión de origen) o crea un perfil de conexión de origen si no lo has hecho.
  • Configurar la información sobre la base de datos de origen del flujo especificando las tablas y los esquemas de la base de datos de origen que Datastream:
    • Puede transferir al destino.
    • No se puede transferir al destino.

  • Determinar si Datastream rellenará el historial de datos y transmitirá los cambios en curso al destino, o si solo transmitirá los cambios en los datos. Cuando habilitas la reposición histórica, puedes especificar de forma opcional los esquemas y las tablas de la base de datos de origen que Datastream no debe rellenar en el destino.

  • Seleccionando el perfil de conexión que has creado para BigQuery o Cloud Storage (el perfil de conexión de destino) o creando un perfil de conexión de destino si no lo has hecho.

  • Configurar la información sobre el destino del flujo. Entre la información obtenida de esta forma, se incluyen los siguientes datos:

    • En BigQuery:
      • Los conjuntos de datos en los que DataStream replicará los esquemas, las tablas y los datos de una base de datos de origen.
    • En Cloud Storage:
      • La carpeta del bucket de destino en la que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de origen.

  • Validar el flujo para asegurarse de que se ejecutará correctamente. Al validar un flujo, se comprueba lo siguiente:

    • Si la fuente está configurada correctamente para permitir que Datastream transmita datos desde ella.
    • Si la transmisión puede conectarse tanto al origen como al destino.
    • La configuración integral del flujo.

Antes de empezar

  • Asegúrate de que has configurado la base de datos de origen para la replicación. Para obtener información sobre los pasos necesarios para cada tipo de fuente admitido, consulta Configurar fuentes.
  • Descubre qué pasos pueden ser necesarios para configurar el destino seleccionado. Para obtener más información, consulte Configurar destinos.

Definir los ajustes de la emisión

  1. Ve a la página Streams (Streams) de la Google Cloud consola.

    Ir a la página Streams

  2. Haz clic en CREAR STREAM.

  3. Usa la siguiente tabla para rellenar los campos de la sección Definir detalles del flujo de la página Crear flujo:

    CampoDescripción
    Nombre del flujoIntroduce el nombre visible del flujo.
    ID del flujoDatastream rellena este campo automáticamente en función del nombre de la secuencia que introduzcas. Puedes conservar el ID que se genera automáticamente o cambiarlo.
    RegiónSelecciona la región en la que se almacena el flujo. Los flujos se guardan en una región, como todos los recursos. La región que elijas no afecta a si tu flujo puede conectarse a la base de datos de origen o al destino, pero puede repercutir en la disponibilidad si la región experimenta un periodo de inactividad. Para optimizar los costes y el rendimiento, le recomendamos que mantenga todos los recursos de la secuencia en la misma región que los datos de origen.
    Tipo de origen

    Selecciona el tipo de perfil que especificaste al crear un perfil de conexión para tu fuente Oracle, MySQL, SQL Server, PostgreSQL, Salesforce o MongoDB. Si no has creado un perfil de conexión para la base de datos de origen, puedes crear uno ahora.

    Tipo de destinoSelecciona el tipo de perfil que especificaste al crear un perfil de conexión para un destino de BigQuery o Cloud Storage. Si no has creado un perfil de conexión para el destino, puedes hacerlo ahora.
    Cifrado

    De forma predeterminada, tus datos se cifran con una clave gestionada por Google Cloud. Si quieres gestionar el cifrado, puedes usar una clave de cifrado gestionada por el cliente (CMEK):

    1. Seleccione la casilla Clave de Cloud KMS.
    2. En el menú desplegable Tipo de clave, selecciona Cloud KMS y, a continuación, tu CMEK.

    Si no ves tu clave, haz clic en INTRODUCIR NOMBRE DE RECURSO DE LA CLAVE para proporcionar el nombre de recurso de la clave que quieras usar. Por ejemplo, puedes introducir projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key en el campo Nombre de recurso de clave y, a continuación, hacer clic en GUARDAR.

  4. Opcionalmente, puedes usar etiquetas para organizar tus recursos de Data Stream.

    1. Para crear una etiqueta, haga clic en AÑADIR ETIQUETA y, a continuación, introduzca el par clave-valor de la etiqueta.
    2. Para quitar la etiqueta, haz clic en el icono de la papelera situado a la derecha de la fila que contiene la etiqueta.

  5. Si quieres, puedes añadir políticas de alertas a tu emisión. Las políticas de alertas definen cuándo y cómo quieres recibir notificaciones sobre los fallos de las emisiones.

    1. Para crear una política de alertas, haz clic en Añadir política de alertas.
    2. Se mostrará la página Crear política de alertas en Cloud Monitoring. En esta página, define la política de alertas en caso de que falle tu emisión.

    Para obtener más información sobre las políticas de alertas, consulta el artículo Gestionar políticas de alertas basadas en métricas.

  6. Revisa los requisitos previos que se generan automáticamente para reflejar cómo se debe preparar el entorno para una emisión. Estos requisitos pueden incluir cómo configurar la base de datos de origen y cómo conectarla con el destino. Es mejor completar estos requisitos previos en este paso, pero puedes hacerlo en cualquier momento antes de probar o iniciar la emisión. Para obtener más información sobre estos requisitos previos, consulta Fuentes.

  7. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de base de datos de origen.

Especificar información sobre el perfil de conexión de origen

  1. Si has creado un perfil de conexión de origen para Oracle, MySQL, SQL Server, PostgreSQL, Salesforce o MongoDB, selecciónalo en la lista de perfiles de conexión.

    Si no has creado un perfil de conexión de origen, haz clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y sigue los mismos pasos que en Crear perfiles de conexión.

  2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream pueden comunicarse entre sí.

    Si la prueba falla, aparecerá el problema asociado al perfil de conexión. Consulta los pasos para solucionar problemas en la página Diagnosticar problemas. Haga los cambios necesarios para corregir el problema y, a continuación, vuelva a hacer la prueba.

  3. Haz clic en CONTINUAR. Aparecerá el panel Configurar origen del flujo de la página Crear flujo.

Configurar la información sobre la base de datos de origen del flujo

Configurar una base de datos de origen PostgreSQL

  1. Define las propiedades de replicación de tu base de datos de origen de PostgreSQL. En la sección Propiedades de replicación, especifique las siguientes propiedades:
    1. En el campo Nombre de la ranura de replicación, introduce el nombre de la ranura que has creado específicamente para este flujo. El servidor de la base de datos usa esta ranura para enviar eventos a Datastream.
    2. En el campo Nombre de publicación, introduce el nombre de la publicación que has creado en la base de datos. Una publicación es un grupo de todas las tablas de las que quieres replicar los cambios mediante este flujo.
  2. En la sección Seleccionar objetos que se incluirán, use el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
    • Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
    • Si quiere que Datastream transfiera solo tablas y esquemas específicos, seleccione Esquemas y tablas específicos y, a continuación, marque las casillas de los esquemas y las tablas que quiera que Datastream extraiga.
    • Si quiere proporcionar una definición textual de las tablas y los esquemas que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca los esquemas y las tablas que quiere que extraiga Datastream. Si tu base de datos tiene un gran número de tablas y esquemas, te recomendamos que uses la opción Personalizar, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  3. Si el destino es BigQuery, puedes configurar la creación de particiones y clústeres para tus tablas:
    1. En cada tabla en la que quieras definir la partición o el clustering, haz clic en Seleccionar columnas.
    2. Para configurar la partición, en la sección Partición, seleccione una de las siguientes opciones:
      • Sin particiones: si seleccionas esta opción, no se aplicará ninguna partición a tus tablas.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".
      • Partición por campo: si seleccionas esta opción, debes seleccionar la columna de origen por la que quieres particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta el artículo Configurar la creación de particiones y clústeres en un destino de BigQuery.

      También puedes seleccionar la opción Filtro de partición. Si seleccionas esta opción, se requerirá un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Para configurar la agrupación en clústeres, en la sección Agrupación en clústeres, seleccione los campos por los que quiera agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que añadas los campos de agrupamiento determinará el criterio de ordenación de los datos. Si no especifica la configuración de clústeres de una tabla, Datastream usará de forma predeterminada hasta cuatro claves principales de la tabla de origen como claves de clúster en BigQuery.
    4. Haz clic en Guardar para guardar la configuración.

      5. Para obtener más información sobre la partición y la agrupación en clústeres, consulta Configurar la partición y la agrupación en clústeres.

  4. También puede desplegar el nodo Seleccionar objetos que excluir. En el campo Objetos que excluir, introduzca las tablas y los esquemas de la base de datos de origen de los que quiera impedir que Datastream extraiga datos. La lista Objetos que se van a excluir tiene prioridad sobre la lista Objetos que se van a incluir. Si un objeto cumple los criterios de las listas de inclusión y exclusión, se excluye del flujo.
  5. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para transferir todos los datos actuales, así como los cambios que se produzcan, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca las tablas y los esquemas de la base de datos de origen que quiera que Datastream no rellene en el destino.
    • Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Configurar una base de datos MySQL de origen

  1. En la sección Seleccionar objetos que se incluirán, use el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
    • Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
    • Si quiere que Datastream transfiera solo tablas y esquemas específicos, seleccione Esquemas y tablas específicos y, a continuación, marque las casillas de los esquemas y las tablas que quiera que Datastream extraiga.
    • Si quiere proporcionar una definición textual de las tablas y los esquemas que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca los esquemas y las tablas que quiere que extraiga Datastream. Si tu base de datos tiene un gran número de tablas y esquemas, te recomendamos que uses la opción Personalizar, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  2. Si el destino es BigQuery, puedes configurar la creación de particiones y clústeres para tus tablas:
    1. En cada tabla en la que quieras definir la partición o el clustering, haz clic en Seleccionar columnas.
    2. Para configurar la partición, en la sección Partición, seleccione una de las siguientes opciones:
      • Sin particiones: si seleccionas esta opción, no se aplicará ninguna partición a tus tablas.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".
      • Partición por campo: si seleccionas esta opción, debes seleccionar la columna de origen por la que quieres particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta el artículo Configurar la creación de particiones y clústeres en un destino de BigQuery.

      También puedes seleccionar la opción Filtro de partición. Si seleccionas esta opción, se requerirá un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Para configurar la agrupación en clústeres, en la sección Agrupación en clústeres, seleccione los campos por los que quiera agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que añadas los campos de agrupamiento determinará el criterio de ordenación de los datos. Si no especifica la configuración de clústeres de una tabla, Datastream usará de forma predeterminada hasta cuatro claves principales de la tabla de origen como claves de clúster en BigQuery.
    4. Haz clic en Guardar para guardar la configuración.

      5. Para obtener más información sobre la partición y la agrupación en clústeres, consulta Configurar la partición y la agrupación en clústeres.

  3. También puede desplegar el nodo Seleccionar objetos que excluir. En el campo Objetos que excluir, introduzca las tablas y los esquemas de la base de datos de origen de los que quiera impedir que Datastream extraiga datos. La lista Objetos que se van a excluir tiene prioridad sobre la lista Objetos que se van a incluir. Si un objeto cumple los criterios de las listas de inclusión y exclusión, se excluye del flujo.
  4. Especifica el método de CDC de tu flujo:
    • Replicación basada en GTID (identificadores de transacción globales): selecciona este método si quieres que Datastream admita conmutaciones por error y proporcione una replicación fluida independientemente de los cambios que se produzcan en tu clúster de bases de datos.
    • Replicación basada en binlog: selecciona este método para leer y replicar los cambios directamente desde los archivos de registro binario de una instancia de base de datos seleccionada. No puedes cambiar una secuencia en ejecución a otra instancia de origen o a una réplica con este método de CDC.
  5. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para transferir todos los datos actuales, así como los cambios que se produzcan, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca las tablas y los esquemas de la base de datos de origen que quiera que Datastream no rellene en el destino.
    • Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Configurar una base de datos de Oracle de origen

  1. En la sección Seleccionar objetos que se incluirán, use el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
    • Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
    • Si quiere que Datastream transfiera solo tablas y esquemas específicos, seleccione Esquemas y tablas específicos y, a continuación, marque las casillas de los esquemas y las tablas que quiera que Datastream extraiga.
    • Si quiere proporcionar una definición textual de las tablas y los esquemas que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca los esquemas y las tablas que quiere que extraiga Datastream. Si tu base de datos tiene un gran número de tablas y esquemas, te recomendamos que uses la opción Personalizar, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  2. Si el destino es BigQuery, puedes configurar la creación de particiones y clústeres para tus tablas:
    1. En cada tabla en la que quieras definir la partición o el clustering, haz clic en Seleccionar columnas.
    2. Para configurar la partición, en la sección Partición, seleccione una de las siguientes opciones:
      • Sin particiones: si seleccionas esta opción, no se aplicará ninguna partición a tus tablas.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".
      • Partición por campo: si seleccionas esta opción, debes seleccionar la columna de origen por la que quieres particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta el artículo Configurar la creación de particiones y clústeres en un destino de BigQuery.

      También puedes seleccionar la opción Filtro de partición. Si seleccionas esta opción, se requerirá un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Para configurar la agrupación en clústeres, en la sección Agrupación en clústeres, seleccione los campos por los que quiera agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que añadas los campos de agrupamiento determinará el criterio de ordenación de los datos. Si no especifica la configuración de clústeres de una tabla, Datastream usará de forma predeterminada hasta cuatro claves principales de la tabla de origen como claves de clúster en BigQuery.
    4. Haz clic en Guardar para guardar la configuración.

      5. Para obtener más información sobre la partición y la agrupación en clústeres, consulta Configurar la partición y la agrupación en clústeres.

  3. También puede desplegar el nodo Seleccionar objetos que excluir. En el campo Objetos que excluir, introduzca las tablas y los esquemas de la base de datos de origen de los que quiera impedir que Datastream extraiga datos. La lista Objetos que se van a excluir tiene prioridad sobre la lista Objetos que se van a incluir. Si un objeto cumple los criterios de las listas de inclusión y exclusión, se excluye del flujo.
  4. Especifica el método de CDC de tu flujo:
    • LogMiner selecciona este método para consultar los registros de rehacer archivados mediante la API LogMiner. LogMiner admite la mayoría de las opciones disponibles para Oracle, como las opciones de cifrado y compresión.
    • Lector binario (Vista previa): selecciona este método para extraer los cambios directamente de los registros de Oracle. Esto permite replicar bases de datos Oracle de gran tamaño más rápido, así como reducir la latencia y la sobrecarga. Si selecciona esta opción, se mostrará un menú desplegable adicional. Selecciona la forma en la que quieres acceder a tus archivos de registro de Oracle:
      • Gestión de almacenamiento automática (ASM): selecciona esta opción si tu base de datos usa ASM. Asegúrate de haber seleccionado la casilla Habilitar acceso ASM para lector binario y de haber rellenado los detalles de tu instancia de ASM en el perfil de conexión de origen.
      • Directorios de bases de datos: selecciona esta opción si no usas ASM para almacenar tus archivos de registro. Si selecciona directorios de bases de datos, debe proporcionar los nombres de los directorios de registros de rehacer y de registros archivados.
  5. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para transferir todos los datos actuales, así como los cambios que se produzcan, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca las tablas y los esquemas de la base de datos de origen que quiera que Datastream no rellene en el destino.
    • Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Configurar una base de datos de origen de SQL Server

  1. En la sección Seleccionar objetos que se incluirán, use el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
    • Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
    • Si quiere que Datastream transfiera solo tablas y esquemas específicos, seleccione Esquemas y tablas específicos y, a continuación, marque las casillas de los esquemas y las tablas que quiera que Datastream extraiga.
    • Si quiere proporcionar una definición textual de las tablas y los esquemas que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca los esquemas y las tablas que quiere que extraiga Datastream. Si tu base de datos tiene un gran número de tablas y esquemas, te recomendamos que uses la opción Personalizar, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  2. Si el destino es BigQuery, puedes configurar la creación de particiones y clústeres para tus tablas:
    1. En cada tabla en la que quieras definir la partición o el clustering, haz clic en Seleccionar columnas.
    2. Para configurar la partición, en la sección Partición, seleccione una de las siguientes opciones:
      • Sin particiones: si seleccionas esta opción, no se aplicará ninguna partición a tus tablas.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".
      • Partición por campo: si seleccionas esta opción, debes seleccionar la columna de origen por la que quieres particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta el artículo Configurar la creación de particiones y clústeres en un destino de BigQuery.

      También puedes seleccionar la opción Filtro de partición. Si seleccionas esta opción, se requerirá un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Para configurar la agrupación en clústeres, en la sección Agrupación en clústeres, seleccione los campos por los que quiera agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que añadas los campos de agrupamiento determinará el criterio de ordenación de los datos. Si no especifica la configuración de clústeres de una tabla, Datastream usará de forma predeterminada hasta cuatro claves principales de la tabla de origen como claves de clúster en BigQuery.
    4. Haga clic en Guardar para guardar la configuración.

      5. Para obtener más información sobre la partición y la agrupación en clústeres, consulta Configurar la partición y la agrupación en clústeres.

  3. También puede desplegar el nodo Seleccionar objetos que excluir. En el campo Objetos que excluir, introduzca las tablas y los esquemas de la base de datos de origen de los que quiera impedir que Datastream extraiga datos. La lista Objetos que se van a excluir tiene prioridad sobre la lista Objetos que se van a incluir. Si un objeto cumple los criterios de las listas de inclusión y exclusión, se excluye del flujo.
  4. Especifica el método de CDC de tu flujo:
    • Registros de transacciones: seleccione este método para procesar los cambios directamente desde los registros de la base de datos. Este método ofrece el mejor rendimiento y es más eficiente, pero requiere pasos de configuración adicionales.
    • Tablas de cambios: selecciona este método para procesar los cambios de tablas de cambios específicas. Este método es más fácil de configurar y tiene menos limitaciones, pero admite un menor rendimiento y genera una mayor carga en su base de datos que el método de los registros de transacciones.
  5. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para transferir todos los datos actuales, así como los cambios que se produzcan, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca las tablas y los esquemas de la base de datos de origen que quiera que Datastream no rellene en el destino.
    • Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Configurar una organización de Salesforce de origen

  1. En la sección Select objects to include (Seleccionar objetos que incluir), use el menú desplegable Objects to include (Objetos que incluir) para especificar los objetos y los campos de su organización que quiera que Datastream transfiera al destino.
    • Si quiere que Datastream transfiera todos los objetos, seleccione Todos los objetos.
    • Si quiere que Datastream transfiera solo objetos específicos, seleccione Objetos específicos y, a continuación, marque las casillas de los objetos que quiera que extraiga Datastream.
    • Si quiere proporcionar una definición textual de los objetos que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca los objetos que quiere que extraiga Datastream. Introduzca los objetos como una lista separada por comas con el formato [object].[field]. Si tu base de datos tiene un gran número de objetos, te recomendamos que uses la opción Personalizado, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  2. Define el valor del intervalo de sondeo en minutos. Datastream usa este valor para comprobar si hay cambios en los datos de su organización de Salesforce. Cuanto mayor sea el valor, menor será el coste y la carga de tu organización. Cuanto menor sea el valor, más actualizados estarán los datos del destino.
  3. Si el destino es BigQuery, puede configurar las particiones y los clústeres de los objetos:
    1. En cada objeto en el que quieras definir la partición o la agrupación en clústeres, haz clic en Seleccionar campos.
    2. Para configurar la partición, en la sección Partición, seleccione una de las siguientes opciones:
      • Sin partición: si selecciona esta opción, no se aplicará ninguna partición a los objetos.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".
      • Partición por campo: si selecciona esta opción, debe elegir el campo de origen por el que quiere particionar el objeto y el tipo de partición. Solo se pueden seleccionar campos con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta el artículo Particionar y agrupar en clústeres tablas de BigQuery.

      También puedes seleccionar la opción Filtro de partición. Si selecciona esta opción, se requiere un filtro de partición en todas las consultas de este objeto. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Para configurar la agrupación en clústeres, en la sección Agrupación en clústeres, seleccione los campos por los que quiera agrupar los objetos. Puedes seleccionar hasta cuatro campos. El orden en el que añadas los campos de agrupamiento determinará el criterio de ordenación de los datos. Si no especificas la configuración de clustering de un objeto, Datastream usará de forma predeterminada hasta cuatro claves principales del objeto de origen como claves de clustering en BigQuery.
    4. Haz clic en Guardar para guardar la configuración.

      5. Para obtener más información sobre la creación de particiones y clústeres, consulta Crear particiones y clústeres en tablas de BigQuery.

  4. También puede desplegar el nodo Seleccionar objetos que excluir. En el campo Objetos que se van a excluir, introduzca los objetos y los campos de la organización de origen de los que quiera restringir la extracción de Datastream. La lista Objetos que se van a excluir tiene prioridad sobre la lista Objetos que se van a incluir. Si un objeto cumple los criterios de las listas de inclusión y exclusión, se excluye del flujo.
  5. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para replicar todos los datos, así como los cambios que se produzcan en ellos, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca los objetos de la organización de origen que quiera que Datastream no rellene en la de destino.
    • Selecciona la opción Manual para replicar solo los cambios en los datos en el destino.
  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Configurar una base de datos MongoDB de origen

  1. En la sección Seleccionar objetos que incluir, use el menú desplegable Objetos que incluir para especificar las bases de datos y las colecciones que quiere que Datastream transfiera al destino.
    • Si quiere que Datastream transfiera todas las colecciones, seleccione Todas las bases de datos y colecciones.
    • Si quiere que Datastream transfiera solo colecciones específicas, seleccione Bases de datos y colecciones específicas y, a continuación, marque las casillas de las colecciones que quiera que Datastream extraiga.
    • Si quiere proporcionar una definición textual de las colecciones que quiere que transfiera Datastream, seleccione Personalizado y, a continuación, en el campo Criterios de coincidencia de objetos, introduzca las colecciones que quiere que extraiga Datastream. Introduzca los objetos como una lista separada por comas con el formato [collection].[field]. Si tu base de datos tiene un gran número de objetos, te recomendamos que uses la opción Personalizado, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se van a extraer.
  2. Si el destino es BigQuery, puedes configurar la creación de particiones para tus colecciones:
    1. En cada colección en la que quieras definir la partición, haz clic en Seleccionar campos.
    2. En la sección Particiones, selecciona una de las siguientes opciones:
      • Sin partición: si seleccionas esta opción, no se aplicará ninguna partición a tus colecciones.
      • Partición por tiempo de ingestión: si selecciona esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar la granularidad de la partición. Las opciones disponibles son por hora, diaria, mensual o anual. La granularidad predeterminada es "Diaria".

      También puedes seleccionar la opción Filtro de partición. Si selecciona esta opción, se requiere un filtro de partición en todas las consultas de esta colección. Un filtro de partición puede reducir los costes y mejorar el rendimiento. Para obtener más información, consulta Definir los requisitos de los filtros de partición.

    3. Haga clic en Guardar para guardar la configuración.

      4. Para obtener más información sobre la creación de particiones y clústeres, consulta Crear particiones y clústeres en tablas de BigQuery.

  3. Opcionalmente, expanda el nodo Elegir modo de relleno para datos históricos y, a continuación, seleccione una de las siguientes opciones:
    • Selecciona la opción Automático para replicar todos los datos, así como los cambios que se produzcan en ellos, de la fuente al destino. En el campo Objetos excluidos del relleno automático, introduzca los objetos de la organización de origen que quiera que Datastream no rellene en la de destino.
    • Selecciona la opción Manual para replicar solo los cambios en los datos en el destino.
  4. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo correspondiente al tipo de destino.

Seleccionar un perfil de conexión de destino

  1. Si ya has creado un perfil de conexión de destino, selecciónalo en la lista de perfiles de conexión.

    Si no has creado un perfil de conexión de destino, haz clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y sigue los mismos pasos que en Crear perfiles de conexión.

  2. Haz clic en CONTINUAR. Aparecerá el panel Configurar destino del flujo de la página Crear flujo.

Configurar la información sobre el destino del flujo

En esta sección se describe la información que debe proporcionar para configurar su destino de BigQuery o Cloud Storage.

Destino de BigQuery

  1. En la sección Especifica cómo debe transmitir Datastream a un conjunto de datos de BigQuery, selecciona una de las siguientes opciones del menú desplegable Agrupación de esquemas:

    • Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen, en función del nombre del esquema.

      Si selecciona esta opción, Datastream creará un conjunto de datos en el proyecto que contenga el flujo por cada esquema de la base de datos de origen.

      Además, si selecciona la opción Conjunto de datos para cada esquema, debe proporcionar lo siguiente:

      1. En la sección Tipo de ubicación, especifica dónde quieres almacenar tus datos en BigQuery. Selecciona Región para especificar una sola ubicación geográfica o Multirregión para especificar un área más grande que contenga dos o más regiones. Si tu prioridad es optimizar los costes y el rendimiento, selecciona Región y mantén tus conjuntos de datos junto con otros Google Cloud recursos que gestiones. Si quieres aumentar los límites de cuota, selecciona Multirregión para que BigQuery use varias regiones de un grupo. Si seleccionas Región, el campo se rellena de forma predeterminada con la región que hayas seleccionado para la emisión.
      2. (Opcional) En el campo Prefijo del conjunto de datos, define un prefijo para el conjunto de datos creado por el flujo. La cadena que especifiques se añade al nombre del esquema de origen. Por ejemplo, si el esquema se llama <mySchema> y defines el prefijo del conjunto de datos como <myPrefix>, Datastream crea un conjunto de datos llamado <myPrefix><mySchema>.
      3. Despliega la sección Mostrar opciones avanzadas de cifrado.

      4. Especifica cómo quieres que se cifren tus datos en BigQuery seleccionando una clave de cifrado gestionada por Google o por el cliente.

    • Un solo conjunto de datos para todos los esquemas: Datastream crea todas las tablas en el conjunto de datos de BigQuery que especifiques. Cada tabla que crea Datastream se denomina con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo, <mySchemaName>_<myTableName>). Los conjuntos de datos disponibles se agrupan por región. También puedes crear un nuevo conjunto de datos.

  2. Especifica el modo de escritura del flujo. Selecciona el modo de escritura para definir cómo se escriben y procesan los datos en BigQuery:

    • Combinar: selecciona esta opción si quieres que tus datos se sincronicen con la fuente.
    • Solo añadir: seleccione esta opción si quiere conservar todo el historial de datos de sus eventos de cambio.

  3. Especifica el límite de antigüedad de los datos. Solo está disponible cuando se selecciona el modo Combinar en el paso anterior. Selecciona un límite para equilibrar el rendimiento y el coste de las consultas de BigQuery con la actualización de los datos. BigQuery aplica los cambios en segundo plano de forma continua o en el tiempo de ejecución de la consulta, según el límite de obsolescencia. Si se reduce la obsolescencia (datos más recientes), pueden aumentar los costes de procesamiento de BigQuery.

  4. Haz clic en CONTINUAR. Aparecerá el panel Revisar detalles del flujo y crearlo de la página Crear flujo.

Destino de tablas de Iceberg de BigLake

  1. En la sección Especifica cómo debe transmitir Datastream a un conjunto de datos de BigQuery, selecciona cómo quieres que Datastream cree nuevos esquemas y tablas en el menú desplegable Agrupación de esquemas:

    • Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen, en función del nombre del esquema.

      Si selecciona esta opción, Datastream creará un conjunto de datos en el proyecto que contenga el flujo por cada esquema de la base de datos de origen.

      Además, si selecciona la opción Conjunto de datos para cada esquema, debe proporcionar lo siguiente:

      1. En la sección Tipo de ubicación, especifica dónde quieres almacenar tus datos en BigQuery. Selecciona Región para especificar una sola ubicación geográfica o Multirregión para especificar un área más grande que contenga dos o más regiones. Si tu prioridad es optimizar los costes y el rendimiento, selecciona Región y mantén tus conjuntos de datos junto con otros Google Cloud recursos que gestiones. Si quieres aumentar los límites de cuota, selecciona Multirregión para que BigQuery use varias regiones de un grupo. Si seleccionas Región, el campo se rellena de forma predeterminada con la región que hayas seleccionado para la emisión.
      2. (Opcional) En el campo Prefijo del conjunto de datos, define un prefijo para el conjunto de datos creado por el flujo. La cadena que especifiques se añade al nombre del esquema de origen. Por ejemplo, si el esquema se llama <mySchema> y defines el prefijo del conjunto de datos como <myPrefix>, Datastream crea un conjunto de datos llamado <myPrefix><mySchema>.
      3. Despliega la sección Mostrar opciones avanzadas de cifrado.

      4. Especifica cómo quieres que se cifren tus datos en BigQuery seleccionando una clave de cifrado gestionada por Google o por el cliente.

    • Un solo conjunto de datos para todos los esquemas: Datastream crea todas las tablas en el conjunto de datos de BigQuery que especifiques. Cada tabla que crea Datastream se denomina con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo, <mySchemaName>_<myTableName>). Los conjuntos de datos disponibles se agrupan por región. También puedes crear un nuevo conjunto de datos.

  2. En la sección Define la conexión de Datastream a las tablas de BigLake Iceberg, proporcione la siguiente información:

    • En el desplegable ID de conexión, seleccione el identificador de la conexión de BigQuery que ha creado y que quiere usar en su flujo. Para obtener información sobre cómo crear una conexión de recursos de Cloud en BigQuery, consulta Configurar tablas de Iceberg de BigLake en BigQuery.