Preguntas frecuentes

En esta página, encontrarás respuestas a las preguntas frecuentes sobre el uso de Datastream. Estas preguntas frecuentes están asociadas a lo siguiente:

  • Preguntas generales sobre Datastream y la captura de datos modificados (CDC)
  • Comportamiento y limitaciones generales de las fuentes
  • Comportamiento y limitaciones de la fuente de MySQL
  • Comportamiento y limitaciones de la fuente de Oracle
  • Comportamiento y limitaciones de la fuente de PostgreSQL (incluido AlloyDB para PostgreSQL)
  • Comportamiento y limitaciones de la fuente de SQL Server
  • Comportamiento y limitaciones de la fuente de Salesforce
  • Comportamiento y limitaciones de la fuente de Salesforce Marketing Cloud (vista previa)
  • Comportamiento del destino de BigQuery
  • Comportamiento del destino de Cloud Storage
  • Casos de uso comunes de Datastream
  • Cómo se integra Datastream con los Google Cloud servicios de datos
  • Seguridad y conectividad
  • Supervisión de Datastream
  • Precios
  • Información adicional sobre Datastream

Preguntas generales sobre Datastream y la captura de datos modificados (CDC)

Pregunta Respuesta
¿Qué es Datastream?

Datastream es un servicio de replicación y captura de datos modificados (CDC) sin servidores fácil de usar. Datastream permite la replicación continua de datos desde fuentes de base de datos relacional, como AlloyDB para PostgreSQL, PostgreSQL, MySQL, SQL Server y Oracle, así como desde Salesforce, Salesforce Marketing Cloud (versión preliminar), ServiceNow (versión preliminar) y MongoDB, directamente en BigQuery. Datastream ofrece la escala, la velocidad, la seguridad y la simplicidad que necesitan las empresas modernas. Gracias a su arquitectura de ajuste de escala automático y sin servidores, Datastream permite configurar una canalización de ELT (es decir, de extracción, carga y transformación) para la replicación de datos de baja latencia con el objetivo de obtener estadísticas casi en tiempo real.

Datastream también puede sincronizar flujos de datos entre aplicaciones y bases de datos heterogéneas de manera confiable y con una latencia mínima. Puedes integrar el servicio con plantillas de Dataflow para replicar bases de datos en Cloud SQL o Spanner para la sincronización de bases de datos, o bien aprovechar la transmisión de eventos directamente desde Cloud Storage para crear arquitecturas controladas por eventos.

¿Cuáles son los métodos por los que Datastream transmite datos? Datastream transmite datos de una fuente a un destino con uno de los siguientes dos métodos:
  • CDC: captura cambios continuos de la fuente en tiempo real.
  • Reabastecimiento: proporciona una instantánea histórica de datos que existen en una tabla.
¿Qué es CDC?

CDC es un enfoque de integración de datos que te permite integrar y analizar datos más rápido, con menos recursos del sistema. Es un método para extraer solo los cambios más recientes (actualizaciones, inserciones o eliminaciones) de una fuente de datos, a menudo leyendo el registro de cambios que la fuente mantiene para su propia integridad transaccional interna.

La CDC es un mecanismo altamente eficiente para limitar el impacto en la fuente cuando se cargan datos nuevos en almacenes de datos operativos y almacenes de datos, y elimina la necesidad de actualizar cargas de forma masiva y las ventanas de lotes inconvenientes, ya que habilita la carga incremental o la transmisión casi en tiempo real de los cambios de datos a un destino de datos.

La CDC se puede usar en muchos casos de uso que obtienen valor del acceso constante a los cambios de datos a medida que ocurren, como el análisis, la sincronización de datos en sistemas distribuidos geográficamente y las arquitecturas controladas por eventos.

¿Qué es el reabastecimiento?

Además de los cambios continuos, Datastream también usa el reabastecimiento para extraer todos los datos existentes de una fuente y, luego, transmitirlos a un destino. Como resultado, el destino se "completa" con todos los datos históricos de la fuente. Existen dos tipos de relleno:

  • Incremental: Es el tipo predeterminado de carga inicial para las tablas. Durante el reabastecimiento incremental, Datastream recupera datos de rangos de filas en varios lotes y transmite los datos a un destino lote por lote.
  • Volcado completo: Durante el reabastecimiento del volcado completo, Datastream extrae todos los datos a la vez y los transmite a un destino.
¿Hay alguna limitación que debas tener en cuenta cuando realices un reabastecimiento?

Para obtener información sobre las restricciones de la carga retroactiva, consulta las páginas de limitaciones conocidas para los respectivos tipos de fuentes:
¿Cuál es el orden recomendado para las operaciones de CDC y de carga retroactiva? En la mayoría de los casos, no hay ninguna consideración especial. Cuando se habilita el reabastecimiento en una transmisión, Datastream realiza el reabastecimiento y el CDC al mismo tiempo. En algunos casos extremos, por ejemplo, cuando se replican tablas muy grandes que no se pueden completar con Datastream, es posible que primero debas cargar los datos en BigQuery antes de iniciar la transmisión.
¿Puedo supervisar el estado de las operaciones de CDC y reabastecimiento?