Este documento fornece uma visão geral de uma assinatura do BigQuery, do fluxo de trabalho e das propriedades associadas.
Uma assinatura do BigQuery é um tipo de assinatura de exportação que grava mensagens em uma tabela do BigQuery à medida que são recebidas. Você não precisa configurar um cliente assinante separado. Use o Google Cloud console, a Google Cloud CLI, as bibliotecas de cliente ou a API Pub/Sub para criar, atualizar, listar, desconectar ou excluir uma assinatura do BigQuery.
Sem o tipo de assinatura do BigQuery, você precisa de uma assinatura de pull ou assinatura por push e de um assinante (como o Dataflow) que lê mensagens e as grava em uma tabela do BigQuery. A sobrecarga de executar um job do Dataflow não é necessária quando as mensagens não exigem processamento adicional antes de serem armazenadas em uma tabela do BigQuery. Em vez disso, use uma assinatura do BigQuery.
Para modificações leves em mensagens, é possível anexar uma transformação de mensagem única à sua assinatura do BigQuery. No entanto, um pipeline do Dataflow é recomendado para sistemas do Pub/Sub em que é necessária uma transformação de dados mais complexa antes do armazenamento em uma tabela do BigQuery, principalmente se você quiser criar janelas ou agregar mensagens.
Para saber como transmitir dados do Pub/Sub para o BigQuery com transformação usando o Dataflow, consulte Transmitir do Pub/Sub para o BigQuery.
O modelo de assinatura do Pub/Sub para BigQuery do Dataflow impõe a entrega exatamente uma vez por padrão. Isso geralmente é feito com mecanismos de desduplicação no pipeline do Dataflow. No entanto, a assinatura do BigQuery só aceita a entrega pelo menos uma vez. Se a deduplicação exata for essencial para seu caso de uso, considere processos downstream no BigQuery para lidar com possíveis duplicidades.
Antes de começar
Antes de ler este documento, confira se você conhece os seguintes conceitos:
Como o Pub/Sub funciona e os diferentes termos do Pub/Sub.
Os diferentes tipos de assinaturas que o Pub/Sub aceita e por que você pode querer usar uma assinatura do BigQuery.
Como o BigQuery funciona e como configurar e gerenciar tabelas do BigQuery.