Teste a qualidade de dados

Este documento mostra como usar o Dataform core para criar afirmações de tabelas do Dataform e testar o código do fluxo de trabalho.

Acerca das afirmações

Uma asserção é uma consulta de teste de qualidade de dados que encontra linhas que violam uma ou mais condições especificadas na consulta. Se a consulta devolver linhas, a asserção falha. O Dataform executa asserções sempre que atualiza o fluxo de trabalho e envia-lhe um alerta se alguma asserção falhar.

O Dataform cria automaticamente visualizações no BigQuery que contêm os resultados das consultas de validação compiladas. Conforme configurado no ficheiro de definições do fluxo de trabalho, o Dataform cria estas vistas num esquema de validações onde pode inspecionar os resultados das validações.

Por exemplo, para o esquema dataform_assertions predefinido, o Dataform cria uma vista no BigQuery no seguinte formato: dataform_assertions.assertion_name.

Pode criar afirmações para todos os tipos de tabelas do Dataform: tabelas, tabelas incrementais, vistas e vistas materializadas.

Pode criar afirmações das seguintes formas:

• Adicione afirmações incorporadas ao bloco de configuração de uma tabela.

  Pode adicionar afirmações incorporadas ao bloco config de uma tabela e especificar as respetivas condições.

• Adicione validações manuais num ficheiro SQLX separado.

  Escreve manualmente afirmações personalizadas num ficheiro SQLX separado para casos de utilização avançados ou para conjuntos de dados não criados pelo Dataform.

Antes de começar

1. Na Google Cloud consola, aceda à página Dataform.

   Aceda à página Dataform

2. Selecione ou crie um repositório.

3. Selecione ou crie um espaço de trabalho de desenvolvimento.