Execuções de monitoramento

Esta página mostra como fazer o seguinte:

Antes de começar

Para monitorar os registros de execução, faça o seguinte:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Acione uma execução pelo menos uma vez.

Funções exigidas

Para receber as permissões necessárias para visualizar registros de execução, peça ao administrador para conceder a você os seguintes papéis do IAM:

  • Editor do Dataform (roles/dataform.editor) no repositório do Dataform em que as execuções de fluxo de trabalho estão sendo rastreadas
  • Verificar a configuração de uma execução: Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço personalizada

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

A função do IAM Visualizador de registros (roles/logging.viewer) concede acesso somente leitura a todos os recursos do Cloud Logging. Para mais informações sobre as permissões e os papéis do Identity and Access Management que se aplicam aos dados do Logging, consulte Controle de acesso com IAM.

Para criar e gerenciar alertas com base em registros, verifique se seu papel do IAM inclui as permissões descritas em Papéis necessários para criar e usar políticas de alertas com base em registros.

Monitorar registros de execução

Nesta seção, mostramos como acessar os registros de execução no Dataform.

É possível conferir os registros de todas as execuções acionadas em um repositório e as execuções acionadas em um espaço de trabalho nas últimas 24 horas.

Inspecionar registros de execução do repositório

Para conferir os registros de todas as execuções acionadas em um repositório, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Acesse seu repositório.

  3. Clique em Registros de execução de fluxo de trabalho.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Inspecionar registros de execução do espaço de trabalho

Para conferir os registros das 1.000 execuções mais recentes acionadas em um espaço de trabalho nas últimas 24 horas, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataform.

    Acesse o Dataform

  2. Acesse seu repositório e selecione seu espaço de trabalho.

  3. No espaço de trabalho, clique em Execuções.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Ver registros do Logging para o Dataform

Nesta seção, mostramos como visualizar os registros do Cloud Logging para invocações de fluxo de trabalho do Dataform.

Cada invocação de fluxo de trabalho do Dataform é registrada usando o Logging. A geração de registros é ativada automaticamente para invocações de fluxo de trabalho do Dataform, que podem gerar cobranças de faturamento do Logging. Para mais informações, consulte Preços do Dataform.

Como visualizar registros

Para informações sobre como filtrar registros de geração de registros na Análise de registros, consulte Ver registros usando a Análise de registros.

Os registros do Dataform são indexados pelo repositório do Dataform.

Formato do registro

O Dataform envia mensagens de registro de invocação de fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registrado

As entradas de registro do Dataform contêm informações úteis para monitorar e depurar as invocações de fluxo de trabalho.

As entradas de registro contêm os seguintes tipos de informações:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO,