Surveiller les exécutions

Ce document vous explique comment :

Avant de commencer

Pour surveiller les journaux d'exécution, assurez-vous de procéder comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Sélectionnez ou créez un espace de travail de développement.

  4. Déclenchez une exécution au moins une fois.

Rôles requis

Pour obtenir les autorisations nécessaires pour afficher les journaux d'exécution, demandez à votre administrateur de vous accorder les rôles IAM suivants :

  • Éditeur Dataform (roles/dataform.editor) sur le dépôt Dataform où les exécutions de workflows sont suivies
  • Vérifier la configuration d'une exécution : Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service personnalisé

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Le rôle IAM Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule à toutes les fonctionnalités de Cloud Logging. Pour en savoir plus sur les autorisations et les rôles Identity and Access Management qui s'appliquent aux données Logging, consultez Contrôle des accès avec IAM.

Pour créer et gérer des alertes basées sur les journaux, assurez-vous que votre rôle IAM inclut les autorisations décrites dans Rôles requis pour créer et utiliser des règles d'alerte basées sur les journaux.

Surveiller les journaux d'exécution

Cette section vous explique comment afficher les journaux d'exécution dans Dataform.

Vous pouvez afficher les journaux de toutes les exécutions déclenchées dans un dépôt, ainsi que les journaux des exécutions déclenchées dans un espace de travail au cours des dernières 24 heures.

Inspecter les journaux d'exécution du dépôt

Pour afficher les journaux de toutes les exécutions déclenchées dans un dépôt, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Accédez à votre dépôt.

  3. Cliquez sur Journaux d'exécution de workflow.

  4. Pour afficher les détails d'une exécution, cliquez dessus.

  5. Pour afficher les détails d'une action dans l'exécution, cliquez sur Afficher les détails.

Inspecter les journaux d'exécution de l'espace de travail

Pour afficher les journaux des 1 000 exécutions les plus récentes déclenchées dans un espace de travail au cours des dernières 24 heures, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Accédez à votre dépôt et sélectionnez votre espace de travail.

  3. Dans votre espace de travail, cliquez sur Exécutions.

  4. Pour afficher les détails d'une exécution, cliquez dessus.

  5. Pour afficher les détails d'une action dans l'exécution, cliquez sur Afficher les détails.

Afficher les journaux Logging pour Dataform

Cette section vous explique comment afficher les journaux Cloud Logging pour les appels de workflow Dataform.

Chaque appel de workflow Dataform est journalisé à l'aide de Logging. La journalisation est automatiquement activée pour les appels de workflow Dataform, ce qui peut entraîner des frais de facturation de la journalisation. Pour en savoir plus, consultez la page Tarifs de Dataform.

Afficher les journaux

Pour savoir comment filtrer les journaux Logging dans l'explorateur de journaux, consultez Afficher les journaux à l'aide de l'explorateur de journaux.

Les journaux Dataform sont indexés par dépôt Dataform.

Format du journal

Dataform envoie des messages de journal d'appel de workflow au format suivant :

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Contenu consigné

Les entrées de journal Dataform contiennent des informations utiles pour surveiller et déboguer les appels de workflow.

Il s'agit des types d'informations suivants :

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity : peut être INFO, WARNING ou ERROR
  • terminalState : peut être SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configurer des métriques et des alertes avec Cloud Monitoring

Vous pouvez utiliser Monitoring pour observer les tendances dans vos journaux et vous avertir lorsque les conditions que vous décrivez apparaissent.

Pour fournir à Monitoring des données provenant de vos journaux, Logging vous offre les avantages suivants :

  • Les métriques basées sur les journaux, que vous pouvez utiliser comme suit :
    • Créer des règles d'alerte qui vous informent des modifications au fil du temps.
    • Créer des graphiques qui affichent les modifications au fil du temps.
  • Des alertes basées sur les journaux, qui vous avertissent chaque fois qu'un événement spécifique apparaît dans un journal.

Pour en savoir plus sur les métriques et les alertes basées sur les journaux, consultez Surveiller vos journaux.

Pour savoir comment configurer des alertes basées sur les journaux pour les appels de workflow Dataform, consultez Configurer des alertes pour les appels de workflow ayant échoué.

Configurer des alertes pour les invocations de workflow ayant échoué

Cette section explique comment configurer des alertes basées sur les journaux pour les échecs d'invocations de workflows Dataform à l'aide de l'explorateur de journaux.

Vous pouvez utiliser Monitoring pour observer les tendances dans les journaux Logging des appels de workflow Dataform et vous avertir lorsque les conditions que vous décrivez se produisent.

Chaque appel de workflow Dataform est journalisé à l'aide de Logging. La journalisation est automatiquement activée pour les appels de workflow Dataform, ce qui peut entraîner des frais de facturation Logging. Pour en savoir plus, consultez la page Tarifs de Dataform.

Pour recevoir des alertes en cas d'échec d'une invocation de workflow Dataform, vous pouvez créer des alertes basées sur les journaux.

Vous pouvez créer des alertes basées sur les journaux à partir de la page Explorateur de journaux de la console Google Cloud ou en utilisant l'API Monitoring. Cette section explique comment créer des alertes basées sur les journaux en cas d'échec de l'appel de workflow Dataform à l'aide de l'explorateur de journaux.

Pour configurer des alertes basées sur les journaux pour les échecs d'appels de workflow Dataform, procédez comme suit :