Programar ejecuciones

En este documento se explica cómo hacer lo siguiente en Dataform:

Antes de empezar

Para programar ejecuciones con configuraciones de flujo de trabajo o programar ejecuciones con flujos de trabajo y Cloud Scheduler, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página Dataform.

    Ir a Dataform

  2. Seleccione o cree un repositorio.

  3. Crea una configuración de lanzamiento.

Para programar ejecuciones con Cloud Composer, haz lo siguiente:

  1. Selecciona o crea un repositorio de Dataform.
  2. Concede acceso a Dataform a BigQuery.
  3. Selecciona o crea un espacio de trabajo de Dataform.
  4. Crea al menos una tabla.
  5. Crea un entorno de Cloud Composer 2.

Roles obligatorios

Para obtener los permisos que necesitas para completar las tareas de este documento, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Para usar una cuenta de servicio personalizada al crear una configuración de flujo de trabajo, concede acceso a la cuenta de servicio personalizada.

Para usar las credenciales de usuario de la cuenta de Google al crear una configuración de flujo de trabajo (Vista previa), concede acceso a la cuenta de Google.

Para habilitar las ejecuciones programadas de una configuración de flujo de trabajo, debes conceder el permiso iam.serviceAccounts.actAs al agente de servicio predeterminado de Dataform de la cuenta de servicio que se use en la configuración del flujo de trabajo. Este permiso está disponible en el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser). Para obtener más información, consulta Usar el modo Actúa como estricto.

Para mejorar la seguridad de la programación, consulta Implementar permisos de programación mejorados.

Programar ejecuciones con configuraciones de flujo de trabajo

En esta sección se explica cómo crear una configuración de flujo de trabajo en Dataform para programar y configurar ejecuciones de flujos de trabajo. Puedes usar configuraciones de flujos de trabajo para ejecutar flujos de trabajo de Dataform según una programación.

Acerca de las configuraciones de flujo de trabajo

Para programar ejecuciones de Dataform de todas las acciones de flujo de trabajo o de las que selecciones en BigQuery, puedes crear configuraciones de flujo de trabajo. En una configuración de flujo de trabajo, se selecciona una configuración de lanzamiento de compilación, se eligen las acciones del flujo de trabajo que se van a ejecutar y se define la programación de ejecución.

Después, durante una ejecución programada de la configuración del flujo de trabajo, Dataform implementa en BigQuery la selección de acciones del resultado de compilación más reciente de la configuración de la versión. También puedes activar manualmente la ejecución de una configuración de flujo de trabajo con la API workflowConfigs de Dataform.

Una configuración de flujo de trabajo de Dataform contiene los siguientes ajustes de ejecución:

  • ID de la configuración del flujo de trabajo.
  • Configuración de la versión.

  • Cuenta de servicio.

    Esta es la cuenta de servicio personalizada asociada a la configuración del flujo de trabajo. Puedes seleccionar una cuenta de servicio asociada a tu proyecto deGoogle Cloud o introducir manualmente otra cuenta de servicio. De forma predeterminada, las configuraciones de flujo de trabajo usan las mismas cuentas de servicio que sus repositorios.

    Las credenciales de la cuenta de servicio son el método de autorización predeterminado para crear y ejecutar configuraciones de flujos de trabajo programados.

  • Credenciales de usuario de la cuenta de Google (vista previa)

    Las credenciales de usuario de la cuenta de Google son el método de autorización predeterminado para la creación y las ejecuciones de configuraciones de flujo de trabajo manuales y no programadas. Para obtener más información, consulta el artículo Autorizar tu cuenta de Google.

  • Acciones del flujo de trabajo que se van a ejecutar:

    • Todas las acciones.
    • Selección de acciones.
    • Selección de etiquetas.

  • Programación de ejecución y zona horaria.

Crear una configuración de flujo de trabajo

Para crear una configuración de flujo de trabajo de Dataform, sigue estos pasos:

  1. En tu repositorio, ve a Lanzamientos y programación.
  2. En la sección Configuraciones de flujo de trabajo, haga clic en Crear.

  3. En el panel Create workflow configuration (Crear configuración de flujo de trabajo), en el campo Configuration ID (ID de configuración), introduzca un ID único para la configuración del flujo de trabajo.

    Los IDs solo pueden incluir números, letras, guiones y guiones bajos.

  4. En el menú Configuración de la versión, selecciona una configuración de la versión de compilación.

  5. En la sección Autenticación, autoriza la configuración del flujo de trabajo con las credenciales de usuario de tu cuenta de Google o con una cuenta de servicio.

    • Para usar las credenciales de usuario de tu cuenta de Google (Vista previa), selecciona Ejecutar con mis credenciales de usuario.
    • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, a continuación, selecciona la cuenta de servicio asociada al proyecto de Google Cloud que tengas acceso. Si no seleccionas ninguna cuenta de servicio, la configuración del flujo de trabajo usará la cuenta de servicio del repositorio.

  6. Opcional: En el campo Frecuencia de programación, introduce la frecuencia de las ejecuciones en formato cron de UNIX.

    Para verificar que Dataform ejecuta el resultado de compilación más reciente en la configuración de lanzamiento correspondiente, deja un intervalo de al menos una hora entre el momento en que se crea el resultado de compilación y el momento en que se programa la ejecución.

  7. Opcional: En el menú Zona horaria, selecciona la zona horaria de las carreras.

    La zona horaria predeterminada es UTC.

  8. Seleccione las acciones del flujo de trabajo que se van a ejecutar:

    • Para ejecutar todo el flujo de trabajo, haz clic en Todas las acciones.
    • Para ejecutar las acciones seleccionadas en el flujo de trabajo, haz clic en Selección de acciones y, a continuación, selecciona las acciones.
    • Para ejecutar acciones con las etiquetas seleccionadas, haga clic en Selección de etiquetas y, a continuación, seleccione las etiquetas.
    • Opcional: Para ejecutar las acciones o etiquetas seleccionadas y sus dependencias, selecciona la opción Incluir dependencias.
    • Opcional: Para ejecutar las acciones o etiquetas seleccionadas y sus elementos dependientes, selecciona la opción Incluir elementos dependientes.

    • Opcional: Para volver a crear todas las tablas desde cero, selecciona la opción Ejecutar con actualización completa.