Programar ejecuciones de producción
En esta guía de inicio rápido se explican los pasos que debes seguir para programar ejecuciones de producción en Dataform:
- Crea un repositorio de Dataform.
- Concede los roles necesarios.
Crea una configuración de lanzamiento y una configuración de flujo de trabajo.
Crea una configuración de lanzamiento
productiony define la frecuencia con la que se crean los resultados de compilaciónproduction. A continuación, crea unaproductionconfiguración de flujo de trabajo, selecciona laproductionconfiguración de lanzamiento y programa una hora para ejecutar losproductionresultados de la compilación.
Antes de empezar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Administrador de Dataform (
roles/dataform.admin) en repositorios -
Editor de Dataform (
roles/dataform.editor) en espacios de trabajo e invocaciones de flujos de trabajo -
Usuario de cuenta de servicio (
roles/iam.serviceAccountUser) en la cuenta de servicio personalizada -
Administrador de gestión de identidades y accesos de proyectos (
roles/resourcemanager.projectIamAdmin) en el proyecto - Editor de datos de BigQuery
(
roles/bigquery.dataEditor) en los proyectos a los que Dataform necesita acceso de lectura y escritura, que normalmente incluye el proyecto que aloja tu repositorio de Dataform. - Lector de datos de BigQuery
(
roles/bigquery.dataViewer) en los proyectos a los que Dataform necesita acceso de solo lectura. - Usuario de tareas de BigQuery
(
roles/bigquery.jobUser) en el proyecto que aloja tu repositorio de Dataform. - Creador de tokens de cuenta de servicio
(
roles/iam.serviceAccountTokenCreator) - Usuario de cuenta de servicio
(
roles/iam.serviceAccountUser) En la consola de Google Cloud , ve a la página Gestión de identidades y accesos.
Haz clic en Conceder acceso.
En el campo Nuevos principales, introduce el ID de tu cuenta de servicio personalizada.
En el menú Selecciona un rol, selecciona los siguientes roles uno por uno. Para añadir cada rol, haz clic en Añadir otro rol:
- Editor de datos de BigQuery
- Lector de datos de BigQuery
- Usuario de tareas de BigQuery
Haz clic en Guardar.
En la Google Cloud consola, ve a la página Cuentas de servicio.
Selecciona tu cuenta de servicio personalizada.
Ve a Principales con acceso y, a continuación, haz clic en Dar acceso.
En el campo Nuevos principales, introduce el ID de agente de servicio de Dataform predeterminado.
El ID de agente de servicio de Dataform predeterminado tiene el siguiente formato:
service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.comEn la lista Selecciona un rol, añade los siguientes roles:
- Usuario de cuenta de servicio
- Creador de tokens de cuenta de servicio
Haz clic en Guardar.
Además, selecciona o crea una cuenta de servicio personalizada para ejecutar flujos de trabajo en BigQuery.
Roles obligatorios
Para obtener los permisos que necesitas para realizar todas las tareas de este tutorial, pide a tu administrador que te asigne los siguientes roles de IAM:
Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.
También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.
Conceder los roles necesarios
Para ejecutar flujos de trabajo en BigQuery, puedes usar una cuenta de servicio personalizada o tu cuenta de Google (vista previa). Sin embargo, las credenciales de la cuenta de servicio personalizada son la opción predeterminada para las ejecuciones programadas. No se recomienda usar las credenciales de la cuenta de usuario de Google para las ejecuciones programadas.
Para ejecutar flujos de trabajo en BigQuery, tu cuenta de servicio personalizada debe tener los siguientes roles obligatorios:
Para permitir que Dataform use tu cuenta de servicio personalizada, el agente de servicio de Dataform predeterminado debe tener los siguientes roles en el recurso de la cuenta de servicio personalizada:
Para conceder estos roles, sigue estos pasos: