工作流生命周期的最佳实践

本文档介绍了在 Dataform 中管理工作流生命周期的最佳实践：创建开发、预演和生产环境，以及为每个环境配置编译和执行设置。

为了创建标准化的 Dataform 工作流生命周期，以保持数据健全度并优化开发流程，我们建议您：

• 创建执行环境，以将开发期间创建的表与最终用户可用的表隔离开来。

• 配置发布和工作流配置，以在生产环境（也可选择在预演环境）中运行工作流。

本文档介绍了以下解决方案：使用工作区编译替换隔离开发表，以及使用版本配置和工作流配置配置过渡环境和生产环境。

借助这些解决方案，您可以在单个 Dataform 代码库和 Google Cloud 项目中创建执行环境。您可以选择在不同的Google Cloud project 中存储 Dataform 代码库的多个副本，每个项目对应于代码生命周期的一个阶段，例如开发、预演和生产。借助此方法，您可以在代码生命周期的每个阶段自定义 Identity and Access Management 权限。

隔离执行环境的最佳实践

我们建议您在 BigQuery 中将开发工作流程执行期间创建的表与生产表隔离开来。这样可确保最终用户能够导航到生产表，并消除最终用户意外访问错误数据的风险。

您可以通过以下方式创建隔离的执行环境：

按架构拆分开发表和生产表

建议小型团队使用。Dataform 会在 BigQuery 中以不同的架构创建开发表和生产表。Dataform 会在具有相同后缀的架构中运行所有开发表，该后缀表示这些表是在开发期间创建的。开发者可以覆盖彼此的开发表。

按架构和 Google Cloud 项目拆分开发表和生产表

建议中型团队使用。Dataform 会在 BigQuery 中以不同的架构和项目创建开发表和生产表。Dataform 在专用开发 Google Cloud 项目中发布了所有开发表。 每位 Dataform 开发者都有自己的唯一架构，用于开发表。此解决方案可消除开发者意外覆盖彼此开发表的风险。这种方法的缺点是，删除开发表和架构以及在每个环境中重新创建所有表可能需要更多时间。

按 Google Cloud 项目拆分开发、预演和生产表

建议大型团队或需要预演环境的团队使用。 Dataform 会在 BigQuery 的专用Google Cloud 项目中运行每个环境的表。此解决方案可让您对代码生命周期进行最精细的控制。

所有解决方案都需要一个连接到单个第三方远程代码库的 Dataform 代码库。

在所有解决方案中，开发者都会手动触发 Dataform 工作区中开发表的运行。Dataform 会在版本配置中自动编译生产表和临时表，并以工作流配置中设置的频率运行这些表。

按架构拆分开发环境和生产环境

此解决方案会创建两个执行环境，Dataform 将在其中运行您的工作流：开发环境和生产环境。如需按架构拆分开发表和生产表，您需要配置工作流设置、工作区编译替换和发布配置。如需安排生产运行，您需要创建工作流配置。

Dataform 会运行具有相同后缀的架构中的所有开发表，该后缀表示这些表是在开发期间创建的。Dataform 会运行架构中不带任何后缀的所有生产表。

下表显示了一种按架构拆分开发表和生产表的配置，其中包含一个开发架构：

在此解决方案中，开发表和生产表存储在单个Google Cloud 项目中。

开发者在其 Dataform 工作区中手动触发执行。 在所有手动触发的执行中，Dataform 都会运行具有相同后缀的架构中的表，这表示这些表是在开发期间创建的。开发者需要注意，他们可能会覆盖彼此的表。

在 Dataform 中，开发者提交更改并将其推送到远程代码库的自定义分支。然后，在第三方 Git 托管平台上，他们提交拉取请求。拉取请求获得批准后，更改会合并到远程代码库的 main 分支中。

Dataform 会根据 production 发布配置设置，自动将远程代码库的 main 分支中的生产表编译为编译结果。

Dataform 会根据 production 工作流配置中设置的时间表自动运行 production 编译结果。

如需实现此解决方案，请配置以下 Dataform 设置：

defaultProject: enterprise-analytics
defaultDataset: analytics

{
defaultSchema: "analytics",
defaultDatabase: "enterprise-analytics"
}

如需安排 production 编译结果的运行时间，请创建工作流配置。

示例开发流程

在此示例中，开发者 Sasha 和 Kai 在同一 Dataform 代码库中工作。Dataform 代码库已连接到远程第三方 Git 代码库。

他们将更改提交并推送到远程代码库中的自定义分支（名为 sasha 和 kai）。

下表显示了为 Sasha、Kai 和生产环境应用的环境设置：

Sasha 通过以下流程创建新表并将其部署到生产环境：

1. 在 Dataform 工作区中，Sasha 创建了 user_stats 表。
2. 在工作区中，Sasha 手动触发表格的执行。
3. Dataform 会在 BigQuery 的 enterprise-analytics Google Cloud 项目中的 analytics_dev 架构中创建 enterprise-analytics.analytics_dev.user_stats 表。
4. 在工作区中，Sasha 提交更改并将其推送到远程 Git 代码库中的 sasha 分支。
5. 在远程仓库中，Sasha 提交了拉取请求。
6. 在远程代码库中，Kai 审核并批准了拉取请求，将更改合并到 main 分支。
7. Dataform 会以指定频率自动更新 production 版本中的编译结果。在下次更新 production 编译结果时，Dataform 会将 enterprise-analytics.analytics.user_stats 表添加到编译结果中。
8. 在按预定时间执行工作流配置期间，Dataform 会在 BigQuery 的 enterprise-analytics Google Cloud 项目中的 analytics 架构中运行 enterprise-analytics.analytics.user_stats 表。
9. 最终用户可以在 BigQuery 的 enterprise-analytics 项目中的 analytics 架构中访问 user_stats 表。 Google Cloud

按架构和项目拆分开发环境和生产环境

此解决方案会创建两个执行环境：开发环境和生产环境。 如需按架构和 Google Cloud 项目拆分开发表和生产表，您需要配置工作流设置、工作区编译替换和发布配置。如需安排生产运行，您需要创建工作流配置。

在此解决方案中，Dataform 在专用开发 Google Cloud 项目中运行开发，在每个工作区的架构中，架构后缀各不相同。

Dataform 在 BigQuery 中运行所有生产表，这些表位于没有架构后缀的专用生产 Google Cloud 项目中。

下表显示了一种配置，该配置按架构和 Google Cloud 项目拆分开发表和生产表，每个 Dataform 工作区对应一个开发架构：

在此解决方案中，Dataform 在 BigQuery 中以不同的架构和 Google Cloud 项目运行开发表和生产表。

开发者在其 Dataform 工作区中手动触发执行。 每位开发者都在以自己命名的专用工作区中工作，例如 sasha。

当开发者在其工作区中触发执行时，Dataform 会将工作区名称作为架构后缀附加到所有架构。然后，Dataform 会运行自定义架构中的表。

例如，Dataform 会在 BigQuery 的 analytics_sasha 架构中基于 sasha 工作区创建表。这样，每位开发者都会将自己的开发表存储在自己的架构中。这样一来，您就不会有意外覆盖其他开发者的表的风险。

在 Dataform 中，开发者提交更改并将其推送到远程代码库的自定义分支。然后，在第三方 Git 托管平台上，他们提交拉取请求。拉取请求获得批准后，更改会合并到远程代码库的 main 分支中。

Dataform 会根据 production 发布配置设置，自动将远程代码库的 main 分支中的生产表编译为编译结果。

Dataform 会根据 production 工作流配置中设置的时间表自动运行 production 编译结果。

如需实现此解决方案，请配置以下 Dataform 设置：

defaultProject: enterprise-dev
defaultDataset: analytics

{
defaultSchema: "analytics",
defaultDatabase: "enterprise-dev"
}

如需安排 production 编译结果的运行时间，请创建工作流配置，并使用最符合您需求的自定义时间表。

示例开发流程

在此示例中，开发者 Sasha 和 Kai 在同一 Dataform 代码库中工作。Dataform 代码库已连接到远程第三方 Git 代码库。

Sasha 在名为 sasha 的专用工作区中工作，而 Kai 在名为 Kai 的专用工作区中工作。他们将更改提交并推送到远程代码库中的自定义分支（名为 sasha 和 kai）。

下表显示了为 Sasha、Kai 和生产环境应用的环境设置：