将 Mailchimp 数据加载到 BigQuery 中

您可以使用适用于 Mailchimp 的 BigQuery Data Transfer Service 连接器将数据从 Mailchimp 加载到 BigQuery 中。借助 BigQuery Data Transfer Service，您可以安排周期性转移作业，以将 Mailchimp 中的最新数据添加到 BigQuery。Mailchimp 连接器支持多账号，包括标准版和 Express 版 Mailchimp 账号。

限制

  • Mailchimp Marketing API 最多仅支持每位用户 10 个并发连接。超出此限制会导致错误 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections
    • 为避免达到此速率限制，我们建议您仅为每个 Mailchimp 账号运行一个数据转移作业。
    • 如需了解详情，请参阅错误词汇表。
  • 在所有对象中，Mailchimp 中的 Integer 数据类型支持的最大值为 2,147,483,647。
    • 不过，某些 Mailchimp 字段支持更高的值，例如 EcommerceOrderLines 和 EcommerceCartLines 中的 Quantity 字段。

数组字段限制

Mailchimp 连接器不支持以下 Mailchimp 对象中的 ARRAY 字段：

Mailchimp 对象 不支持的 ARRAY 字段
Campaigns VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations
EcommerceCarts Lines
EcommerceProducts Variants
ListMembers TagsAggregate
ListMergeFields Options_Choices
Lists Modules
AuthorizedApps Users
AutomationEmails Settings_AutoFbPost
CampaignOpenEmailDetails Opens
EcommerceProductImages VariantIds
ListSignupForms Contents、Styles
ReportEmailActivity Activity
Reports Timewarp

准备工作

以下部分介绍了在创建 Mailchimp 数据转移作业之前需要完成的前提条件。

Mailchimp 前提条件

如需启用从 Mailchimp 到 BigQuery 的数据转移作业，您必须拥有 Mailchimp API 密钥才能进行授权和访问。如需了解如何获取 API 密钥，请参阅 生成 API 密钥。

BigQuery 前提条件

所需 BigQuery 角色

如需获得创建 BigQuery Data Transfer Service 数据转移作业所需的权限，请让您的管理员为您授予项目的BigQuery Admin (roles/bigquery.admin) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供创建 BigQuery Data Transfer Service 数据转移作业所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

创建 BigQuery Data Transfer Service 数据转移作业需要以下权限：

  • BigQuery Data Transfer Service 权限：
    • bigquery.transfers.update
    • bigquery.transfers.get
  • BigQuery 权限：
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需了解详情，请参阅授予 bigquery.admin 访问权限。

如果您要设置 Pub/Sub 的转移作业运行通知，请确保您拥有 pubsub.topics.setIamPolicy IAM 权限。如果您只是要设置电子邮件通知，则无需 Pub/Sub 权限。如需了解详情，请参阅 BigQuery Data Transfer Service 运行通知。

设置 Mailchimp 数据转移作业

通过使用以下选项之一设置转移作业配置，将 Mailchimp 数据添加到 BigQuery 中：

控制台

  1. 前往 Google Cloud 控制台中的“数据转移”页面。

    转到“数据传输”

  2. 点击 创建转移作业。

  3. 在来源类型 部分的来源 中，选择 Mailchimp - 预览版 。

  4. 在数据源详细信息 部分，执行以下操作：

    • 对于 API 密钥 ，输入您的 Mailchimp API 密钥。如需了解更多 信息，请参阅 Mailchimp 前提条件。
    • 可选：对于开始日期，指定一个开始日期，以便将新记录 纳入数据转移作业。只有在此日期或之后创建的记录才会纳入数据转移作业。
      • 输入格式为 YYYY-MM-DD 的日期。最小值为 2001-01-01。
    • 在 Mailchimp objects to transfer（要转移的 Mailchimp 对象）部分，点击浏览 以选择要转移到 BigQuery 目标数据集的任何 对象。您也可以在此字段中手动输入要纳入数据转移作业的任何对象。

  5. 在目标设置 部分的数据集 中，选择您创建用来存储数据的 数据集。

  6. 在转移配置名称部分的显示名称中，输入数据转移作业的名称。

  7. 在时间表选项部分中，执行以下操作：

    • 在重复频率列表中，选择一个选项来指定此数据转移作业的运行频率。如需指定自定义重复频率，请选择自定义。如果您选择按需，则当您手动触发转移作业时，此转移作业会运行。
    • 如果适用，请选择立即开始或从设置的时间开始，并提供开始日期和运行时间。

  8. 可选：在通知选项部分中，执行以下操作：

    • 如需启用电子邮件通知，请点击电子邮件通知切换开关。启用此选项后，转移作业管理员会在转移作业运行失败时收到电子邮件通知。
    • 如需为此转移作业启用 Pub/Sub 转移作业运行通知，请点击 Pub/Sub 通知切换开关。您可以选择主题名称，也可以点击