Zulily 为何使用 Tableau 和 Google BigQuery 创建自助式营销分析平台

编者按：今天的文章投稿来自 zulily 的营销分析经理 Sasha Bartashnik。Zulily 是一家市值 16 亿美元且发展迅速的电子商务公司，每天推出 100 多款独一无二的全新产品，不断为女性消费者带来惊喜。本系列分为两部分，这是第一部分。

每天，Zulily 会推出超过 9,000 种产品款式和 100 种新产品，在吸引成千上万的消费者的同时，还要处理数百万次的用户操作。作为一家秉承顾客至上理念的公司，我们始终致力于更好地了解我们的客户并优化他们的体验。面对来自内部和外部源的繁杂数据流，快速访问制定营销决策所需的数据对于普通业务用户而言变得愈发复杂和耗时。结果，分析师将更多时间用在了编写代码以解答临时数据请求上，而不是提供真正可行的见解来推动业务。我们需要找到一种方法，更快地在正确的时点、通过正确的渠道为每位客户提供正确的信息。

为此，我们创建了一个自助式营销分析平台，这个平台充分利用了 Google BigQuery 与 Tableau 的集成。此平台首次为我们提供了包括 Facebook Ads、Google Ads 和电子邮件在内的各种营销接触点的单一数据视图，使我们能够将这些数据与诸如点击流、产品目录和订单交易等内部源混合在一起，从而更快更好地做出业务决策。这个平台让 BigQuery 和 Tableau 成为了我们营销分析团队的主力工具。通过自定义实施这两项技术，我们能够快速分析复杂数据并提出建议，实时制定战略性决策。本文将为您提供有关如何在组织中应用这些战略的指南。

在 zulily 工作期间，我带领分析师和数据科学家团队利用数据驱动型见解优化公司的营销战略。我们与由数据工程师和软件工程师组成的技术团队密切合作。这种合作是在 zulily 从事营销分析工作的最佳优势之一：我能够与一支有才华和创造力的技术团队进行合作。我们的技术团队需要专注于不断构建新功能，以便每天跨各种平台处理数百万次交易，实现具有超高可扩展性的消费者体验，同时还需要构建基础结构和工具，用于管理复杂的供应商和营销平台。这意味着，我们的技术团队没有时间处理传统企业 IT 部门中常见的普通运营 IT 请求。实际上，我们的技术团队通过构建工具，让我们能够独立完成工作，不需要依赖技术部门拿出时间来优先处理。例如，zuFlow 是一款用于 BigQuery 的查询工作流和计划工具，可让 zulily 的所有分析师使用点击式 Web 界面，生成我们自己的复杂“提取-转换-加载”(ETL) 工作流。

技术团队与我领导的团队拥有共同的愿景，即利用数据推动组织中各层级的每一项决策。这一愿景让我们的团队能够在 zulily 内部推行创新工具和技术，扩宽公司使用数据的方式。2014 年，当技术团队意识到我们现有的数据平台（用于结构化数据的 SQL 服务器和用于非结构化数据的 Hadoop 群集的组合）很快就会限制业务发展时，他们就希望构建新的大数据平台。新平台使用 BigQuery 作为业务数据仓库来提供高度可扩展的分析服务，并使用 Tableau 进行数据访问和可视化分析，使我们可根据输出快速做出决策。

在我们的新数据平台中，流程被简化为以下几步：

1. 将所有数据（结构化和非结构化数据）实时批量推送到 BigQuery。
2. 营销分析师和数据科学家使用 BigQuery 的 SQL 联接多个数据源。
3. 在现场和 Google Cloud 中使用各种通用数据科学工具（例如 Anaconda、RStudio 和 Google Cloud Datalab）基于 BigQuery 业务数据集市开发模型。
4. Tableau 是 zulily 的报告和可视化分析平台。营销分析师和数据科学家使用 Tableau 对存储在 BigQuery 中的数据进行自助式分析，并报告从上述模型中发现的见解。这有助于我们每天做出实时决策，并提供长期的战略性见解。

Tableau 和 BigQuery 的集成通过自助式模型在两个关键方面实现了效率提升：

1. 让分析团队能够快速获取、提取并使用数据构建报告和模型，在日常活动中无需依靠 IT 人员。
2. 让业务用户能够实时访问用于快速制定决策的关键数据，无需分析师参与即可获得基本见解。

由于所有数据都存储在 BigQuery 表中，因此我的团队能够查询几乎任何大小和任何粒度级别的数据，或者根据需要对其进行切片，创建出符合模型需求的功能。然后，我们可以在 Tableau 中进一步探索这些数据，并生成报告和可视化，与最终用户共享数据和模型。借助 Tableau，业务用户还可以下钻查询关键指标，了解所有广告、计划和渠道的效果。

为实现上述两项效率提升，营销分析团队需要创建单一的集中式客户视图。首先，我们将技术团队提供的所有营销数据合并到 BigQuery 中，其中包括 Facebook Ads、Google Ads、电子邮件和所有其他客户营销接触点的成本和点击数据。然后，我们使用 BigQuery SQL 将这些数据绑定到客户和广告级别的点击流、订单交易和有关客户操作的其他元数据。在使用 BigQuery 之前，合并如此海量数据的过程极为费时。现在，对于不同的查询，只需几秒到几分钟就能得出结果。这种速度让团队能够根据客户行为的各个方面（例如，客户随时间推移的花费情况、使用电子邮件的频率以及站点浏览习惯等特点）创建数据模型。我们现在可以将这一全面的客户数据模型与推动客户行为的特定广告和营销活动进行重新结合。

采用这种自助式方法和客户模型，不仅可让我们的技术团队专注于更高价值的项目（例如构建可靠的系统架构以实时优化广告），还可以让营销分析团队有机会深入研究对于理解我们业务而言至关重要的领域。由于 Tableau 让我们的业务用户能够提出并回答许多有关他们自己的问题，或自行进行数据操作，因此我们的团队不必每天忙于更新报告或回应简单的数据更改请求。现在，我们可以使用 zulily 数据平台开发先进的机器学习模型，帮助公司获取更多客户并更好地了解客户体验。

如今，zulily 的所有数据都位于 BigQuery 中，我们能够基于各种客户行为数据建立可靠的机器学习模型来预测客户生命周期价值 (LTV)，并将结果与特定营销活动相结合，以衡量长期绩效。
为此，我们会指定一个历史生命周期价值，以找到现有的高价值客户。之后，我们使用梯度提升对超过 1,000 个事务和行为变量进行研究，并测试了数百种模型。我们最终减少到约 30 个主要特征，这些特征是预测客户生命周期价值的影响因素。

利用最终得出的模型，我们能够以极高的准确度预测新 zulily 顾客具有高生命周期价值的可能性。然后，我们可以将这些预测与位于 BigQuery 中的营销数据集相结合，并在我们 Tableau Server 内高度动态和可定制的仪表板（内部称为渠道指标仪表板 (CMD)）中提供已合并的营销绩效数据。借助 CMD，营销渠道经理和专家可通过在服务器上创建自定义图形和报告，选择指标、日期范围甚至粒度，从而使用历史数据和预测数据轻松生成自己的见解。这一解决方案让 zulily 营销团队能够快速做出决策，面向具有最高 zulily 参与度的客户优化广告、电子邮件和优惠活动。

在我们转向这一新数据平台的过程中，我们得到了来自 zulily 技术团队、Google Cloud 工程师和 Tableau 客户工程师的大力帮助和支持。

在本系列的第二部分中，这支组合团队将分享有关将 BigQuery 与 Tableau 集成的提示和技巧 - 敬请期待！