Hyper 的来历：Tobias Muehlbauer 和 Allan Folting 主持的问答活动

我们正在申请专利的数据引擎 Hyper 诞生于慕尼黑工业大学，是长达 10 年的学术研究结出的硕果。通过一个令人自豪的收购项目，Tableau 在 2016 年 3 月获得了这项技术，如今又使其成为您触手可及的数据引擎。我们与 Tobias Muehlbauer（Tableau 开发经理/Hyper 创始人）和 Allan Folting（高级工程经理）对话，讨论了这项技术的来历、研究设计部的崛起，以及社区对这项突破性技术的贡献。

1.Hyper 源自学术界，因此我想问问您的学术背景？

我最初在慕尼黑工业大学学习理学学士课程，然后又继续在那里攻读软件工程专业的硕士学位。当时我访问了美国并以外部研究员的身份在斯坦福大学和伊利诺伊大学香槟分校从事研究工作。此后，我继续在慕尼黑攻读博士学位，课题就是 Hyper 项目。

2.Hyper 以及这项技术的初衷是什么？

TM：Hyper 大约在 10 年前诞生于慕尼黑工业大学的一个学术项目，这所大学被誉为“德国的斯坦福”。当时，数据库市场正在经历许多改变。传统技术无法再满足现代应用程序的性能和功能要求。这时出现了大量专用系统 — 有 Hadoop、NoSQL 系统，还有专用于事务分析的引擎。

Hyper 的目标与它们不同。我们对传统设计决策提出质疑，希望从头构建一种关系数据库，针对现代硬件进行优化。接下来，我们针对内存驻留处理进行了优化，还考虑到了具有多个核心、结构也更加复杂的现代 CPU。

我们的研发重点还包括将事务系统与分析相结合，也就是将这些专用系统组合成一个系统，实现事务、数据摄取和分析的统一。

为何要这样做？答案很简单。多个专用系统意味着将数据存储在不同的地方。分析系统可能无法反映最新数据。而借助 Hyper，您可以真正地使用最新数据集进行分析。这就是我们的初衷，我们随后花了很多年的时间，才在今天真正构建出符合自己预期的性能和功能。

3.关于 Hyper 的来历，大家最需要知道的是什么？

Allan Folting (AF)：一件极为重要的事情是，我们很早就开始了 Alpha 计划。我们之所以要尝试替代现有数据引擎，原因就在于客户很难在可用的时间内创建出数据提取（例如在一夜之间为第二天早上的分析准备好所需的数据提取）。或者，客户不想为了创建一个较大的数据提取而苦苦等待五天。

我们很早就联系客户，向他们提供该系统的早期内部版本，以便确定它的数据提取速度，以及创建数据提取后的查询性能。自始至终，我们都在通过一组不断增加的客户群组来了解情况。过去他们需要花太长的时间来创建数据提取或者根本无法创建数据提取，我迫不及待地想看到他们在更短的时间内创建更大的数据提取。

大量客户愿意参加产品测试，我们对此非常感激，因为您可以想见，在早期 Alpha 阶段，这项技术并不是十分稳定。

4.能不能谈谈您第一次与 Tableau 接触时的情况？

TM：我在一个学术大会上首次接触到 Tableau 人员，那是一个在墨尔本举行的大会。通过介绍，我认识了时任 Tableau 数据库团队总监的 Patrice Allen。我当时并不是很了解 Tableau。对我而言，这更像是一个可视化公司，所以我并不在意 Tableau 包含了多少研究成果，多少数据库技术。

在大会期间，我们与 Tableau 员工畅谈，双方对彼此的产品产生了兴趣，并且都感觉到对方有不同寻常的活力。当对使命充满激情的人聚到一起时，一旦志同道合，绝妙的想法就会应运而生。我们从此开始了持续的互动对话。同年晚些时候，Christian Chabot 访问了慕尼黑。

5.Allan，能否讲讲您第一次与 Tobi 和 Hyper 打交道时的情况？体验 Hyper 的功能时，您的第一印象是什么？

AF：我在 2016 年早期听说了 Hyper 以及相关收购计划。2016 年 3 月，我见到了 Tobi，当时他和 Hyper 团队正在西雅图访问。我的期望很高，而结果也没有让我失望。

他们与我们一起工作，更加深入地探索 Hyper 的技术细节；在此过程中，我们不但针对如何将该产品集成到 Tableau 中进行了规划，还针对我们应该在后续版本中采取哪些行动进行了长远的考虑。我们最初的互动包括一些非常有趣和深入的技术对话，这些对话让我们对这个项目更加充满期待。但我们同时还探索了如何构建和扩展位于慕尼黑的研发办公室，我认为这是一个重点。

为了在今后保持创造性，我感到我们务必与学术界、与慕尼黑的大学以及大学的教授和学生保持良好的关系。我们珍惜这种关系，重视与他们的合作。

6.能否给大家讲讲慕尼黑的研究设计 (R&D) 部门以及整个 Tableau 的研究和设计团队？

AF：我首先要重点介绍的是 Tobi 在前面列出的一些原则，也就是 Hyper 要能够将专用系统融合为单个系统，并实现数据状态的统一。我们非常积极地致力于坚持这两个原则。

将这样一项技术集成到 Tableau 或类似产品时，我们很容易忽视其与众不同的一些方面或特点。因此，我们在做出关于 Tableau 功能的各项决定时，都坚守上述原则，并与包括研究员和全职员工在内的每个人一起为之努力。有时，这意味着我们需要通过一些更加新颖、更加深入的方法来避免可能影响事务或分析工作负载的偏向性设计。这是一个我们为之骄傲并从中受益的重要方面，而我们团队与慕尼黑大学的合作是这一切的基础。

TM：我们在慕尼黑从头组建了一个优秀的团队，这让我们感到自豪。我们在一年半以前才开始这项工作，当时我们只有三名全职员工，三名兼职员工。而现在，Hyper 项目的工作人员在西雅图有 20 人，在慕尼黑也有 20 人。

7.日常协作是如何进行的？

AF：老实说，刚刚投入这项工作时，单是西雅图和慕尼黑之间 9 小时的时差就令我们非常担心。我们会做一些额外的事情，用非常规方式进行沟通。

我很高兴地告诉大家，这种做法效果很好。我们经常进行互访，因为通过互动式会议进行密切沟通对我们很有帮助。我们准备了视屏会议设备，双方都能够进行灵活安排，因此效果不错。

我们还在尝试进一步展开这方面的工作，因为我们在其他国际地区也有分支机构，而且我们希望提高协作的整体质量 — 无论是与单个人员进行远程协作，还是像这样与整个团队进行协作。

TM：我赞同。我认为最重要的一环是每个人相互认识。定期的互动极为重要 — 我们每年至少要进行几次聚餐。这很有帮助。

8.在构建这项技术的过程中，你们是否曾遇到某些挑战，让人感到力不从心？或者说 Hyper 的构建是不是始终一帆风顺？

TM：学术界始终奉行开放式原则，为了找到完美的解决方案，我们进行了大量尝试。您现在看到的 Hyper，就是我们多年以来不断尝试和改进的结果。并非每件事都一帆风顺，但我们总是能够迎难而上。当我们认识到很大一部分技术问题已经解决，我们非常高兴，决定将这项技术推向市场。但这又会带来另一些挑战。

我们循序渐进，Hyper 不断优化，越来越多的人表现出兴趣。我们收到了很多积极反馈，人们开始问，“您好，我们想使用这项技术。我们能否在生产环境中进行试用？”作为学术人员，我们当然会倍感荣幸。但这时需要开始思考一个新的问题：“接下来又该如何？”很明显，我们应该成立公司，让这项技术成为产品。

9.社区如何帮助内部团队保持对这个项目的热情？

AF：这是一个很好的话题。每当我们的团队听到社区的反馈，每个人似乎都感到自己长高了 10 公分，而且倍感自信。每天，我们要处理各种各样的问题，希望能将问题全部化解 — 这里发现了漏洞，那里还有一些事情没做完。因此，我们会将重点放在所谓的负面消息上。

而正面反馈可以提振士气，其重要性不可言喻。我团队中的一名项目经理发送了一封电子邮件，其中包含某个客户的反馈，结果非常理想。每种操作都能够更快地运行，他们非常高兴。当天，出现在我办公室的每个人都面带笑容，工作积极性全面提升。这样的项目旷日持久，我的结论就是，我们应该在今后收集和分享更多反馈。这些反馈的作用超出了我的预料，简直令人难以置信。

10.社区如何参与 Hyper 的开发？

AF：我们已经看到和听到过很多关于此类新功能如何提高速度和通过提取进行查询的宣传，人们非常兴奋。 因此，或许人们对这次发布的第一个版本有着更高的期待，但我们花了大量的时间来集成这项技术。

一些人甚至会在我们参加会议期间拦路提问，在最近举行的 Tableau 全球用户大会 (TC) 上，很多人与我拥抱，因为我们将会提供一些客户期盼已久的功能。我们确实收到了大量正面反馈，人们充满了期待。

TM：我要对我们的所有客户表示诚挚的感谢。我们在 TC 大会上，在 Alpha 和 Beta 项目期间都获得了很好的反馈。

11.您对 Hyper 的发布有何期待？

TM：我们的愿景和使命从未改变，那就是将 Hyper 开发成速度最快的通用数据引擎。我们仍然在践行这个使命，今后的所有工作都会建立在这个基础之上。

AF：这是采用 Hyper 技术的第一个 Tableau 版本，它可以提供更快的数据提取生成速度以及出色的提取查询性能。在很多情况下，它还可以在多种环境中提供更高的可扩展性和稳定性。我们为此倍感骄傲。使用 Hyper 来替代现有 Tableau 数据引擎是一项漫长的工作，因为它涉及大量代码。但我们已经跨过了这道难关。

Hyper 为我们带来了多种潜在机会，我们仍然没有充分利用这些机会。例如，我希望能够借助在系统中设计并通过 Tableau 可视化进行展示的数据，以更短的延迟完成更多工作。我们还在探索如何借助一些优势和能力，在系统中构建更深入的分析功能，让分析师能够进行更加高级的检查，比如机器学习、数据挖掘或高速统计功能，而且可以在与数据的物理距离更短的位置高速完成这样的操作。在这个版本中，我们在某些领域的开发还处于萌芽阶段。

我的团队只用了大约 18 个月就开发出这款替代产品，我为他们感到骄傲。这是一项巨大的工作。

12.研发部门接下来有怎样的计划？

AF：我们想继续投资。事实证明，这个项目已经结出了累累硕果。我为这个团队感到骄傲，他们充满创造性，实现了丰硕的成果，并与慕尼黑工业大学保持协作 – 他们的顾问提供了宝贵的建议和反馈。

接下来的 Hyper 计划分为两个阶段。短期的计划是，我们安排充足的时间来回应客户的反馈。这是该技术首次以商业产品的形式推出，我们要在心态和能力上准备好处理反馈。

我们将在下季度发布一些功能，但它们并不是重大功能。正如前面所说，我们打算对客户反馈作出回应，我们还会继续开发第一个版本中没有完成的一些性能改进工作。

13.学术界的创业者怎样才能在未来十年不断取得进步，同时对自己发明的技术保持信心？您对他们有何建议？

TM：我的建议是“相信自己”。有时，为了一些项目，您需要在其他方面付出额外的努力。从研究的角度看，某些东西可能过于平淡。我们需要从头构建一个数据库系统，其中某些环节无法写入论文进行发表。但如果您能付出更多努力，并对自己构建的技术保持坚定的信念，人们就会产生兴趣，您的技术就会在这个行业得到利用。只要愿意尝试，就能找到好机会；您不会失败的。