Hyper の原点: Tobias Meuhlbauer と Allan Folting との Q&A

特許出願中の Tableau データエンジンである Hyper は、ミュンヘン工科大学で生まれた 10 年にわたる学術研究の結晶です。Tableau が 2016 年 3 月に買収した Hyper のテクノロジーを、ついにお客様にご利用いただけるようになりました。このインタビューでは、Tobias Meuhlbauer (Hyper 創業者、現 Tableau 開発マネージャー) と Allan Folting (エンジニアリング部門シニアマネージャー) が、Hyper テクノロジーの原点、Tableau のリサーチ & デザイン部門の拡大、そしてコミュニティが画期的な Hyper テクノロジーに及ぼした影響について語っています。

1. Hyper は大学から生まれましたが、ご自身はどのような大学で学ばれたのですか?

ミュンヘン工科大学でまず理学士を取った後、ソフトウェアエンジニアリングで修士号を取りました。それから米国に渡り、スタンフォード大学とイリノイ大学アーバナ・シャンペーン校で学外研究員になりました。その後、ミュンヘン工科大学に戻って Hyper プロジェクトで博士号を取得しています。

2. Hyper プロジェクトとそのテクノロジーのそもそもの狙いは何ですか?

Meuhlbauer: Hyper は、「ドイツのスタンフォード」と呼ばれているミュンヘン工科大学で、約 10 年前に学術プロジェクトとしてスタートしました。スタートした当時は、データベース市場で実にさまざまな変化がありましたね。従来のテクノロジーでは、最新のアプリケーションが要求するパフォーマンスと機能をもう満たせなくなっていました。いろいろな特化型のシステムが現れていて、Hadoop や NoSQL システム、それにトランザクション分析に特化したエンジンもありました。

しかし Hyper プロジェクトでは、違うものを生み出したいと思っていました。設計上の従来の意思決定を問い直し、最新ハードウェアに最適化しながら、リレーショナルシステムを一から構築したかったのです。私たちは、インメモリ処理に合わせた最適化や、コア数が多い現代の CPU に対する対応などを行いましたが、もっと複雑なことも行いました。

また、トランザクション型システムと分析環境を組み合わせることにも重点を置いていました。この 2 つの特化したシステムを 1 つのシステムにまとめて、トランザクション、データの取り込み、分析を統合するためです。

その理由は簡単です。特化したシステムがあると、いろいろな場所にデータが散在することになるからです。すると、分析システムが見るのは古い状態のデータになってしまうかもしれません。ですが Hyper なら、確実に最新のデータセットで分析できるようになります。それがそもそもの大きな狙いでしたが、求めていた今のパフォーマンスや機能を実現するには何年もかかりました。

3. Hyper の原点について、お客様にぜひお伝えしたいことは何ですか?

Allan Folting: Hyper のアルファプログラムはとても早い時期に始めることにしたのですが、あれはプロジェクトでとても大きな意味を持っていました。そもそも Tableau が当時のデータエンジンを刷新する方法を検討していたのは、お客様が予定時間内に抽出を作成できない、準備に一晩かけても翌朝の分析に間に合わないという問題にぶつかっていたからです。大規模な抽出を作成するのに 5 日も待てないと声が寄せられました。

ですから、このシステムのビルドを早い時期にお客様に渡して、抽出の速度はどうなったのか、抽出が作成された後のクエリパフォーマンスはどうなったのかを調べました。その過程で、お願いするお客様の数を注意深く増やしていきました。今は、以前なら時間がかかりすぎていたり失敗したりしていた大規模な抽出の作成で、高速化をお客様に早く実感していただきたいと思っています。

新バージョンをテストしてみたいと、多くのお客様にご希望いただいたことに感謝申し上げます。想像がつくと思いますが、最初期のアルファ版のときは動作がまだ安定していなかったからです。

4. Tableau に初めて出会ったときのことを教えてください。

Meuhlbauer: 私が初めて Tableau の人間と話したのはメルボルンの学会でした。当時 Tableau でデータベースグループのディレクターだった、Patrice Allen に紹介されたのです。Tableau のことはあまり知りませんでした。ビジュアライゼーション企業のようなものだと思っていたので、Tableau の研究力やデータベーステクノロジーに怖じ気づくこともなかったですね。

学会の期間中は Allen や Tableau の社員と話が弾んで、最後にはお互いの製品に関心を持ち、独特のエネルギーをお互いに感じるようにまでなりました。同じような志を持ち、自分のミッションに情熱を傾けている人間同士が集まると、素晴らしいアイデアが生まれます。メルボルンでもそうなり、そこから行ったり来たりの話し合いが着実に始まりました。そしてその年のうちに、Christian Chabot がミュンヘンにやって来ました。

5. Folting さんは、Meuhlbauer さんや Hyper と初めて出会ったとき、どのような感じでしたか? Hyper の能力を見たときの第一印象は?

Folting: 私が Hyper と買収計画のことを知ったのは 2016 年の初めでした。Meuhlbauer と会ったのは、彼が Hyper チームと一緒にシアトルに来た 2016 年 3 月です。かなり大きな期待をしていたのですが、がっかりさせられることはありませんでした。

こちらでは Hyper を Tableau に統合する方法を検討していたので、Hyper を詳しく説明して協力するために来てくれたのですが、さらに将来の Tableau リリースでできそうなことも長期的に考えてきてくれました。私たちは最初に技術に関してかなり掘り下げた話をしたのですが、これが非常に興味深く、互いにこの計画に対する期待がさらに高まりました。しかしそれだけではなく、ミュンヘンの研究開発オフィスをどのように設立して拡大するかも一緒に検討したのが、特に重要な点だったと思います。

これからもイノベーションを続けるために欠かせないのは、教授や学生を巻き込んで、ミュンヘン工科大学などの大学と強力な関係を維持することだと私は感じています。Tableau にとってそのような関係はとても大切ですし、パートナーシップを極めて重視しています。

6. ミュンヘンと Tableau 全体のリサーチ & デザイン (R&D) 部門について話してください。

Folting: まず強調しておきたいのは、Meuhlbauer が先ほどお話ししたように、Hyper の狙いは特化したシステムを 1 つにまとめられるようにすること、そして同じ状態のデータを操作できるようにすることです。私たちはこの 2 つの柱をこれからも最重要視していきます。

Hyper のようなテクノロジーを Tableau などの製品に統合する場合、そのテクノロジーの他にはない特長やポイントが見失われてしまうことがよくあります。ですから、私たちが重視し、研究員も従業員も部門の全員が一丸となって取り組んでいるポイントとして、Tableau の機能について意思決定を行うときは必ずこの柱を維持していくことが 1 つ挙げられます。そのため場合によっては、トランザクションや分析寄りの処理に支障を来たさないように、イノベーションがもう少し必要だ、もう少し掘り下げなければならない、と設計上の意思決定を何か行わなければならないこともあります。それが、私たちが誇りに感じ、Tableau チームとミュンヘン工科大学の協力関係が実を結んでいる大きな点の 1 つです。

Meuhlbauer: ミュンヘンで一から素晴らしいチームを構築できたことをうれしく思っています。当初は常勤と非常勤のスタッフが 3 人ずつで、それがわずか 1 年半前のことです。今では Hyper に取り組んでいるスタッフが、シアトルとミュンヘンに 20 人ずついます。

7. 日常的にどのように共同作業を行っていますか?

Folting: その点について正直に言えば、シアトルとミュンヘンに 9 時間の時差があるだけでも心配でした。ですから意思疎通に少し特別な努力をしています。

しかし、ありがたいことにとてもうまくいっていると言っていいでしょう。お互いにかなり頻繁に行き来しているのですが、おかげで会議で連帯感が生まれ対話も育まれています。それにビデオ会議環境もあり、お互いに柔軟に対応できるので、共同作業は良好に行われています。

世界には他にも連絡を取り合っている場所がありますから、このような緊密な関係を広げていこうと努めています。また、遠く離れた個人とでもミュンヘンのようなチームとでも、より良いコラボレーションをしたいと広く考えています。

Meuhlbauer: その通りだと思います。私の意見では、何より大切なのは顔を合わせてお互いに知り合うことです。定期的な交流ほど重要なことはありません。少なくとも 1 年に数回は一緒に夕食を取るといいのではないでしょうか。

8. 開発段階で、Hyper は完成しないかもしれないと感じさせるような課題にぶつかったことはありますか? それとも何もかもスムーズにいきましたか?

Meuhlbauer: 大学は締め切りがないところなので、完璧なソリューションを探るためにいろいろなことを試しました。何年間も試行錯誤をしてきたからこそ、今の Hyper があります。すべてが完璧とは言いませんが、課題には徹底的に取り組みました。そして幸いなことに、技術的な問題を大部分解決できたとわかったので、Hyper を市場で試そうということになりました。ですが、そこでも別のいろいろな課題にぶつかりました。

そのうち私たちは徐々に前進し、Hyper は改良され、興味を持ってくれる人が増えていきました。好意的なご意見をたくさんいただき、「使いたいのですが製品で試せますか?」という声が寄せられ始めました。研究者ならもちろんうれしいものです。しかし、「さてどうしたらいいだろうか?」とも考えてしまいます。そこで、当然の選択として会社を設立し製品化することにしました。

9. Tableau コミュニティのおかげで、このプロジェクトに対する社内チームの熱意はどのように高まりましたか?

Folting: 良いことを訊いてくれました。コミュニティからのフィードバックをチームに見せると、いつもみんな何かを学びとてもうれしそうにしていました。毎日いろいろな問題に対処し完成させようとしているのですが、バグが残っており、未完成の部分もまだあります。ですから、否定的に見えるかもしれないフィードバックをとても重視しています。

建設的なフィードバックも同じように、言葉にならないほど助けになっています。ある日、私のチームのプロジェクトマネージャーが、お客様の気づいた点をメールでチームに伝えました。とても建設的なフィードバックです。すると全体のスピードが上がり、スタッフはとても喜びました。その日のうちにみんなが満面の笑みで私のオフィスに来たのですが、あれでコミットメントがさらに高まりましたね。このようなプロジェクトを進めるのはとても大変なので、今後はもっとフィードバックを集めて共有することを忘れないようにします。フィードバックがこれほどの力を持つとは思っていませんでした。信じられないほどです。

10. Hyper の開発にご協力いただいたコミュニティはどのような反応でしたか?

Folting: 高速化と抽出のクエリという新機能について、たくさんの関心と喜びの声を見聞きしました。 ですから、この最初のバージョンでは期待感がもっと高まっていると思います。Hyper テクノロジーの統合にはかなりの時間がかかりましたが、報われた思いです。

お客様から長い間いただいていたご要望が実現に近づいているせいか、最近の Tableau Conference では参加者の方々から声をかけられたり、ハグをされたりしました。好意的なご意見は間違いなくたくさんいただいており、とても高い期待感もひしひしと感じています。

Meuhlbauer: 私からも、Tableau のお客様皆様に心からお礼を申し上げます。Tableau Conference でも、アルファプログラムとベータプログラムでも、素晴らしいフィードバックをいただきました。

11. Hyper のリリースではどのようなことが予定されていますか?

Meuhlbauer: 私たちのビジョンとミッションは、できるだけ高速な汎用データエンジンとして Hyper を開発することであり、今もそれに変わりはありません。そのミッションはまだ続いており、今後も私たちの基盤になります。

Folting: Hyper を組み込んだ Tableau の最初のバージョンでは、抽出作成の高速化、抽出に対する高速なクエリパフォーマンス、そしていくつかの環境で多くの場合はスケーラビリティと安定性の向上が実現します。本当にうれしい限りです。今までの Tableau データエンジンにつながっていたコードのために、Hyper に入れ替えるのは長い道のりでしたから。ですが、その山は乗り越えました。

Hyper には、まだ活用されていない可能性がいくつか残っています。たとえば、システムで生成されて Tableau のビジュアライゼーションで利用できるようになるデータを考えると、そのデータの待ち時間がさらに短くなったことでもっと何かできないかと思っています。また、Hyper の特長と能力を利用して、さらに掘り下げた分析を行う機能をシステムに持たせられないかを検討しています。これが実現すると、機械学習やデータマイニングに少し似たものになるか、高速な統計関数になるかはわかりませんが、アナリストはさらに高度な分析を、物理的にデータのさらに近くで高速に行えるようになります。こうした部分は、今回の初リリースでまだ着手したばかりです。

私は、チームが約 18 か月でこの後継製品を完成できたことにとても満足しています。一大プロジェクトでしたから。

12. リサーチ & デザイン部門の次の計画は何ですか?

Folting: これからも投資を続けたいと考えています。このプロジェクトは本当に実り多いものだとわかりました。チーム、イノベーションや成果のレベル、ミュンヘン工科大学との連携のいずれにも満足しています。ミュンヘン工科大学側の指導教官からのアドバイスやフィードバックには本当に助けられました。

Hyper の次のステップは 2 段階になっています。まず、私が短期計画と呼んでいるものでは、お客様からのフィードバックに対応する時間をかなり取っています。Hyper を統合した Tableau を商品として出荷するのは初めてなので、フィードバックに対応できるように態勢を整えておきたいのです。

その後、次の四半期に実現する機能が若干ありますが、大きなものではありません。やはりこの段階でもお客様からのフィードバックを取り入れたいと考えていますし、初リリースでは見送られた一層のパフォーマンス向上が図られる予定です。

13. 大学の起業者に何かアドバイスはありますか? 前に進み続けて、次の 10 年間で何かのテクノロジーを生み出すことをあきらめないようにするにはどうしたらいいですか?

Meuhlbauer: 私からのアドバイスは「自分を信じろ」です。プロジェクトでは、脇道に逸れた余分な作業が必要になることがあるものです。研究という観点からは面白くない作業もあります。私たちの場合もデータベースシステムを一から開発する必要がありましたし、論文で発表することができない要素もつきものです。ですが、限界に挑みつつ、自分が生み出そうとしているものを信じていれば、人はいずれ関心を持ち業界が目を付けてくれます。それに、やってみるだけでチャンスが大きく広がります。何にしても得になりますよ。