Les origines de la technologie Hyper : questions/réponses avec Tobias Muehlbauer et Allan Folting

Hyper, notre technologie de moteur de données bientôt brevetée, représente l'aboutissement de dix années de recherche au sein de l'Université technique de Munich. Grâce à une acquisition dont nous sommes particulièrement fiers, Hyper a rejoint les rangs de Tableau en mars 2016 et bénéfice désormais aux utilisateurs Tableau. Nous avons eu une discussion avec Tobias Muehlbauer, responsable du développement chez Tableau et fondateur d'Hyper, et Allan Folting, directeur senior de l'ingénierie, à propos des origines de la technologie, de la montée en puissance de nos services dédiés à la recherche et au design, ainsi que de l'influence de la communauté sur cette technologie révolutionnaire.

1. Hyper est un pur produit universitaire. Quel a donc été votre parcours ?

Tobias Muehlbauer(TM) : J'ai commencé par une licence en sciences à l'Université technique de Munich, puis j'ai obtenu mon master en génie logiciel dans cette même université. J'ai ensuite traversé l'Atlantique et travaillé à Stanford et à l'Université de l'Illinois (Urbana-Champaign) en tant que chercheur externe. Enfin, j'ai poursuivi mon doctorat à Munich en développant le projet Hyper.

2. Quel était l'objectif initial de la technologie Hyper ?

Au départ, il y a environ 10 ans, Hyper n'était qu'un projet universitaire à l'Université technique de Munich, une institution considérée comme l'équivalent allemand de Stanford. À cette époque, le marché des bases de données était en pleine évolution. Les technologies traditionnelles ne répondaient plus aux besoins fonctionnels et n'atteignaient pas les performances que l'on attend des applications modernes. Il existait de nombreux systèmes spécialisés, notamment Hadoop, les systèmes NoSQL et des moteurs dédiés à l'analytique des transactions.

Avec Hyper, nous souhaitions créer une technologie complètement innovante. Nous voulions développer de A à Z un système relationnel qui remettrait en cause les choix traditionnels en matière de conception et optimiserait l'utilisation du matériel moderne. Par la suite, nous avons optimisé Hyper pour le traitement en mémoire et tenu compte des derniers processeurs, plus complexes, comprenant de nombreux cœurs.

Nous avons également concentré nos efforts sur la réunion des systèmes transactionnels et de l'analytique afin de consolider en un système unique tous ces systèmes spécialisés pour unifier les transactions, l'ingestion des données et l'analytique.

Pourquoi ? La réponse est simple. Une entreprise possédant plusieurs systèmes spécialisés disperse ses données. Le système analytique risque alors de proposer une vue obsolète des données. Avec Hyper, vous pouvez réellement exploiter les ensembles de données les plus récents. C'était notre principal objectif au départ. Il nous a fallu plusieurs années pour véritablement atteindre les niveaux de performance souhaités et offrir les fonctionnalités proposées aujourd'hui.

3. Que faut-il savoir à propos des origines de la technologie Hyper ?

Allan Folting (AF) : Nous avons commencé très tôt les programmes alpha d'Hyper. Si nous cherchions à améliorer notre moteur de données existant, c'était avant tout pour répondre aux besoins des clients qui ne parvenaient pas à créer des extraits à temps (par exemple le soir, pour l'analyse du lendemain matin). De la même façon, ils ne voulaient pas attendre cinq jours qu'un extrait volumineux soit créé.

Nous avons contacté des clients en amont du projet en leur proposant des versions préliminaires d'Hyper. Nous avons alors étudié la rapidité offerte pour les extraits et les performances des requêtes une fois les extraits créés. Tout au long du processus, nous avons observé un panel de clients de plus en plus large. Je suis impatient de voir leurs réactions lorsqu'ils parviendront à créer bien plus rapidement des extraits plus volumineux, alors que l'opération échouait ou prenait trop de temps auparavant.

Je tiens à remercier ces nombreux clients qui ont accepté de participer au test, car Hyper a, comme vous pouvez l'imaginer, rencontré des problèmes de stabilité lors des premières étapes du programme alpha.

4. Pouvez-vous raconter comment vous avez découvert Tableau ?

J'ai découvert Tableau lors d'une conférence universitaire à Melbourne. J'ai rencontré Patrice Allen, le directeur du groupe responsable des bases de données chez Tableau à l'époque. J'avais vaguement entendu parler de Tableau. Pour moi, Tableau était davantage axé sur les visualisations. Je n'étais donc pas effrayé par la quantité de recherches et par les technologies de bases de données derrière Tableau.

Nous avons eu pendant la conférence avec des employés des échanges passionnants qui ont conduit chacun de nous à s'intéresser au produit de l'autre. Lorsque des personnes passionnées qui partagent la même vision sont réunies, elles proposent des idées innovantes. C'est exactement ce qui s'est passé à Melbourne. Par la suite, nous avons poursuivi le dialogue. Quelques mois plus tard, Christian Chabot s'est rendu à l'Université technique de Munich.

5. Allan, quand avez-vous rencontré Tobias et découvert Hyper ? Quelles étaient vos premières impressions quant à la puissance d'Hyper ?

J'ai entendu parler de la technologie Hyper et des projets d'acquisition au début de l'année 2016. J'ai rencontré Tobias en mars 2016, lorsqu'il est venu à Seattle avec son équipe Hyper. J'étais plein d'espoir, et je n'ai pas été déçu.

Ils sont venus travailler avec nous pour peaufiner Hyper tandis que nous réfléchissions à son intégration dans Tableau. Nous avons également parlé des objectifs à moyen terme pour les versions suivantes. Nous avons notamment entamé des discussions sur des notions techniques avancées, qui ont redoublé notre enthousiasme à l'égard de ce projet. Mais nous avons également réfléchi à la création et à l'expansion du service dédié à la recherche et au développement à Munich.

Pour continuer à innover, je pense qu'il est essentiel d'entretenir des liens étroits avec l'université de Munich et le monde de l'enseignement, notamment avec les professeurs et les étudiants. Nous sommes très fiers de nos relations et de ce précieux partenariat.

6. Pouvez-vous nous parler du service Recherche et design de Tableau, et en particulier de celui de Munich ?

AF : Je souhaite tout d'abord revenir sur certains points que Tobias a soulignés un peu plus tôt, et notamment sur le fait qu'Hyper réunit plusieurs systèmes spécialisés en un seul et traite des données ayant un état identique. Nous avons à cœur de conserver ces deux spécificités.

Lors de l'intégration d'une technologie comme Hyper à Tableau ou à un autre produit, il est facile de perdre de vue les aspects ou caractéristiques innovants de la technologie. Par conséquent, tous les chercheurs et les employés tiennent à rester fidèles aux principes d'Hyper pour toute décision concernant son intégration à Tableau. Parfois, cela signifie que nous devons nous montrer plus innovants, plus attentifs, pour ne pas perturber les charges de travail transactionnelles ou analytiques par nos décisions sur leur design. Nous sommes fiers de respecter ce principe, à l'aide des personnes talentueuses de notre équipe et de l'Université de Munich.

Nous pouvons nous vanter d'avoir constitué une excellente équipe à Munich. Il y a seulement 18 mois, nous n'avions que 3 personnes à temps plein et 3 à temps partiel. Aujourd'hui, 40 personnes travaillent sur Hyper : 20 à Seattle et 20 à Munich.

7. Comment se manifeste cette collaboration au quotidien ?

Pour être franc, le décalage horaire de neuf heures entre Seattle et Munich nous inquiétait au départ. Cela demande quelques efforts supplémentaires pour faciliter la communication entre ces bureaux.

Mais jusqu'ici, tout se passe à merveille. Nous nous rendons visite régulièrement, parce que cela facilite l'interactivité et la collaboration. Cependant, avec les possibilités de vidéoconférence et la bonne volonté des uns et des autres, cela fonctionne plutôt bien.

Nous essayons également de développer davantage nos méthodes de communication. En effet, nous sommes implantés dans le monde entier et tenons à optimiser la collaboration, que ce soit avec une personne à distance ou avec des équipes entières.

Tout à fait. Je pense qu'il est crucial que chacun apprenne à connaître les personnes avec qui il travaille. Rien n'est plus important que des échanges réguliers, par exemple en organisant plusieurs fois par an des dîners ensemble. Cela contribue à l'efficacité d'Hyper.

8. Avez-vous rencontré des difficultés lors du développement de la technologie Hyper, ou est-ce que tout s'est déroulé parfaitement ?

Le milieu universitaire est toujours ouvert, et nous avons testé plusieurs choses avant de trouver la solution parfaite. Hyper est le résultat de plusieurs années de tâtonnements. Cette technologie n'était pas parfaite, mais les défis ne nous faisaient pas peur. Nous avons découvert avec plaisir que nous avions résolu une grande partie des problèmes techniques. Alors nous avons décidé de commercialiser notre technologie. Ce qui n'allait pas forcément de soi.

Nous avons petit à petit fait des progrès, Hyper s'est amélioré et a suscité de plus en plus d'intérêt. Nous avons reçu beaucoup de commentaires positifs. Des utilisateurs ont commencé à nous demander s'ils pouvaient utiliser Hyper dans un environnement de production. En tant qu'universitaires, nous étions évidemment honorés. Nous avons alors commencé à songer aux étapes suivantes. Il est devenu évident qu'il fallait créer une entreprise et passer à la phase de production.

9. Quelle a été l'influence de la communauté sur la motivation des équipes internes ?

C'est une très bonne question. Chaque fois que nous parlions des retours de la communauté, tous les membres de l'équipe étaient à la fois fiers et heureux. Nous essayons tous les jours de résoudre les problèmes et d'améliorer la technologie. Nous nous concentrons donc énormément sur les avis qui peuvent sembler négatifs.

Vous ne pouvez pas savoir à quel point les avis positifs sont importants et nous encouragent à poursuivre nos efforts. Par exemple, un chef de projet nous a fait part du témoignage d'un client très satisfait des résultats qu'il avait obtenus. Tout fonctionnait plus rapidement, et le client était plus que ravi. Plusieurs personnes sont venues me voir dans mon bureau ce jour-là, le sourire jusqu'aux oreilles, prêtes à s'impliquer encore plus dans ce projet. Un tel projet dure longtemps. Selon moi, il est essentiel de recueillir toujours plus de retours et de les partager. Je n'avais pas prévu qu'ils auraient un tel impact, c'est incroyable…

10. Quel a été le rôle de la communauté dans le développement de la technologie Hyper ?

L'accélération des requêtes et des performances a généré un certain enthousiasme au sein de la communauté. Cela a probablement placé la barre encore plus haut pour cette première version. Toutefois, nous avons consacré de nombreuses heures à intégrer Hyper pour satisfaire chacun.

Des utilisateurs nous interpellent lors des conférences, et j'ai même reçu des poignées de main chaleureuses lors de la dernière Conférence Tableau, car nous apportons les changements tant attendus par les clients. Le feedback est souvent positif, et les attentes sont très élevées.

Je tiens à remercier tous nos clients. Beaucoup ont montré leur enthousiasme aux conférences Tableau et par le biais des programmes Alpha et Bêta.

11. Que prévoyez-vous pour le lancement de la technologie Hyper ?

Notre vision et notre mission, à savoir développer une technologie polyvalente de moteur de données extrêmement rapide, n'ont pas changé. Nous poursuivons nos efforts et établissons la base qui servira pour les prochaines versions.

Cette première version de Tableau avec Hyper offrent plusieurs avantages : la création plus rapide des extraits, des requêtes plus performantes pour les extraits et, dans de nombreux cas, une meilleure évolutivité et plus de stabilité dans plusieurs environnements. L'intégration de la technologie Hyper au moteur de données Tableau a demandé de longues heures de travail. Nous avons franchi cet obstacle et en sommes fiers.

Hyper dispose de plusieurs atouts dont nous ne tirons pas encore parti. Ainsi, je me réjouis de la réduction de la latence résultant des données qui sont générées dans le système et s'affichent dans les visualisations Tableau. Nous envisageons également des fonctionnalités analytiques plus abouties pour permettre aux analystes d'effectuer des observations plus précises, que ce soit pour le machine learning, le data mining ou des fonctions statistiques rapides. Nous cherchons à rapprocher les utilisateurs des données afin d'accélérer encore plus ces analyses. Avec cette première version d'Hyper, nous commençons seulement à explorer ces aspects.

Je suis fier de notre équipe, qui a réussi à concevoir un tel produit en seulement 18 mois.

13. Quelle est la prochaine étape pour les services Recherche et Design ?

Nous souhaitons poursuivre sur cette lancée. Ce projet s'est révélé extrêmement fructueux. Je suis fier de l'équipe, du degré d'innovation, du résultat et de notre collaboration avec l'Université technique de Munich. L'implication de leurs conseillers et leurs commentaires sont inestimables.

Deux prochaines étapes marqueront l'avenir d'Hyper. À court terme, nous allons analyser les retours client. Puisqu'il s'agit de la première version commerciale d'Hyper, nous tenons à traiter l'ensemble des commentaires.

Nous travaillerons ensuite sur certaines fonctionnalités qui seront disponibles lors du trimestre prochain. Il ne s'agit cependant d'aucune nouveauté majeure. Pour résumer, nous souhaitons étudier l'ensemble des commentaires client, puis finaliser certaines optimisations de performances qui n'ont pas été incluses dans la première version.

13. Que conseillez-vous aux entrepreneurs universitaires afin qu'ils continuent à aller de l'avant et qu'ils n'abandonnent pas le développement de leur technologie au cours des prochaines années ?

Croyez en vous-même. Il arrive qu'un projet nécessite des efforts supplémentaires. Sur le plan de la recherche, certains aspects ne sont pas pertinents. Il nous a fallu créer un système de base de données complet, dont certains composants ne peuvent pas être inclus dans les publications. Cependant, si vous êtes prêt à toujours en faire plus, et si vous croyez réellement en l'utilité de votre invention, vous intéresserez non seulement les utilisateurs, mais également les entreprises. Vous n'avez rien à perdre, alors pourquoi ne pas tenter votre chance ?