Los orígenes de Hyper: Una sesión de preguntas y respuestas con Tobias Meuhlbauer y Allan Folting

Hyper, nuestro motor de datos con patente en trámite, es la culminación de décadas de investigación académica, que surgió en los pasillos de la Universidad Técnica de Múnich. Mediante una adquisición que nos enorgullece, la tecnología llegó a Tableau en marzo de 2016 y ahora está al alcance de su mano. Hablamos con Tobias Meuhlbauer (administrador de desarrollo de Tableau y fundador de Hyper) y Allan Folting (administrador sénior de ingeniería) sobre los orígenes de la tecnología, el surgimiento de los departamentos de investigación y diseño, y el impacto de la comunidad en esta innovadora tecnología.

1. Dado que Hyper surgió en el sector universitario, ¿cuál es su historial académico?

Tobias Meuhlbauer (TM): Comencé mi licenciatura en ciencias en la Universidad Técnica de Múnich, donde más adelante, realicé una maestría en ingeniería de software. Visité EE. UU., y pasé tiempo en la Universidad de Stanford y la Universidad de Illinois en Urbana-Champaign como investigador externo. Más tarde, continué con mi doctorado sobre el proyecto Hyper en Múnich.

2. ¿Cuál fue la intención original de Hyper y la tecnología?

TM: Hyper comenzó como un proyecto académico hace unos 10 años en la Universidad Técnica de Múnich, una institución que se considera “la Stanford de Alemania”. Cuando comenzamos, había mucho movimiento en el mercado de las bases de datos. Las tecnologías tradicionales ya no estaban a la altura del rendimiento y los requisitos funcionales de las aplicaciones modernas. Había numerosos sistemas especializados en desarrollo, como Hadoop, los sistemas NoSQL y motores especializados para análisis de transacciones.

Con Hyper, buscábamos lograr algo diferente. Queríamos crear un sistema relacional desde cero que cuestionara las decisiones de diseño tradicionales y las optimizara para el hardware moderno. Después, optimizamos el sistema para el procesamiento en memoria y tuvimos en cuenta las CPU modernas, que tienen muchos núcleos pero también son más complejas.

Además, nos centramos en combinar los sistemas transaccionales y el análisis. Combinamos estos dos sistemas especializados para unificar las transacciones, la obtención e importación de datos y el análisis.

¿Por qué lo hicimos? La respuesta es simple. Si uno tiene sistemas especializados, sus datos están en lugares diferentes. Y es posible que su sistema de análisis tenga una vista obsoleta de los datos. Con Hyper, realmente puede llevar a cabo análisis con los conjuntos de datos más actualizados. Esa fue nuestra intención principal desde el comienzo, y nos llevó años alcanzar el rendimiento y la funcionalidad que queríamos ver y tener hoy en día.

3. ¿Qué debemos saber sobre los orígenes de Hyper?

Allan Folting (AF): Una de las actividades más importantes fue comenzar los programas alfa de Hyper muy pronto. Los motivos por los cuales quisimos reemplazar nuestro motor de datos existente fueron los problemas a los que se enfrentaban los clientes. Estos no podían crear extracciones en el tiempo disponible (es decir, preparar los análisis durante la noche para el día siguiente). O bien no querían esperar cinco días hasta que se creara una extracción grande.

Cuando generamos las primeras compilaciones del sistema, nos comunicamos con los clientes y analizamos la velocidad de las extracciones y el rendimiento de las consultas una vez creadas las extracciones. Durante el proceso, nos mantuvimos en contacto con un grupo de clientes seleccionados. Deseaba ver cómo se aceleraba la creación de extracciones más grandes, que antes tardaban demasiado o fallaban.

Me complace haber contado con un gran grupo de clientes dispuestos a experimentar con el producto, ya que, como imaginarán, no era totalmente estable durante las primeras etapas alfa.

4. ¿Qué puede decirnos sobre la primera vez que vio Tableau?

TM: Vi Tableau por primera vez en una conferencia académica en Melbourne. Allí me presentaron a Patrice Allen, quien entonces era director del grupo de base de datos de Tableau. Yo no sabía mucho sobre Tableau. Para mí era principalmente una compañía de visualización, por lo que no me asustaba la cantidad de investigación y tecnología de base de datos que contenía Tableau.

Durante la conferencia, tuvimos conversaciones muy interesantes con empleados, que generaron interés mutuo en los productos y una sensación de energía compartida. Si se reúne a personas que tienen pensamientos afines y pasión por su misión, se logran ideas geniales. Eso es lo que sucedió en Melbourne. Y a partir de allí, mantuvimos conversaciones con regularidad. Unos meses después, Christian Chabot vino a visitar Múnich.

5. Allan, ¿cuál fue su primera interacción con Tobi y Hyper? ¿Cuál fue la primera impresión que tuvo cuando experimentó la potencia de Hyper?

AF: A principios de 2016, tuve noticias de Hyper y los planes de adquisición. Tobi y yo nos conocimos en marzo de 2016 cuando visitó Seattle con el equipo de Hyper. Mis expectativas eran muy altas y no me decepcionaron.

Vinieron a trabajar con nosotros, y ahondamos en los detalles de Hyper mientras planeábamos cómo integrar el producto con Tableau. Y también dedicamos tiempo a pensar sobre qué podríamos hacer en versiones posteriores. Al comienzo, tuvimos algunas charlas técnicas muy fascinantes, que hicieron que nos entusiasmáramos aún más con el proyecto. Pero también es importante destacar que nos pusimos a pensar cómo crear y expandir la oficina de investigación y desarrollo de Múnich.

Para continuar con la innovación, creo que es fundamental mantener una relación sólida con el sector académico y la Universidad de Múnich, incluidos profesores y alumnos. Valoramos mucho la relación y la asociación con ellos.

6. ¿Puede contarnos algo sobre la unidad de investigación y desarrollo (I+D) en Múnich y en Tableau?

AF: Lo primero que quiero destacar son algunos de los principios que Tobi planteó en un primer momento sobre la capacidad de Hyper de integrar diferentes sistemas especializados en uno solo y trabajar en el mismo estado de los datos. Nos apasiona mantener estas dos áreas.

Cuando integramos una tecnología como esta con Tableau o con otro producto, es muy fácil perder la noción de las dimensiones o los elementos que la volvieron especial. Como resultado, una de las cosas que valoramos y por la que trabajamos todos juntos (investigadores y empleados a tiempo completo) es respetar los principios establecidos cuando tomamos decisiones sobre la funcionalidad de Tableau. A veces, esto implica hacer algo un poco más innovador, un poco más detallado, para evitar afectar a las cargas de trabajo transaccionales o más analíticas mediante las decisiones de diseño que tomamos para uno u otro sistema. Esa área es clave y nos enorgullece. Además, nos beneficiamos de ella con la composición del equipo y la Universidad de Múnich.

TM: Nos enorgullece haber formado un excelente equipo desde cero en Múnich. Cuando comenzamos, solo un año y medio atrás, teníamos tres miembros a tiempo completo y otros tres a tiempo parcial. Hoy en día, tenemos 20 personas en Seattle y 20 en Múnich trabajando para Hyper.

7. ¿Cómo es la colaboración en el trabajo cotidiano?

AF: Para ser honesto, en un primer momento, nos preocupaba la diferencia horaria de nueve horas entre Seattle y Múnich. Hacemos un esfuerzo adicional por comunicarnos.

Pero me alegra poder decir que está funcionando bien. Nos visitamos con cierta frecuencia, porque es muy útil tener reuniones interactivas en persona. Sin embargo, con nuestras videoconferencias y la flexibilidad de ambos lados, el trabajo funciona bien.

También queremos desarrollar mejor esta dinámica de trabajo, ya que tenemos sedes en otros lugares del mundo. Por eso, queremos mejorar la colaboración, tanto con profesionales individuales a distancia como con equipos enteros.

TM: Estoy de acuerdo. Creo que lo más importante es que todos pueden conocerse en persona. No hay nada más importante que las interacciones regulares. Tenemos que cenar juntos algunas veces al año. Eso resulta muy útil.

8. ¿Hubo algún momento durante el proceso de creación en que enfrentaron retos importantes? ¿Sintieron que no se podría lograr o todo funcionó a la perfección para Hyper?

TM: El sector académico es muy amplio, e intentamos muchas cosas para lograr la solución perfecta. Y lo que se ve en Hyper hoy en día es el resultado de años de prueba y error. No todo es perfecto, pero superamos los desafíos. Lo más divertido fue darnos cuenta de que habíamos resuelto gran parte de los problemas técnicos y, por ese motivo, decidimos lanzar la tecnología al mercado. Sin embargo, eso también conllevó sus propios retos.

Con el tiempo, fuimos progresando, Hyper fue mejorando, y cada vez más personas se interesaron en esta tecnología. Recibimos numerosos comentarios positivos, y comenzaron a decirnos: “Queremos usarlo. ¿Podemos probarlo en un escenario de producción?”. Como académico, por supuesto que eso es un honor. Pero en ese momento, uno comienza a pensar: “¿Y ahora qué?”. La respuesta obvia a esa pregunta fue formar una compañía y ofrecer el producto.

9. ¿De qué manera la comunidad ayudó a alimentar la pasión por el proyecto entre los equipos internos?

AF: Gran pregunta. Cada vez que compartíamos los comentarios de la comunidad con el equipo, todos se sentían sumamente orgullosos. Enfrentamos todo tipo de problemas a diario y estamos tratando de lograr nuestro objetivo, pero hay errores y algunas cosas por completar. Por eso, nos concentramos en los aspectos aparentemente negativos.

Ni siquiera puedo explicar la importancia de aprovechar el impulso generado por los comentarios positivos. Un administrador de proyecto de mi equipo envió un correo electrónico con los comentarios de un cliente, que eran sumamente positivos. Todo funcionaba más rápido y estaba muy satisfecho. Ese día, todos pasaban por mi oficina muy sonrientes y con un mayor nivel de compromiso. Un proyecto como este es un objetivo ambicioso, por eso es fundamental para mí recopilar y compartir más comentarios en el futuro. No imaginé que sería tan poderoso, pero es increíble.

10. ¿Qué función desempeñó la comunidad en el desarrollo de Hyper?

AF: Percibimos mucha emoción en torno a estas nuevas funcionalidades relacionadas con el aumento de la velocidad y las consultas sobre las extracciones. Con eso en mente, quizás las expectativas sean aún más altas en esta primera versión, pero dedicamos mucho tiempo a integrar la tecnología.

Muchas personas se detuvieron a hablar con nosotros en las conferencias e incluso he recibido abrazos en la Conferencia de Tableau más reciente. Ofrecemos funcionalidades que los clientes deseaban desde hacía mucho tiempo. Estamos recibiendo muchos comentarios positivos y hay grandes expectativas.

TM: Y agradecemos mucho a todos nuestros clientes. Recibimos excelentes comentarios en ambas Conferencias de Tableau y a través del programa alfa y beta.

11. ¿Qué esperan para el lanzamiento de Hyper?

TM: Nuestra visión y misión de desarrollar Hyper como el motor de datos de varios usos más rápido posible no han cambiado. Seguimos con esa misión. Es la base de los próximos avances.

AF: La primera versión de Tableau con Hyper ofrece los beneficios de una creación de extracciones más rápida, un mejor rendimiento de las consultas sobre extracciones y, en muchos casos, mayor adaptabilidad y estabilidad en diversos entornos. Eso realmente nos enorgullece. Reemplazar el motor de datos de Tableau existente con Hyper ha sido un largo proceso, debido a todo el código involucrado. Pero ya superamos lo peor.

Hyper aporta muchas cosas nuevas que aún no estamos aprovechando. Por ejemplo, espero poder hacer mucho más con incluso menos latencia de los datos que se generan en el sistema y se ponen a disposición en las visualizaciones de Tableau. También buscamos la fortaleza y la capacidad de incorporar mejores funcionalidades analíticas en el sistema, de manera que los analistas puedan llevar a cabo exámenes más avanzados, ya sea para aprendizaje automático o minería de datos, o bien funciones estadísticas veloces. Queremos acercarlos a los datos a gran velocidad. En esta primera versión, esas áreas solo se abordaron de manera relativamente superficial.

Estoy muy orgulloso del equipo por haber lograr este producto de reemplazo en unos 18 meses. Fue un gran logro.

12. ¿Cuáles son los próximos pasos de las unidades de I+D?

AF: Queremos seguir invirtiendo. Este proyecto ha sido extremadamente fructífero. Estoy orgulloso del equipo, la innovación, el nivel de entrega y la colaboración con la Universidad Técnica de Múnich. Los comentaros de sus consejeros son invaluables.

Para los próximos pasos con Hyper, hay dos etapas. Tenemos lo que llamo un plan a corto plazo, en el que hemos dedicado algo de tiempo a reaccionar a los comentarios de los clientes. Dado que es la primera vez que se presenta como un producto comercial, queremos estar listos para lidiar con los comentarios.

Luego, tenemos algunas funcionalidades que ofreceremos el próximo trimestre, pero no son características de gran importancia. Una vez más, queremos considerar los comentarios de los clientes y estamos finalizando mejoras de rendimiento adicionales que no estaban listas para la primera versión.

13. ¿Tiene algún consejo para que los emprendedores académicos continúen avanzando sin perder la esperanza en cualquier tecnología que inventen en la próxima década?

TM: Mi consejo es “creer en uno mismo”. A veces, un proyecto requiere trabajo adicional. Hay elementos que no son interesantes desde el punto de vista de la investigación. Tuvimos que crear un sistema de base de datos desde cero, y hay ciertos componentes que no se pueden publicar en un documento. Pero si uno toma las medidas necesarias y cree en lo que está haciendo, las personas se interesarán por el producto y la industria lo adoptará. El mero hecho de intentarlo brinda grandes posibilidades. No hay nada que perder.