Origens do Hyper: sessão de perguntas e respostas com Tobias Meuhlbauer e Allan Folting

A tecnologia de processamento de dados Hyper, ainda com patente pendente, é o resultado de uma década de pesquisas acadêmicas feitas na Universidade Técnica de Munique. Por meio de uma excelente aquisição, essa tecnologia chegou ao Tableau em março de 2016 e está sendo disponibilizada para os usuários hoje. Conversamos com Tobias Meuhlbauer (gerente de desenvolvimento na Tableau e desenvolvedor do Hyper) e com Allan Folting (gerente sênior de engenharia) sobre as origens dessa tecnologia, o protagonismo dos nossos departamentos de pesquisa e design e o impacto da comunidade nessa tecnologia inovadora.

1. Qual é sua formação acadêmica, já que o Hyper foi desenvolvido em um ambiente acadêmico?

Comecei meu bacharelado em ciências na Universidade Técnica de Munique, depois vim para os EUA fazer mestrado em engenharia de software. Viajei para os Estados Unidos e passei algum tempo em Stanford e na Universidade de Illinois em Urbana-Champaign como pesquisador externo. Depois disso, comecei meu pós-doutorado em Munique no projeto do Hyper.

2. Qual era o objetivo original do Hyper e de sua tecnologia?

TM: O Hyper começou como um projeto acadêmico há cerca de 10 anos na Universidade Técnica de Munique, uma instituição conhecida como a Stanford da Alemanha. Quando começamos, o mercado de banco de dados estava em polvorosa. As tecnologias tradicionais não conseguiam mais oferecer o desempenho e os recursos exigidos pelos aplicativos modernos. Diversos sistemas especializados surgiram, dentre eles o Hadoop, sistemas NoSQL e mecanismos específicos para análises de transações.

Queríamos que o Hyper fosse algo novo. Nosso objetivo era criar um sistema relacional do zero, repensando as decisões de design dos sistemas tradicionais e otimizando-as para hardwares modernos. Depois, otimizamos o processamento na memória e consideramos CPUs modernas com vários núcleos, mas que também são muito mais complexas.

Também queríamos combinar sistemas transacionais e de análise para unir essas especialidades em um único sistema capaz de processar transações, análises e ingestão de dados.

Por que fizemos isso? A resposta é simples. Se você tem sistemas especializados, provavelmente seus dados estão armazenados em lugares diferentes. Consequentemente, seu sistema de análise talvez ofereça uma visão desatualizada dos dados. Com o Hyper, você consegue analisar os dados mais recentes. No começo, essa era a nossa principal intenção, e levamos anos para chegar ao desempenho e aos recursos que queríamos ter hoje.

3. Por que é tão importante as pessoas conhecerem as origens do Hyper?

Allan Folting (AF): Uma das coisas mais importantes que fizemos foi iniciar os programas alfa do Hyper com bastante antecedência. O principal motivo de querermos criar algo que substituísse nosso processador de dados existente eram os desafios enfrentados por clientes, que não conseguiam criar extrações quando precisavam (durante a noite, por exemplo, para poder analisar os dados na manhã seguinte). Ou que não queriam esperar cinco dias para que uma extração grande ficasse pronta.

Conversamos com clientes logo no início do desenvolvimento do sistema e observamos em que ponto estávamos em relação às taxas de extração e ao desempenho das consultas após a criação das extrações. Durante todo o processo, acompanhamos um grupo seleto de clientes que foi aumentado gradativamente, e mal posso esperar que eles consigam reduzir essa janela para a criação de extrações maiores, que demoravam muito para ficarem prontas ou que falhavam antes disso.

Sou muito grato por termos um grupo grande de clientes querendo experimentar o produto, já que ele não era muito estável nos estágios iniciais de desenvolvimento, como se pode imaginar.

4. Você poderia falar um pouco sobre o seu primeiro contato com a Tableau?

TM: Conheci a Tableau em uma conferência acadêmica em Melbourne. Fui apresentado ao Patrice Allen, que era o diretor do grupo de banco de dados da Tableau naquela época. Eu não sabia muito sobre a Tableau. Para mim, era uma empresa mais voltada para a visualização de dados, portanto, não fiquei intimidado com o volume de pesquisa e tecnologia de banco de dados da Tableau.

Durante a conferência, tivemos ótimas conversas com funcionários, o que acabou gerando um interesse mútuo em nossos respectivos produtos e a sensação de que estávamos em sintonia. Quando reunimos pessoas com interesses em comum e apaixonadas por suas missões, ideias fantásticas surgem. Foi isso que aconteceu em Melbourne, e a partir daí nossas conversas ficaram mais frequentes. Mais tarde naquele ano, Christian Chabot foi a Munique.

5. Allan, qual foi sua primeira interação com Tobi e com o Hyper? Quais foram suas primeiras impressões ao experimentar o poder do Hyper?

AF: No início de 2016, eu soube do Hyper e dos planos de aquisição. Tobi e eu nos conhecemos em março de 2016, quando ele e a equipe do Hyper foram a Seattle. Eu estava muito confiante, e minhas expectativas se confirmaram.

Eles vieram trabalhar com a gente e saber de todos os detalhes do Hyper, porque planejávamos integrá-lo no Tableau, mas também estávamos pensando mais à frente, no que faríamos nas futuras versões. No começo, tivemos conversas fantásticas sobre recursos técnicos, o que nos deixou ainda mais animados com o projeto. Mas também trabalhamos para descobrir uma forma de criar e expandir o departamento de pesquisa e desenvolvimento em Munique, o que acho importante destacar.

Para continuarmos promovendo inovação, sinto que é essencial manter uma relação forte com o setor acadêmico e com a universidade em Munique, inclusive com seus professores e alunos. Essa relação e parceria com a universidade é especialmente valiosa para nós.

6. Você poderia falar um pouco mais sobre a unidade de Pesquisa e Desenvolvimento (P&D) em Munique e na Tableau?

AF: O primeiro ponto que quero destacar são alguns dos princípios que Tobi mencionou anteriormente sobre o Hyper poder mesclar sistemas especializados em um só e trabalhar com os dados no mesmo estado. Essas duas áreas são muito importantes para nós.

É muito comum, ao integrarmos uma tecnologia como essa no Tableau, ou em outro produto, perdermos a noção daquilo que a torna especial. Portanto, algo que valorizamos e em que trabalhamos com toda a equipe, incluindo pesquisadores e funcionários internos, é garantir que, ao tomarmos decisões sobre a funcionalidade no Tableau, continuaremos fiéis aos nossos princípios. Às vezes, isso significa inovar um pouco mais e nos aprofundarmos um pouco mais para não afetar as cargas de trabalho transacionais ou de análise quando tomarmos decisões de design referentes a uma ou a outra. Essa é uma área importante da qual nos orgulhamos, e os membros da equipe e da universidade de Munique nos ajudam bastante com isso.

TM: Temos muito orgulho da equipe que reunimos desde o início em Munique. Quando começamos, há um ano e meio, tínhamos três pessoas trabalhando em tempo integral e outras três trabalhando meio período. Agora, temos 20 pessoas em Seattle e 20 em Munique trabalhando no Hyper.

7. Como é a colaboração diária?

AF: Sinceramente, ficamos preocupados com as nove horas de diferença entre Seattle e Munique. Fazemos um esforço extra para nos comunicar,

mas eu diria que a colaboração está funcionando muito bem. As equipes visitam umas as outras com frequência, porque isso ajuda a estreitar as relações entre os membros e a tornar as reuniões mais interativas. Aproveitando nossos sistemas de videoconferência e a flexibilidade de horário das duas equipes, conseguimos trabalhar bem.

Queremos melhorar isso, porque atuamos em outros países e sempre queremos aprimorar a colaboração, seja com profissionais que trabalham remotamente ou com nossas equipes.

TM: Concordo. Na minha opinião, a parte mais importante é permitir que os profissionais tenham a oportunidade de se conhecer pessoalmente. Não há nada mais importante do que nos encontrarmos cara a cara com frequência. Pelo menos algumas vezes por ano marcamos um jantar, e isso ajuda muito.

8. Houve algum momento durante o processo de desenvolvimento que você enfrentou desafios e sentiu que o projeto não seria concluído ou que as coisas não dariam certo para o Hyper?

TM: O ambiente acadêmico é sempre um lugar propício para a experimentação, e tentamos várias coisas para encontrar a solução perfeita. O que vemos no Hyper hoje é o resultado de anos de tentativa e erro. Nem tudo aconteceu como o planejado, mas superamos os desafios. A melhor parte foi perceber que solucionamos a maioria dos problemas técnicos, por isso decidimos disponibilizar a tecnologia no mercado. Só isso já trouxe novos desafios.

Progredimos aos poucos, o Hyper foi aperfeiçoado e mais pessoas ficaram interessadas nele. Recebemos muitos feedbacks positivos, e as pessoas sempre nos diziam “Queremos usar o Hyper. Podemos experimentá-lo na produção?” E, como acadêmico, é claro que me senti honrado. Então, você começa a se perguntar: “e agora?”. A escolha mais óbvia era criar uma empresa para transformá-lo em um produto.

9. Como a comunidade ajudou as equipes internas a se apaixonarem por esse projeto?

AF: Foi muito bom você ter perguntado isso. Sempre que compartilhávamos o feedback da comunidade com a equipe, todos ficavam cheios de orgulho. Enfrentávamos problemas diariamente, mas queríamos que o projeto desse certo. Ainda precisamos resolver algumas coisas; há bugs para solucionar e recursos para concluir. Por isso, nos concentrávamos muito no que poderíamos chamar de pontos negativos.

Nem sei dizer o quanto é importante receber todos esses feedbacks positivos. Um dos gerentes de projeto da minha equipe nos enviou um e-mail com as descobertas de um cliente, que foram muito positivas. Tudo aconteceu mais rápido do que o esperado, por isso todos estavam muito satisfeitos. Naquele dia, as pessoas vinham até a minha sala com um enorme sorriso e um novo nível de comprometimento. Trabalhar em um projeto como este é uma longa jornada, por isso é tão importante coletar e compartilhar mais feedbacks no futuro. Eu não imaginava que tudo daria tão certo. É inacreditável!

10. Como foi o envolvimento da comunidade no desenvolvimento do Hyper?

AF: Pelo que vimos, as pessoas estavam muito empolgadas com os novos recursos de consulta de extrações e com o aumento na velocidade. Devido a isso, talvez as expectativas sejam ainda mais altas nesta primeira versão, mas dedicamos um tempo considerável à integração da tecnologia.

Muitas pessoas nos abordavam nas conferências, e eu recebi muitos abraços na Conferência da Tableau (TC) mais recente por estarmos oferecendo algo que os clientes queriam há muito tempo. Ou seja, o feedback tem sido muito positivo e os níveis de expectativa muito altos.

TM: E queremos agradecer muito nossos clientes por isso. Recebemos um feedback excelente nas duas TCs e durante os programas alfa e beta.

11. O que você espera do lançamento do Hyper?

TM: A visão e a missão que norteou o desenvolvimento do Hyper para que ele seja o processador de dados mais rápido e mais versátil possível continua a mesma. Ainda continuamos perseguindo essa missão, e ela é o alicerce para os nossos próximos passos.

AF: Esta primeira versão do Tableau com a tecnologia Hyper permite criar extrações com mais rapidez, oferece consultas mais rápidas em extrações e, em muitos casos, melhora a escalabilidade e a estabilidade em vários ambientes. Estamos muito orgulhosos disso, e tem sido uma longa jornada para substituir o processador de dados existente do Tableau pela tecnologia Hyper, devido a todos os códigos associados. Mas o pior já passou.

O Hyper oferece muitas outras vantagens que ainda não aproveitamos. Estou ansioso, por exemplo, para fazer mais com uma latência ainda menor dos dados que são processados pelo sistema e disponibilizados pelas visualizações do Tableau. Também estamos avaliando as possibilidades de integrar recursos de análise mais avançados ao sistema, para que os analistas façam análises mais sofisticadas, seja para o aprendizado de máquina, para a mineração de dados ou para obter funções estatísticas rápidas. Queremos aproximar os usuários dos dados para acelerar ainda mais essas análises. Com esta primeira versão, ainda estamos engatinhando nessas áreas.

Estou muito orgulhoso de todo o trabalho da equipe, que conseguiu lançar esse produto de substituição em apenas 18 meses. Foi uma grande empreitada.

12. Quais são os planos para as unidades de P&D?

AF: Queremos continuar investindo. Este projeto se mostrou extremamente fértil. Estou muito orgulhoso do trabalho da equipe, do nível de inovação que atingiram, da qualidade do que produziram e da colaboração com a Universidade Técnica de Munique, que nos forneceu informações e feedback inestimáveis.

Temos dois estágios planejados para o Hyper daqui para frente. Primeiro, o que chamo de plano de curto prazo em que já alocamos bastante tempo para reagir ao feedback dos clientes. Como é a primeira vez que o Hyper é fornecido como um produto comercial, queremos estar prontos para lidar com o feedback.

Depois, queremos incluir alguns recursos no próximo trimestre, mas são recursos menores. Mais uma vez, queremos coletar feedback dos clientes, e já estamos concluindo melhorias de desempenho adicionais que não ficaram prontas para a primeira versão.

13. Você tem algum conselho para empreendedores da área acadêmica, a fim de incentivá-los a seguir em frente e não perder a esperança, seja qual for a tecnologia que desenvolverem na próxima década?

TM: Meu conselho é “acredite em você”. Às vezes, um projeto exige um pouco mais de trabalho. Algumas coisas não são interessantes do ponto de vista da pesquisa. Tivemos que criar um sistema de banco de dados do zero, e existem alguns componentes que não podem ser publicados em um trabalho acadêmico. Mas se você for mais além e acreditar na sua criação, as pessoas se interessarão por ela, e o mercado a adotará. E tentar ainda tem um ótimo benefício: você não perde nada com isso.