Hyper의 기원: Tobias Meuhlbauer와 Allan Folting이 함께하는 Q&A

Tableau의 특허 출원 중인 데이터 엔진인 Hyper는 뮌헨 공과대학교에서 시작된 10년간의 학술 연구의 정점이라고 할 수 있습니다. Hyper는 자랑스러웠던 인수 절차를 거쳐 2016년 3월에 Tableau에 합병되었으며 오늘 여러분의 손에 도착했습니다. Tableau는 이 기술의 기원, 연구 및 디자인 부서의 부상, 이 획기적인 기술이 커뮤니티에 미치는 영향에 대해 Tobias Meuhlbauer(Tableau 개발 관리자이자 Hyper 창립자) 및 Allan Folting(수석 관리자, 엔지니어링)과 이야기를 나누었습니다.

1. 학계에서 시작된 Hyper를 고려해 볼 때 본인의 학문적 배경은 무엇입니까?

저는 뮌헨 공과대학교에서 학사 학위를 받은 후 소프트웨어 공학 석사 학위를 받았습니다. 그 후 미국을 방문하여 스탠포드 대학과 일리노이대학교 어바나-샴페인 캠퍼스에서 외부 연구원으로 활동했습니다. 그 후 뮌헨에서 Hyper 프로젝트로 박사 학위를 계속 진행했습니다.

2. Hyper와 이 기술의 원래 의도는 무엇이었습니까?

TM: Hyper는 10년 전 독일의 스탠포드 대학으로 알려진 뮌헨 공과대학교의 학술 프로젝트로 시작되었습니다. 시작 당시 데이터베이스 시장에는 많은 변화가 있었습니다. 전통적인 기술은 현대적인 응용 프로그램의 성능과 기능 요구 사항에 더 이상 적합하지 않았습니다. 수많은 전문화된 시스템이 등장했고, Hadoop, NoSQL 시스템이 있었고, 트랜잭션 분석을 위한 전문화된 엔진도 나타났습니다.

우리는 Hyper를 사용하여 무언가를 만들고 싶었습니다. 우리는 처음에 관계형 시스템을 구축하여 전통적인 설계 의사 결정에 의문을 제기하고 현대적인 하드웨어를 최적화하고자 했습니다. 몇 가지 결과를 살펴보자면, 인메모리 처리에 최적화했고 많은 코어로 인해 더욱 복잡해진 현대의 CPU를 고려하게 되었습니다.

또한, 트랜잭션 시스템과 분석을 결합하고 이러한 전문화된 시스템을 하나의 시스템에 통합하여 트랜잭션, 데이터 활용 및 분석을 통합하는 데 중점을 두었습니다.

우리가 이렇게 한 이유는 간단합니다. 전문화된 시스템이 있다면 데이터는 다른 곳에 있을 것입니다. 그리고 분석 시스템은 데이터에 오래된 뷰를 사용할 수도 있습니다. Hyper를 사용하면 최신 데이터 집합에서 분석을 수행하는 일이 가능합니다. 이것이 우리가 처음에 생각했던 주된 의도였고 우리가 현재 보고 사용하기 원했던 성능과 기능을 구축하는 데 수년이 걸렸습니다.

3. 사람들이 Hyper의 기원을 아는 것이 왜 그렇게 중요한가요?

Allan Folting(AF): 가장 중요한 활동 중 하나는 Hyper의 알파 프로그램을 매우 일찍 시작하는 것이었습니다. 우리가 기존 데이터 엔진을 대체하기 위해 해야할 일을 찾았던 이유는 고객이 당분간 추출을 만들 수 없는 상황이 생기기 때문이었습니다. 고객에게 다음 날 아침의 분석을 밤새 준비해야 하는 상황이 생길 수 있었습니다. 고객은 5일을 기다려서 대규모 추출을 만드는 것을 원치 않았습니다.

우리는 이 시스템 구축을 통해 고객에게 서둘러 다가갔고, 추출이 생성된 이후에는 추출 속도 및 쿼리 성능과 관련하여 고객이 우리를 어떻게 평가하는지 살펴보았습니다. 그 과정에서 우리는 많은 수준 높은 고객을 만나게 되었으며, 저는 너무 오래 걸리거나 이전에 실패한 대규모 추출을 만들 때 소요되는 시간이 크게 줄어드는 모습을 빨리 보고 싶었습니다.

초기의 알파 단계에서는 제품이 안정적이지 않았지만 시험해 보려는 고객이 많았고, 저는 이점에 대해 감사하게 생각합니다.

4. Tableau와 처음 만났던 당시에 관해 이야기해 주시겠습니까?

TM: 저는 멜버른 학술회의에서 Tableau와 처음 만났습니다. 저는 당시 Tableau의 데이터베이스 그룹 책임자인 Patrice Allen과 인사를 나누고 있었습니다. 당시에 저는 Tableau에 대해 잘 알지 못했습니다. 저는 그저 비주얼리제이션 회사로 알고 있었고, 그래서 Tableau에 얼마나 많은 연구와 데이터베이스 기술이 있는지 모르는 것은 당연한 일이었습니다.

그리고 우리는 이 학술회의에서 서로의 제품에 대한 관심을 불러일으키고 어떤 독특한 에너지를 서로 느끼게 해준 직원들과 좋은 대화를 나누었습니다. 사명에 대해 같은 생각과 열정을 가진 사람들을 모으게 되면 훌륭한 아이디어를 얻게 됩니다. 이러한 일들이 멜버른에서 시작되어 꾸준한 대화가 이어졌습니다. 그해 말에 Christian Chabot가 왔고 뮌헨을 방문했습니다.

5. Allan씨, Tobi와 Hyper와의 첫 상호작용은 무엇이었습니까? Hyper의 기능을 경험했을 때 첫인상은 어땠습니까?

AF: 2016년 초에 저는 Hyper와 이의 인수 계획에 대해 알게 되었습니다. Tobi와 저는 2016년 3월에 만났습니다. 그때 Tobi와 Hyper 팀이 시애틀을 방문하기 위해 왔었죠. 저는 매우 높은 기대감이 있었고 실망하지 않았습니다.

이들은 우리와 함께 일하러 왔고 우리가 Tableau에 제품을 통합하는 방법을 계획했을 때 이들은 Hyper의 세부 사항에 대해 깊이 파고 들었을 뿐만 아니라 후속 버전에서 우리가 할 수 있는 일들에 관해 오랫동안 생각했습니다. 초반에 우리는 대단히 흥미로운 기술적인 대화를 나누었습니다. 이러한 대화를 통해 프로젝트에 관해 더 많은 흥미를 가질 수 있었죠. 또한, 우리는 뮌헨에 연구 개발 사무소를 구축하고 확대하는 방법을 강구하기 위해 머리를 맞대기도 했습니다. 저는 이것이 중요한 부분이라고 생각합니다.

앞으로도 계속 혁신을 유지하려면, 교수와 학생을 포함하여 뮌헨의 학계와 대학이 긴밀한 관계를 유지하는 것이 중요하다고 생각합니다. 우리는 관계를 매우 소중히 여기며 파트너십을 중요하게 생각합니다.

6. 뮌헨의 연구 및 설계(R&D) 부서와 Tableau에 관해 전반적으로 말씀해 주시겠습니까?

AF: 제가 강조하고 싶은 첫 번째 사항은 전문화된 시스템을 하나로 통합할 수 있고, 동일한 데이터 상태에서 작동하는 Hyper에 대해 Tobi가 과거에 요약했던 몇 가지 원리입니다. 우리는 이 두 영역을 유지하는 데 매우 열정적입니다.

이와 같은 기술을 Tableau 또는 다른 제품에 통합하여 특별하게 만들어 주는 차원이나 무언가가 더 이상 안보이게 되면 매우 쉽습니다. 결과적으로, 우리가 가치를 두고서 여기 있는 모든 사람들, 다시 말해 연구자 및 정규직 직원과 같이 협업하는 것은 Tableau 기능에 대한 의사 결정을 내릴 때마다 항상 그 원리에 충실한지 확인하기 위해서입니다. 때로는 우리가 뭔가를 좀 더 혁신적으로 해야 한다는 것을 의미하기도 합니다. 이런저런 설계 결정을 내림으로써 트랜잭션 또는 더 많은 분석 워크로드를 저해하지 않도록 좀 더 심층적인 작업을 해야 합니다. 이것이 우리가 자랑스러워하는 핵심 분야 중 하나이며, 우리는 뮌헨의 팀과 대학의 구성을 통해 혜택을 보고 있습니다.

TM: 우리는 뮌헨에서 처음부터 훌륭한 팀을 이뤄낸 것을 자랑스럽게 생각합니다. 시작 당시 우리는 3명의 정규직 직원과 3명의 파트 타임 직원으로 구성된 팀이었고, 이는 단지 1년 6개월 전의 일입니다. 현재 시애틀에 20명, 뮌헨에 20명이 Hyper에 대한 연구를 수행하고 있습니다.

7. 협업은 매일 어떻게 이루어지는 것 같습니까?

AF: 솔직히 말해서 우리는 시애틀과 뮌헨 사이에는 9시간의 시차가 있어서 걱정이었습니다. 우리는 의사소통에 약간의 노력이 더 필요하기는 합니다.

그렇지만 의사소통이 매우 잘 이루어지고 있어서 만족스럽습니다. 서로 상당히 자주 방문하고요. 자주 만나야 긴밀하고 상호적인 회의를 하는 데 도움이 되기 때문이죠. 화상 회의 시스템과 서로 간의 배려 덕분에 원활하게 의사소통이 이루어지고 있습니다.

또한, 우리는 전 세계에 여러 지사가 있어서 의사소통 방식을 개선하기 위해 계속 노력하고 있습니다. 우리는 이와 같은 원격 팀 또는 전체 팀과의 협업이 전반적으로 개선되기를 희망합니다.

TM: 동의합니다. 저는 사람들이 서로 잘 아는 것이 가장 중요하다고 생각합니다. 정기적인 상호작용보다 더 중요한 것은 없습니다. 1년에 최소 몇 번이라도 함께 저녁을 먹는 것이 필요합니다. 큰 도움이 되죠.

8. 구축 프로세스 과정에서 어려움에 직면한 어떤 시점이 있었습니까? Hyper에 대한 의견이 수렴되지 않는다거나 무언가가 완벽하게 정리되지 않는다고 느껴질 때는 없었나요?

TM: 학계는 언제나 개방되어 있으며 우리는 완벽한 솔루션을 찾기 위해 많은 노력을 기울였습니다. 그리고 오늘 Hyper에서 보았던 것은 수년간 겪었던 시행착오의 결과입니다. 모든 것이 완벽하진 않지만, 우리는 어려운 문제를 파헤쳤습니다. 재미있는 것은 기술 문제의 상당 부분을 해결했다는 사실을 깨달았기 때문에 이 기술을 시장에 출시하기로 결정했다는 것입니다. 그러나 이는 일련의 도전 과제를 제시했습니다.

우리는 점진적으로 발전을 이루었고 Hyper는 더 좋아졌으며 더 많은 사람들이 관심을 갖게 되었습니다. 사람들이 "저희도 Hyper를 사용하고 싶네요. 우리가 운영 시스템에 Hyper를 사용할 수 있을까요?"라고 질문하기 시작하면서 긍정적인 피드백을 많이 받았습니다. 그리고 교수로서 여러분은 물론 존중받습니다. 하지만 “이제 무엇?”이라는 생각을 하기 시작합니다. 그리고 명확한 결론은 회사를 설립하고 제품화를 시도하는 것이었습니다.

9. 커뮤니티는 내부 팀 내에서 이 프로젝트에 대한 열정을 어떻게 키울 수 있었습니까?

AF: 좋은 말씀이십니다. 우리가 팀과 커뮤니티 피드백을 공유할 때마다 모두 조금씩 성장하는 것처럼 느껴졌고 이런 것들이 매우 자랑스러웠습니다. 매일 우리는 모든 문제를 다루고 있고 이를 해결하려고 노력하고 있습니다. 버그가 있고 아직 완료되지 않은 것들도 있습니다. 그래서 부정적인 측면을 고려해야 할 부분에 많이 집중합니다.

저는 긍정적인 피드백을 통해 용기를 얻는 것이 얼마나 중요한지는 더 설명할 필요가 없다고 생각합니다. 우리 팀의 프로젝트 관리자가 고객의 조사 결과를 이메일로 보냈고 그 결과는 매우 긍정적이었습니다. 모든 것이 빨라졌고 그들은 매우 만족했습니다. 그 날 사람들은 얼굴에 커다란 웃음을 지으며 제 사무실에 왔었고, 이는 또 다른 형태의 격려였습니다. 이와 같은 프로젝트를 진행하는 데는 긴 시간이 걸리므로 앞으로 더 많은 의견을 수집하고 공유하는 것이 좋습니다. 나는 그것이 이렇게 강력할 것이라고 예상하지 못했고 믿을 수 없는 일이라고 생각합니다.

10. 커뮤니티가 Hyper 개발에 어떻게 참여했습니까?

AF: 우리는 속도 향상과 쿼리 추출에 대한 새로운 기능을 제공하는 것을 둘러싸고 많은 흥분과 과장된 이야기들을 보고 들었습니다. 이러한 분위기 속에서 아마도 기대감은 이 첫 번째 버전에서 훨씬 더 높을 것이지만, 우리는 이 기술을 통합하는 데 상당한 시간을 소비했습니다.

몇몇 사람들은 컨퍼런스에 찾아와 격려하기도 했고 저는 최근에 Tableau 컨퍼런스(TC)에서 포옹을 받았는데, 이는 고객이 오랫동안 바래왔던 사항을 이뤄낸 보답이었습니다. 긍정적인 수많은 피드백과 높은 수준의 기대감이 있다는 것은 분명한 사실입니다.

TM: 우리의 모든 고객에게 매우 감사하다는 말씀을 드립니다. 두 TC 모두에서 훌륭한 피드백을 받았고 알파와 베타 프로그램을 통해서도 좋은 피드백을 받았습니다.

11. Hyper의 출시와 함께 무엇을 기대하십니까?

TM: 가장 빠른 속도의 범용 데이터 엔진인 Hyper를 개발하려는 우리의 비전과 사명은 변하지 않았습니다. 우리는 여전히 그 사명에 매진하고 있으며, 이는 앞으로 진행할 일들을 위한 우리의 기반입니다.

AF: Hyper가 적용된 Tableau의 이 처음 버전은 빠른 추출 생성, 추출에 대한 빠른 쿼리 성능 그리고 대부분 환경에서 향상된 확장성과 안정성을 제공합니다. 우리는 이러한 사실을 매우 자랑스럽게 생각하며, 이는 기존의 Tableau 데이터 엔진을 Hyper로 바꾸는 긴 여정이었습니다. 모든 코드의 연결이 필요했기 때문이죠. 그러나 우리는 그 고비를 넘었습니다.

Hyper가 제공하는 것들 중에 우리가 아직 활용하지 못하는 몇 가지 것들이 있습니다. 예를 들어, 시스템에서 인식되어 Tableau 비주얼리제이션에서 사용할 수 있게 되는 데이터는 대기 시간이 훨씬 더 낮기 때문에 더 많은 작업을 수행할 것으로 기대합니다. 또한 우리는 더욱 심층적인 분석 기능을 제공할 수 있는 힘과 능력을 갖춘 시스템이 필요하며, 이를 통해 분석가는 기계 학습 또는 데이터 마이닝과 유사하게 느끼는지나 고속 통계 기능인지 여부와 관계없이 시스템을 더욱 심층적으로 살펴볼 수 있어 데이터를 매우 빠른 속도로 처리하게 됩니다. 이 영역은 우리가 이 첫 번째 버전에서 단지 피상적으로 다룬 부분입니다.

저는 약 18개월 만에 이 교체 제품을 성공적으로 만들어 준 팀을 매우 자랑스럽게 생각합니다. 그것은 매우 큰 노력이었습니다.

12. R&D 부서의 다음 단계는 무엇입니까?

AF: 우리는 계속 투자하고 싶습니다. 이 프로젝트는 매우 유익한 것으로 입증되었습니다. 저는 팀, 혁신의 수준, 이들이 제공한 수준, 뮌헨 공과대학교와의 협업을 자랑스럽게 생각하며, 이들 조언자의 의견과 피드백은 매우 귀중합니다.

Hyper의 다음 단계는 두 가지입니다. 우리는 소위 단기 플랜이 있으며 이 플랜에서 고객 피드백에 대한 반응에 상당한 시간을 할당했습니다. 이 제품이 상용 제품으로 처음 출시된 이래로 우리는 피드백에 대해 만반의 준비를 마치고 처리하기를 원합니다.

그 후 우리는 다음 분기에 제공할 몇 가지 기능이 있지만, 이는 주요한 기능은 아닙니다. 다시 말씀드리자면, 우리는 고객의 의견을 반영하고자 하며, 첫 번째 버전에는 아직 준비되지 않은 추가 성능 개선 작업을 마무리하고 있습니다.

13. 학술적인 기업가들에게 다음 10년 동안 진행하면서 어떤 기술을 창안하든 희망을 잃지 않는 것과 관련하여 조언을 해 주시겠습니까?

TM: 저는 “자신을 믿으라고” 말씀드리고 싶습니다. 프로젝트에 추가 작업이 필요한 경우도 있습니다. 연구 관점에서 흥미롭지 않은 것들도 있습니다. 우리는 처음부터 데이터베이스 시스템을 구축해야 했으며, 한 장의 종이로 보여줄 수 없는 특정 구성 요소도 있습니다. 그러나 조금 더 노력을 기울이고 자신이 만들고 있는 것을 믿는다면, 사람들은 관심을 가질 것이고 업계의 선택을 받을 것입니다. 그리고 단순한 시도에서도 놓칠 수 없는 훌륭한 기회를 만날 수 있습니다.