zulily가 Tableau 및 Google BigQuery로 셀프 서비스 마케팅 분석 플랫폼을 만든 이유

편집자 주: 오늘 게시물의 필자는 zulily의 마케팅 분석 관리자인 Sasha Bartashnik입니다. zulily는 새롭고 독특한 상품을 발견하는 설렘과 함께 여성에게 놀라움과 즐거움을 선사하기 위해, 하루에 100가지 이상의 새로운 상품을 판매하는 16억 달러 규모의 빠르게 성장하는 전자 상거래 회사입니다. 이 글은 2회로 구성된 연재물 중 첫 번째 글입니다.

zulily는 매일 9,000가지 이상의 제품 스타일과 100여 가지의 새로운 상품을 판매하며, 수천 명의 고객 전환과 수백만 건의 사용자 행동이 처리되고 있습니다. 고객 우선 사고 방식을 가진 회사로서, 항상 고객을 더 잘 이해하고 구매 경험을 최적화하고자 합니다. 내부 및 외부 원본에서 많은 양의 데이터 유입이 이루어지기 때문에, 마케팅 의사 결정에 필요한 데이터에 신속하게 액세스하는 것이 일반적인 비즈니스 사용자에게는 복잡하고 시간 소모적인 일이었습니다. 결과적으로 분석가는 비즈니스 추진을 위한 진정으로 실행 가능한 인사이트를 제공하는 것보다 애드혹 데이터 요청에 응답하는 코드를 작성하는 데 더 많은 시간을 소비했습니다. 올바른 메시지를 적시에 적절한 채널을 통해 모든 고객에게 전달하는 데 걸리는 시간을 줄이는 방법을 찾아야 했습니다.

이를 달성하기 위해 Tableau와 Google BigQuery 의 통합 기능을 활용하는 셀프 서비스 마케팅 분석 플랫폼을 만들었습니다. 이 플랫폼은 Facebook Ads, Google Ads 및 이메일을 비롯한 다양한 마케팅 접점에 분산되어 있는 데이터에 대해 단일 뷰를 제공하여 클릭 동향, 제품 카탈로그 및 주문 거래와 같은 사내 원본과 데이터를 처음으로 통합할 수 있게 해주었으며, 이를 통해 더 신속하고 나은 비즈니스 의사 결정을 내릴 수 있게 되었습니다. 이 플랫폼으로 인해 BigQuery와 Tableau가 마케팅 분석 팀의 가장 중요한 도구가 되었습니다. 이 두 가지 기술을 활용하여 직접 구현한 플랫폼을 통해 복잡한 데이터를 신속하게 분석하고, 실시간으로 전략적인 의사 결정을 내리도록 유도하기 위한 권장 사항을 제안할 수 있게 되었습니다. 이 게시물은 다른 조직에서 동일한 전략 중 일부를 적용할 수 있는 방법에 대한 지침을 제공합니다.

zulily에서 일하면서 분석가 및 데이터 과학자로 이뤄진 팀을 이끌며 데이터 기반 인사이트를 활용하여 마케팅 전략을 최적화했습니다. 우리 팀은 데이터 및 소프트웨어 엔지니어로 구성된 기술팀과 긴밀히 협력합니다. 이러한 협업은 zulily의 마케팅 분석 부서에서 일하면서 가장 좋은 점 가운데 하나입니다. 재능 있고 창의적인 기술팀과 함께 일하게 되어 기쁘게 생각합니다. 기술팀은 광범위하게 확장 가능한 소비자 경험을 위해 다양한 플랫폼에서 하루 수백만 건의 거래를 처리하는 새로운 기능을 지속적으로 만들고, 수준 높은 공급업체 및 마케팅 플랫폼을 관리하는 데 사용되는 인프라와 도구를 구축하는 데 주력해야 합니다. 이는 기술팀이 기존 엔터프라이즈 IT 부서에서 흔히 볼 수 있는 일상적인 IT 유지 관리 요청에 붙잡혀 허비할 시간이 없다는 것을 의미합니다. 따라서, 기술팀은 우리가 기술 지원을 요청하거나 일에 우선 순위를 매기지 않고도 업무를 수행할 수 있도록 지원하는 도구를 개발합니다. 한 예로 BigQuery용 쿼리 워크플로우 및 스케줄링 도구인 zuFlow는 zulily의 분석가가 포인트 앤 클릭 웹 인터페이스를 사용하여 복잡한 zulily의 자체적인 추출, 변환 및 로드(ETL) 워크플로우를 생성할 수 있게 해줍니다.

또한 기술팀은 조직의 모든 단계에서 데이터를 이용하여 모든 의사 결정을 내린다는 우리 팀의 비전을 공유합니다. 이 비전을 통해 우리 팀은 회사가 데이터를 사용하는 방식을 확장할 수 있도록 zulily 내에서 혁신적인 도구와 기술의 채택을 추진할 수 있습니다. 2014년에 기술팀은 구조화된 데이터를 위한 SQL 서버와 비구조화된 데이터를 위한 Hadoop 클러스터를 조합하여 구성된 기존 데이터 플랫폼이 머지 않아 한계에 이르게 될 것이라는 사실을 깨달았습니다. 미래를 내다보는 안목이 있던 기술팀은 새로운 빅 데이터 플랫폼을 구축했습니다. 이 플랫폼은 BigQuery를 비즈니스 데이터 웨어하우스로 사용하여 확장성이 뛰어난 분석 서비스를 제공하고, Tableau를 데이터 액세스 및 시각적 분석 환경으로 활용하여 출력 결과물을 보고 신속하게 의사 결정을 내릴 수 있도록 합니다.

새로운 데이터 플랫폼에서는 프로세스가 다음과 같이 단축됩니다.

1. 구조화된 데이터 및 비구조화된 데이터, 실시간 데이터 및 일괄 처리 데이터를 비롯한 모든 데이터를 BigQuery로 보냅니다.
2. 마케팅 분석가와 데이터 과학자는 BigQuery의 SQL을 사용하여 여러 데이터 원본을 조인합니다.
3. 온프레미스 및 Google Cloud에서 여러 일반적인 데이터 과학 도구(예: Anaconda, RStudio, Google Cloud Datalab 등)를 사용하여 BigQuery 비즈니스 데이터 마트에서 모델을 개발합니다.
4. Tableau는 zulily의 보고 및 시각적 분석 플랫폼입니다. 마케팅 분석가와 데이터 과학자는 Tableau를 BigQuery에 저장된 데이터에 대한 셀프 서비스 분석과 앞서 언급한 모델의 인사이트 보고에 사용합니다. 이를 통해 매일 실시간으로 의사 결정을 내리고, 장기에 걸친 전략적 인사이트를 얻습니다.

Tableau와 BigQuery를 통합하면 셀프 서비스 모델로 인해 효율성 측면에서 크게 두 가지가 향상됩니다.

1. 분석팀이 일상적인 활동에서 IT 부서의 도움 없이도 신속하게 데이터를 수집, 처리 및 활용하여 보고서 및 모델을 신속하게 작성할 수 있습니다.
2. 비즈니스 사용자가 기초적인 인사이트를 얻으려고 분석가의 도움을 받을 필요 없이, 의사 결정을 신속하게 내리는 데 사용되는 주요 데이터에 실시간으로 액세스 할 수 있습니다.

모든 데이터가 BigQuery 테이블에 있으므로, 팀원이 거의 모든 규모와 세부 수준의 데이터를 쿼리할 수 있으며, 데이터를 나누어 원하는 대로 모델을 보강할 수 있는 기능을 만들 수도 있습니다. 그런 다음 이 데이터를 더 자세히 탐색하고, Tableau에서 보고서 및 비주얼리제이션을 작성하여 최종 사용자와 데이터 및 모델을 공유할 수 있습니다. Tableau를 사용하면 비즈니스 사용자도 모든 광고, 프로그램 및 채널의 실적을 이해하기 위해 핵심 메트릭을 드릴다운할 수 있습니다.

마케팅 분석팀은 위의 두 가지 측면에서 효율성 향상시키기 위해 고객에 대한 단일 중앙 집중식 뷰를 만들었습니다. 먼저 Facebook Ads, Google Ads, 발송 이메일 및 기타 모든 고객 마케팅 접점에 대한 비용 및 클릭 데이터를 비롯하여 기술팀이 BigQuery에 입력한 모든 마케팅 데이터를 결합합니다. 그런 다음 BigQuery SQL을 사용하여 클릭 동향, 주문 거래 및 고객 및 광고 수준에서의 고객 활동에 대한 기타 메타 데이터에 연결합니다. BigQuery 이전에는 엄청난 양의 데이터를 결합하는 데 지나치게 시간이 많이 걸렸습니다. 이제 쿼리에 따라 몇 분 또는 몇 초 내에 결과가 표시됩니다. 이 속도로 인해 팀은 시간 경과에 따른 고객 지출, 이메일 참여 빈도 및 사이트에서의 브라우징 습관과 같은 특징을 포함하여 고객 행동의 모든 측면을 기반으로 데이터 모델을 만들 수 있습니다. 이제 이 포괄적인 고객 데이터 모델을 고객 행동을 유도하는 특정 광고 및 마케팅 캠페인으로 다시 연결할 수 있습니다.

이러한 셀프 서비스 방식과 고객 모델을 통해 기술팀이 광고를 실시간으로 최적화하는 강력한 시스템 아키텍처 구축과 같은 높은 가치를 가지는 작업에만 집중할 수 있게 되었을 뿐만 아니라, 마케팅 분석팀이 사업을 이해하는 데 핵심적인 영역을 심층적으로 분석할 기회도 얻게 됩니다. Tableau를 사용하면 비즈니스 사용자가 자신이 가진 상당 수의 질문에 스스로 묻고 답하거나, 직접 데이터를 조작할 수 있게 되므로, 팀이 매일 연이어 보고서를 업데이트 하거나 단순 데이터 변경 요청을 처리하는 수고를 덜게 됩니다. 이제 zulily 데이터 플랫폼을 사용하여 비즈니스가 고객 획득을 유도하고 고객 경험을 더 잘 이해하는 데 도움이 되는 고급 기계 학습 모델을 개발할 수 있습니다.

zulily의 모든 데이터를 BigQuery에 저장함으로써, 다양한 고객 행동을 입력으로 사용하여 고객 생애 가치(LTV)를 예측하고, 장기적인 성과를 측정하기 위한 특정 마케팅 캠페인에 결과를 연결하여 강력한 기계 학습 모델을 구축할 수 있습니다.
이를 위해, 과거 생애 가치(LTV)를 사용하여 기존의 고가치 고객을 찾습니다. 그런 다음 그라디언트 증폭을 사용하여 1,000개가 넘는 거래 및 동작 변수를 검토하고 수백 가지 모델을 테스트합니다. 이렇게 해서 마침내 고객의 생애 가치를 예측하는 데 기여하는 30여 가지 주요 특성을 도출합니다.

최종적으로 새로운 zulily 구매자가 높은 생애 가치를 가질 가능성을 매우 정확하게 예측할 수 있는 모델을 얻게 됩니다. 그런 다음 이러한 예측을 BigQuery에 있는 마케팅 데이터 집합에 연결하고, Tableau Server 상에 있는 내부적으로 CMD(채널 메트릭 대시보드)라고 불리는 매우 동적인 사용자 지정 가능한 대시보드에 결합된 마케팅 실적 데이터를 제공할 수 있습니다. CMD를 사용하면 마케팅 채널 관리자 및 전문가가 서버에서 직접 사용자 지정 그래프 및 보고서를 작성하여 필요한 메트릭, 날짜 범위 및 세부 수준을 선택하고, 과거 및 예측 데이터를 사용하여 자신 만의 인사이트를 손쉽게 생성할 수 있습니다. 이 솔루션은 zulily 마케팅 팀이 zulily와의 상호 작용에 가장 적극적인 고객을 대상으로 광고, 이메일 및 가격 할인을 최적화하는 결정을 신속하게 내릴 수 있게 해줍니다.

이 새로운 데이터 플랫폼으로 이전하면서 zulily 기술팀뿐만 아니라 Google Cloud 엔지니어 및 Tableau 고객 엔지니어로부터 많은 도움과 지원을 받았습니다.

이 연재물의 두 번째 글에서는 앞서 언급한 혼합된 팀이 BiqQuery와 Tableau를 통합하는 데 대한 팁과 유용한 정보를 공유합니다. 다음 글도 기대해 주십시오!