Por que a zulily criou uma plataforma de análises de marketing de autoatendimento com o Tableau e o Google BigQuery

Nota do editor: o artigo de hoje foi escrito por Sasha Bartashnik, gerente de análises de marketing da zulily. A zulily é uma empresa de comércio eletrônico de US$ 1,6 bilhões que cresce em ritmo acelerado. Ela lança mais de 100 liquidações por dia para surpreender e encantar o público feminino com novos produtos exclusivos. Este artigo é o primeiro de uma série de duas partes.

Todos os dias, a zulily lança mais de 9 mil produtos e 100 novas liquidações, conquistando milhares de clientes e processando milhões de ações dos usuários. Como uma empresa que coloca o cliente em primeiro lugar, estamos sempre tentando entender melhor nossos clientes e otimizar sua experiência. Com tantos dados disponíveis em fontes internas e externas, acessar com rapidez os dados necessários para tomar as decisões de marketing vinha se tornando uma tarefa complicada e demorada para o usuário corporativo comum. Como resultado, os analistas estavam gastando mais tempo programando código para atender a solicitações de dados imediatas do que descobrindo informações relevantes para impulsionar os negócios. Precisávamos encontrar uma forma de reduzir o tempo necessário para transmitir a mensagem certa, no melhor momento e no canal ideal, para todos os clientes.

Para isso, criamos uma plataforma de análises de marketing de autoatendimento que aproveita a integração do Google BigQuery com o Tableau. Pela primeira vez, essa plataforma nos deu uma visão completa dos dados sobre todos os canais de interação de marketing, incluindo anúncios do Facebook, anúncios do Google e e-mails. Com isso, pudemos combinar os dados com fontes internas, como sequências de cliques, catálogo de produtos e transações de pedidos para tomar decisões comerciais mais rápidas e inteligentes. Essa plataforma tornou o BigQuery e o Tableau o pão de cada dia da nossa equipe de marketing: com a implementação personalizada dessas duas tecnologias, podemos analisar dados complexos com rapidez e fazer recomendações que permitem a tomada de decisões estratégicas em tempo real. Este artigo explica como você pode aplicar algumas dessas mesmas estratégias à sua organização.

Na zulily, lidero uma equipe de analistas e cientistas de dados para otimizar nossa estratégia de marketing usando informações extraídas dos dados. Trabalhamos diretamente com a equipe técnica, que é formada por engenheiros de dados e de software. Essa colaboração é uma das melhores partes de trabalhar na iniciativa de análises de marketing da zulily: poder trabalhar com uma equipe técnica talentosa e criativa. Nossa equipe técnica precisa criar constantemente novos recursos para um sistema de experiência do cliente extremamente escalonável que processa milhões de transações por dia em várias plataformas. Ela também precisa criar a infraestrutura e as ferramentas que são utilizadas para gerenciar nossas sofisticadas plataformas de marketing e fornecedores. Por isso, nossa equipe técnica não tem tempo para perder com solicitações operacionais de TI rotineiras, que geralmente são responsabilidade dos departamentos de TI tradicionais. Em vez disso, essa equipe cria ferramentas que nos capacitam e nos ajudam a trabalhar sem interferir no tempo e nas prioridades do pessoal técnico. Um exemplo disso é o zuFlow, uma ferramenta de agendamento e fluxo de trabalho de consultas para o BigQuery. Com ela, os analistas de toda a zulily podem gerar fluxos de trabalho de ETL (extração, transformação, carregamento) próprios com uma interface on-line intuitiva.

A equipe técnica também compartilha com a minha equipe a visão de usar os dados para fundamentar cada decisão, em todas as áreas da organização. Essa visão permite que nossas equipes promovam o uso de ferramentas e técnicas inovadoras na zulily que expandem as formas como a empresa usa os dados. Em 2014, ao perceber que nossa plataforma de dados existente (uma combinação do SQL Server para dados estruturados e um cluster do Hadoop para dados desestruturados) estava se tornando cada vez mais limitada, nossa equipe teve a grande ideia de criar uma nova plataforma de Big Data. Essa plataforma usa o BigQuery como um data warehouse empresarial, que oferece um serviço de análise de dados altamente escalonável, e o Tableau, que permite o acesso aos dados e a análise visual. Essa plataforma gera informações que nos permitem tomar decisões com rapidez.

Em nossa nova plataforma de dados, o processo se resume às seguintes etapas:

1. Colocar todos os dados (estruturados e desestruturados, em tempo real e em lotes) no BigQuery.
2. Os analistas de marketing e cientistas de dados unem várias fontes de dados usando as funções SQL do BigQuery.
3. Desenvolver modelos nos repositórios de dados empresariais do BigQuery usando uma variedade de ferramentas comuns de ciência de dados (por exemplo, Anaconda, RStudio e Google Cloud Datalab) na infraestrutura local e no Google Cloud.
4. O Tableau é a plataforma de geração de relatórios e análise visual da zulily. Os analistas de marketing e cientistas de dados usam o Tableau para fazer análises de autoatendimento nos dados armazenados no BigQuery, bem como para gerar relatórios com as informações dos modelos mencionados. Isso nos ajuda a tomar decisões em tempo real todos os dias e oferece informações estratégicas para planejamento futuro.

A integração do Tableau e do BigQuery possibilita duas melhorias importantes na eficiência graças ao modelo de autoatendimento:

1. Aumenta a agilidade da equipe de análise para adquirir, processar e usar dados para criar relatórios e modelos sem a intervenção da TI nas atividades diárias.
2. Dá aos usuários corporativos acesso em tempo real aos dados importantes necessários para tomar decisões com rapidez, evitando que os analistas precisem gerar informações básicas.

Como todos os dados estão nas tabelas do BigQuery, minha equipe pode consultar conjuntos de dados de praticamente qualquer tamanho e em qualquer nível de granularidade, bem como segmentar os dados para suprir nossos modelos conforme desejamos. Em seguida, podemos explorar esses dados em profundidade, criando relatórios e visualizações no Tableau para compartilhar os dados e modelos com os usuários finais. Com o Tableau, os usuários corporativos também podem aplicar filtros para analisar métricas importantes a fim de entender o desempenho de todos os anúncios, programas e canais.

Para possibilitar essas duas melhorias na eficiência, a equipe de análises de marketing precisava criar uma exibição unificada e centralizada dos clientes. Primeiro, combinamos todos os dados de marketing que a equipe técnica coloca no BigQuery, incluindo dados sobre custos e cliques de anúncios do Facebook, anúncios do Google e e-mails enviados, bem como todos os outros canais de marketing de interação com o cliente. Em seguida, associamos esses dados a dados de sequências de cliques, transações de pedidos e outros metadados sobre ações dos clientes segmentando por cliente e por anúncio com as funções SQL do BigQuery. Antes do BigQuery, combinar essas enormes quantidades de dados era um processo inviavelmente demorado. Agora, obtemos resultados em questão de minutos ou segundos, dependendo da consulta. Graças a essa rapidez, a equipe pode criar um modelo de dados que contempla todos os aspectos do comportamento do cliente, como gastos do cliente ao longo do tempo, frequência de interação com e-mails e hábitos de navegação no site. Agora podemos associar esse modelo de dados de clientes abrangente às campanhas de publicidade e de marketing específicas que estimulam o comportamento dos clientes.

Com essa abordagem de autoatendimento e esse modelo de clientes, nossa equipe técnica tem mais tempo livre para se dedicar a tarefas que agregam mais valor, como criar uma arquitetura de sistemas sólida para otimizar os anúncios em tempo real. Além disso, podemos usar as análises de marketing para investigar de forma mais aprofundada áreas que são essenciais para entender nossos negócios. Como o Tableau ajuda nossos usuários corporativos a fazer suas próprias perguntas e obter respostas para elas ou manipular os dados por conta própria, nossa equipe fica livre da responsabilidade de atualizar relatórios diários constantemente ou de atender a solicitações simples de alteração de dados. Agora, podemos usar a plataforma de dados da zulily para desenvolver modelos avançados de aprendizado de máquina que ajudam a empresa a conquistar mais clientes e a entender melhor a experiência dos consumidores.

Como todos os dados da zulily agora estão no BigQuery, podemos criar um modelo de aprendizado de máquina sólido para prever o LTV (valor do tempo de vida do cliente) usando diversos comportamentos do cliente como referência. Podemos ainda aplicar os resultados a campanhas de marketing específicas a fim de avaliar o desempenho de longo prazo.
Para isso, atribuímos um valor de tempo de vida histórico para identificar os clientes atuais de alto valor. Em seguida, usamos o aumento de gradiente para considerar mais de mil variáveis transacionais e comportamentais e testar centenas de modelos. Por fim, fazemos uma triagem para chegar às 30 principais características que mais contribuem para prever o valor do tempo de vida de um cliente.

O resultado disso é um modelo capaz de prever com alto grau de precisão a probabilidade de que um novo comprador da zulily terá um alto valor de tempo de vida. Em seguida, podemos aplicar essas previsões aos conjuntos de dados de marketing armazenados no BigQuery e apresentar os dados combinados sobre o desempenho de marketing em painéis altamente dinâmicos e personalizáveis. Esses painéis são conhecidos internamente em nosso Tableau Server como Channel Metrics Dashboards (CMD), ou “painéis de métricas de canais”. Graças a esse painel, os especialistas e o gerente de canais de marketing podem descobrir suas próprias informações com facilidade usando dados históricos e previsões. Para isso, eles selecionam as métricas, os períodos e até mesmo o nível de granularidade necessários, criando gráficos e relatórios personalizados diretamente no Tableau Server. Essa solução permite que a equipe de marketing da zulily tome decisões rápidas para otimizar os anúncios, os e-mails e as ofertas para aqueles clientes que melhor respondem às interações de marketing da zulily.

Quando adotamos essa nova plataforma de dados, recebemos muita ajuda e um grande apoio da equipe técnica da zuilily, dos engenheiros do Google Cloud e dos engenheiros de cliente da Tableau.

Na segunda parte desta série, essa equipe combinada compartilhará dicas e truques sobre como integrar o BigQuery ao Tableau. Não perca!