Como funciona a escalabilidade do Tableau Server
Resumo executivo
Em novembro de 2013, realizamos testes de escalabilidade para entender como ela funciona no Tableau 8.1 e compreender melhor o impacto das melhorias de escalabilidade implementadas nessa versão. Precisávamos saber como o Tableau Server 8.1 usaria a escalabilidade em diversas configurações e cargas de trabalho.
Vários fatores podem afetar a escalabilidade de uma implantação do Tableau Server, incluindo a complexidade da pasta de trabalho, os volumes de dados, o hardware, o navegador e as configurações de rede.
Tentamos simular um uso real com base no que geralmente vemos em nossos clientes. Definimos uma carga de trabalho com usuários "somente leitura" e "interagentes". Os usuários somente leitura apenas exibem o relatório, e os usuários interagentes podem selecionar opções, filtrar a exibição, alterar as guias e realizar interações semelhantes com o relatório. Depois, em um ambiente com cargas de usuários crescentes e várias combinações de cargas de trabalho com usuários somente leitura e interagentes, estudamos o comportamento do sistema no ponto de saturação (rendimento máximo).
Os resultados mostram que a escalabilidade do Tableau Server 8.1 é praticamente linear. Com base em nossos testes e nas estimativas de uso de nossos clientes, consideramos que o número de usuários simultâneos no sistema é de 10%. Com isso em mente, demonstramos que o Tableau Server dimensiona de um total de 1900 usuários em um cluster de nó com 16 núcleos para um total de 5540 usuários em um cluster de 4 nós com 64 núcleos. Isso acontece em uma composição de carga de trabalho típica, na qual 40% dos usuários interagem com os relatórios e os outros 60% apenas os exibem.
Nota: Quando a execução for realizada em um ambiente distribuído, uma máquina física será designada como o servidor primário e as outras serão servidores de trabalho. Também testamos uma carga de trabalho mais ativa. Em um cenário no qual 100% dos usuários interagem com o relatório (novamente considerando a taxa de simultaneidade de 10%), o Tableau Server pode atender de 1190 usuários com uma única máquina principal com 16 núcleos até 3470 usuários em um cluster primário mais um cluster de trabalho com 3 nós e 64 núcleos.
Este whitepaper explica os testes de escalabilidade, a metodologia usada e os resultados.
Também vamos fornecer alguns exemplos em escala real do Tableau Server, descrever a abordagem do Tableau para desempenho e escalabilidade, definir algumas linhas de base para ajudar você a entender os vários elementos do teste de escalabilidade, analisar os resultados dos experimentos e, por fim, fornecer orientações para você aplicar esses resultados em seu ambiente.
Dimensionando de um usuário para uma empresa
Na Tableau, sabemos que a visualização de dados facilita muito a compreensão das informações.
Queríamos uma solução que fosse além do processo de "analisar dados no formato de texto e criar visualizações das descobertas".
Então, inventamos uma tecnologia que torna a visualização parte de todo o processo de análise, e não apenas sua última etapa. Essa invenção, chamada VizQL, rapidamente despertou o interesse dos usuários. Quando eles souberam que podiam criar facilmente suas próprias visualizações de dados – e as outras pessoas perceberam o valor que essas visualizações agregavam aos negócios – as organizações logo ficaram interessadas.
Em novembro de 2013, lançamos a versão 8.1 do software. Várias melhorias foram feitas em resposta à crescente demanda de produtos da Tableau capazes de serem implementados em empresas de grande porte.
À medida que mais usuários foram descobrindo o poder da visualização, da análise self-service e dos relatórios, cada vez mais as equipes de TI recebiam pedidos para configurar e gerenciar o Tableau e os servidores para atender a um número maior de usuários, grupos e interações.
É natural que, depois disso, os CIOs, gerentes de TI e arquitetos de TI ficassem interessados na escalabilidade do Tableau Server. Eles queriam ter certeza de que o Tableau poderia ser implantado em toda uma empresa. Também era importante entender o que esperar em termos de desempenho para ajudar na tomada de decisões referentes à arquitetura.
Comendo nossa própria comida: A história do Tableau Public
À medida que aprimoramos os recursos do Tableau para atender a grupos de usuários muito grandes, precisávamos de uma forma de testar e refinar esses recursos. Queríamos que os testes fossem o mais próximo da realidade possível, reproduzindo até os ambientes corporativos mais desafiadores.
Como parte da versão do produto e do princípio da nossa cultura de engenharia, que é usar nossos próprios produtos, fizemos o pré-lançamento da versão mais recente do Tableau Server no Tableau Public. Isso permitiu que implantássemos nossos produtos em larga escala, em um ambiente de missão crítica de produção, além de entender, detectar e corrigir problemas relacionados à escalabilidade antes de nossos clientes.
Hoje, o Tableau Server é executado em larga escala em nossos próprios data centers, como parte da solução Tableau Public.
Para quem ainda não conhece o produto, o Tableau Public é um serviço gratuito que permite publicar dados interativos na Web. Depois que os dados são carregados, qualquer pessoa pode interagir com eles, baixá-los ou usá-lo para criar novas visualizações. Tudo isso sem precisar de conhecimentos de programação. O Tableau Public já processou 200 milhões de impressões distintas e continua crescendo. Já registramos um pico de 94.000 exibições em uma hora. Esse tráfego é gerenciado pelo Tableau Server, que utiliza sua arquitetura de ampliação e distribuição.
A configuração do Tableau Public é semelhante a uma implantação corporativa do Tableau Server com algumas pequenas diferenças:
Os componentes principais do Tableau Public são os mesmos do Tableau Server, mas os usuários do Tableau Public estão limitados a um tamanho de extração fixo. Os usuários do Tableau Public também não precisam se preocupar com problemas de segurança de dados, porque todos os dados são públicos.
Além disso, o Tableau Public executa dezenas de milhares de consultas todos os dias. E, embora os tamanhos dos dados seja relativamente pequeno, eles podem variar bastante. Além do Tableau Public, a Tableau implanta e usa internamente o Tableau Server em toda a empresa para analisar os setores de vendas, engenharia, suporte, operações e outras áreas importantes. Usar nossos próprios produtos faz parte da cultura da Tableau.
