Como consolidar a confiança nos dados com o Servidor de dados do Tableau

O blog convidado de hoje é o de Lorena Vazquez, engenheira sênior de software na Cboe Global Markets. Lorena integra a equipe de engenharia de relatórios e BI e administra o Tableau Server.

Gerente: “Alguém da contabilidade enviou esses dados de receita para o meu e-mail, mas os números não batem com os que você forneceu para o nosso relatório trimestral. De onde você tirou aqueles números? Por que eles são diferentes?”

Analista: “Aqueles números estavam em uma planilha gerada por um relatório do departamento de TI. Não sei de onde a contabilidade tirou esses números, mas os meus estão certos.”

Gerente: “Precisamos saber o que aconteceu.”

Todos nós já ouvimos uma história parecida com essa, só mudam os personagens. Como ter confiança nos dados compartilhados entre departamentos e funções? Para mim, o Servidor de dados do Tableau foi a resposta.

Por que o Servidor de dados do Tableau? Ele é um componente do Tableau Server que permite publicar, compartilhar e atualizar fontes de dados em um site do Tableau Server. Posso afirmar que o Servidor de dados do Tableau faz muito mais que isso.

1. O Servidor de dados do Tableau pode fornecer fontes de dados publicadas e certificadas que eliminam a ocorrência de ambiguidade em dados importantes, como os números de receita de uma empresa.
2. Essas fontes de dados podem ser atualizadas de forma programada. Você não precisa mais atualizar fontes de dados manualmente e republicá-las para ter os dados mais recentes. E, se alguma fonte de dados falhar, você será notificado.
3. Basicamente, as fontes de dados são conjuntos de dimensões, medidas e cálculos documentados que podem ser reutilizados em futuras análises e para criar painéis.
4. Para mim, o Servidor de dados do Tableau ainda oferece mais um benefício: reduzir o impacto nos sistemas de banco de dados de produção. O uso de extrações de dados diminuiu a frequência das consultas em tempo real nos sistemas de banco de dados de produção da empresa, o que diminuiu a carga de trabalho da TI.

Primeiro, usei uma fonte de dados. Embora seja possível agendar uma atualização de fonte de dados para adicionar dados novos, o Servidor de dados do Tableau também pode ser útil com fontes de dados estáticos. Alguns exemplos de dados estáticos são conjuntos de dados históricos que não serão alterados e/ou que estão armazenados fora do domínio do seu banco de dados. As fontes de dados estáticas são mais simples porque são usadas apenas para gerar uma extração do Tableau que publicaremos no Tableau Server.

Para atualizar as fontes de dados, precisávamos ter certeza de que tudo estava no lugar certo antes de publicá-las no Tableau Server. No início, tivemos alguns problemas de que falarei depois, mas que acabaram incentivando a criação de um processo de desenvolvimento de novas fontes de dados.

Não importa o tipo de fonte de dados que você usa, é necessário garantir que o Tableau Server tenha acesso a ela. Se for um servidor de banco de dados, verifique se o Tableau Server pode se conectar ao banco de dados (ao endereço IP e à porta). Como tenho uma conta de administrador do Tableau Server, pude testar se havia conectividade. Depois, falei com a nossa equipe de DBA para saber se havia um método de autenticação apropriado para o Tableau. Tivemos um problema de conectividade com a fonte de dados. Assim que publicamos a fonte de dados e agendamos sua atualização, a atualização falhou porque o Tableau Server não conseguiu se conectar à fonte. Para resolver o problema, falei com a equipe de DBA e ela confirmou que o servidor de banco de dados estava rejeitando a conexão. Permitimos que o Tableau Server acessasse o servidor, e nosso fluxo de trabalho começou a melhorar.

Também é importante é confirmar se os drivers do banco de dados foram instalados no Tableau Server. Você não precisa se preocupar em manter várias versões dos drivers do banco de dados, instalar apenas uma no servidor é suficiente. Foram-se os dias em que a equipe de suporte precisava instalar drivers de banco de dados no computador de cada usuário para que ele pudesse acessar o banco de dados. Com uma fonte de dados publicada no Tableau Server, tudo o que você precisa fazer é apontar seus usuários para a fonte de dados, e eles conectarão o Tableau Server a ela. Com minha conta de administrador do Tableau Server, controlo as fontes de dados e os drivers utilizados e disponibilizo as versões corretas e compatíveis com o Tableau Server. Verifique se os drivers corretos também estão instalados nos computadores dos usuários do Tableau Desktop. Temos uma lista de drivers de banco de dados que usamos e compartilhamos com a equipe de suporte de TI.

Assim que tiver conectividade com o banco de dados, a rede e/ou o compartilhamento de arquivos, você poderá publicar a fonte de dados no Tableau Server. Pode parecer trabalhoso à primeira vista, mas ter fontes de dados selecionadas e certificadas é muito melhor do que configurar fontes de dados individualmente.

Uma das maiores preocupações de deixar que todos tenham acesso aos dados é a “TI clandestina”. Cada usuário tem uma cópia diferente dos dados, usa nomes distintos para a mesma dimensão ou medida, e isso é um pesadelo para a governança de dados. Com o Servidor de dados do Tableau, você pode dormir tranquilamente sem medo de pesadelos. Eu durmo.

Vou explicar como o Servidor de dados do Tableau oferece dados governados e de qualidade.

Governança de dados

Voltando ao início da nossa história. Como o uso do Servidor de dados do Tableau mudaria aquela conversa entre o gerente e o analista, agora que temos conjuntos de dados selecionados e certificados?

Analista: “Falei com a nossa equipe para disponibilizar aqueles dados no Tableau Server. Não precisamos mais nos preocupar com os dados estáticos porque eles são atualizados diariamente! E o melhor de tudo é que o departamento de contabilidade parou de preencher aquelas planilhas manualmente. Finalmente estamos usando os mesmos dados.”

Gerente: “Você está me dizendo que não teremos mais números discrepantes? Que maravilha!”

Publicar uma fonte de dados no Tableau Server é uma forma de oferecer os mesmos dados para todos que acessam uma determinada fonte de dados. As dimensões e as medidas são selecionadas, padronizadas e descritas para todos. O Tableau Server ainda nos permite marcar essas fontes de dados como certificadas. Você só terá problemas com fontes de dados publicadas se não fizer isso. Publicar uma fonte de dados sem descrições, fornecer nomes de medidas/dimensões aleatórios ou sem sentido e/ou não implementar um fluxo de trabalho para os dados pode gerar confusão, desconfiança em relação aos dados e transformar o gerenciamento de dados em um pesadelo. Eu já passei por isso. Disponibilizamos fontes de dados publicadas sem qualquer descrição e isso deixou os usuários confusos.

Como resolvemos o problema? Elaboramos um fluxo de trabalho para a criação de fontes de dados no Tableau Server. Seu fluxo de trabalho pode ter quantas etapas você quiser, mas não deve deixar de especificar o seguinte:

1. Dimensões e medidas bem definidas, de acordo com a linguagem da empresa.
2. Cálculos nomeados apropriadamente e com observações, se necessário. Você não vai quer ver um cálculo chamado “total” e outro chamado “total total”.
3. Dimensões com descrições se apenas o nome não for suficientemente autoexplicativo. Você pode usar aplicativos upstream, como um formulário de pedido ou de site, para incluir a fonte dos dados.
4. Marcação das fontes de dados como certificadas ao final do processo. Isso sinaliza para os usuários que esses dados são confiáveis.

Trabalhe junto com sua equipe e seu Centro de Excelência (CoE) para definir o que esse fluxo de trabalho significa para o grupo. Essa integração pode demorar um pouco, mas saiba que ajuda a ter uma compreensão geral dos dados no Tableau Server.

Qualidade dos dados

A qualidade dos dados faz parte da governança. Como você sabe se está usando os dados corretos? Na conversa, o analista dizia que os dados no Tableau Server seriam atualizados diariamente. No Servidor de dados do Tableau, é possível agendar um período para atualizar as extrações, até mesmo por hora.

Um possível problema é os dados não estarem disponíveis quando a extração for executada. Podemos levar a validação da qualidade dos dados um pouco mais além criando um painel que consulta a fonte de dados publicada e a fonte de dados original para comparar o número total de registros. Os alertas acionados por dados avisam se uma fonte de dados não estiver sincronizada. Uso esse recurso diariamente com algumas das fontes de dados mais importantes da empresa.

Além disso, a API REST do Tableau Server e o utilitário de linha de comando Extração de dados do Tableau permitem que desenvolvedores criem um “push job” que atualizará os dados no Tableau Server assim que eles estiverem disponíveis na fonte de dados original. Em vez de o Tableau Server obter os dados do banco de dados original de acordo com o agendamento definido, o “push job” (em qualquer outro momento) aguarda os dados serem preenchidos no banco de dados original antes de executar a atualização da extração de dados do Tableau Server. Você só poderá aproveitar esse recurso se tiver acesso a um programa de agendamento. Trabalhe junto com a equipe de desenvolvimento ou de dados responsável por carregar os dados no banco de dados para saber como usar esse recurso.

• API REST do Tableau
• Comando tabcmd refreshextract do Tableau (Windows)
• Comando tabcmd refreshextract do Tableau (Linux)
• Comando refreshextract do utilitário de linha de comando Extração de dados do Tableau (Tableau Online)

Ter todos esses processos e fontes de dados publicadas e não compartilhá-los é um desperdício de trabalho. A próxima etapa é incentivar o uso do Tableau Server e das fontes de dados publicadas no Servidor de dados do Tableau. Considere compartilhar as fontes de dados em um boletim informativo mensal, realizar sessões de treinamento para analisar novas fontes de dados ou até gravar um tutorial em vídeo usando essas fontes de dados se isso for interessante para sua organização. E o mais importante: peça feedback. Certifique-se de que os usuários entenderam as dimensões e as medidas e quando a fonte de dados deve ser usada. Quando mais você interagir com os usuários, maior será a probabilidade de utilizarem o Tableau Server.

Agora que você já sabe um pouco mais sobre o Servidor de dados do Tableau, fale com seu CoE, com um grupo interno de usuários do Tableau ou com embaixadores do Tableau para saber como aproveitar o Servidor de dados do Tableau. Pense nos processos adotados atualmente e como eles podem ser melhorados com o Servidor de dados do Tableau. Todo mundo está procurando dados relevantes e valiosos, por isso é importante garantir uma única fonte confiável para eles.

Saiba mais nesta apresentação de slides sobre o Servidor de dados do Tableau.