Contato

 Engenharia de analytics: o caminho para construir um BI

Evoluir significa passar de algo mais simples para algo mais complexo, desenvolvido, aperfeiçoado. Foi justamente o que aconteceu com ferramentas e sistemas para business intelligence (BI) nos últimos anos, não é mesmo?

Tanto que, agora, estamos presenciando a necessidade latente de um novo cargo em data science: o de engenheira e engenheiro de analytics.

Esses novos profissionais são responsáveis pelas novas funções, como o passo a passo na construção de um projeto de BI de sucesso. E é isso que mostro para você neste artigo.

O passo a passo de um BI

A estrada para um BI de sucesso é composta por técnicas e boas práticas de engenharia de analytics. Para ajudar você, organizei esse percurso em 6 passos:

1. mapeamento do passado
2. integração das fontes de dados
3. transformação dos dados
4. testes
5. documentação
6. visualização

Seguindo esse caminho, você será capaz de elaborar projetos de BI legíveis para clientes que não são da área de data science tomarem melhores decisões com base em dados.

1º passo: mapeando o passado

Seu ponto de partida é o passado, ou seja, todo o histórico até o momento da análise. Ao mapear dados para extração, engenheiras e engenheiros de analytics já definem as fontes de informação, além das tabelas e datasets necessários para o projeto de BI.

Usando um banco de dados, é feita a modelagem das informações. Dessa forma, garante-se a integridade dos dados e diminui a redundância. A modelagem de dados serve também para que analistas saibam onde e como estão armazenadas as informações que serão observadas.

Modelagem de dados: exemplo de modelo conceitual

Os modelos de dados definem como essas informações serão organizadas e quais as relações estabelecidas entre elas. Para isso, temos alguns tipos de modelagem, que são principalmente estes:

• modelagem conceitual: preocupa-se com a criação de um modelo do mundo real e cria um vocabulário comum para todos os usuários de dados.
• modelagem lógica: acrescenta detalhes de implementação com dados consistentes e sem redundância.
• modelagem física: demonstra como os dados são fisicamente armazenados.

Depois, com os dados mapeados, coletados e modelados, é chegada a hora de integrar as fontes dessas informações.

2º passo: integrando as fontes de dados

Esse passo serve para integrar, organizar e centralizar dados de diferentes fontes em um único local, como um data warehouse, por exemplo. Para isso, ensino a utilizar as aplicações de ELT, que são divididas pelas seguintes etapas:

• extrair dados brutos de uma ou mais fontes e salvá-los em um repositório de dados único;
• carregar os dados para um data warehouse para a utilização em uma ferramenta de BI;
• transformar os dados através da estruturação, do enriquecimento, da limpeza e da conversão para uso.

As etapas de extração e de carregamento (EL) são fundamentais para a integração. Há também fatores importantes que devem ser levados em consideração durante esse processo, como:

• tipos de fonte (banco de dados SQL, NoSQL, API SaaS etc.)
• tipos de acesso (espelho do banco de dados, API, relatório etc.)
• ambiente (cloud, on premises etc.)
• periodicidade
• volume de dados
• tipos de processamento (full, incremental)

Processo ELT

Para quem atua na área de engenharia de analytics, é necessário entender que dados são dinâmicos e que mudam constantemente. Por isso, cópias de segurança são essenciais como forma de prevenção, assim como teste e documentação, como veremos mais à frente.

3º passo: transformando dados históricos

Com os dados brutos extraídos para um data warehouse (DW), é feita a transformação para deixá-los prontos para uso. O próximo passo é normalizar os dados em colunas (atributos) e tabelas (relações), garantindo que as restrições de integridade sejam seguidas.

Durante o processo de transformação, selecionam-se dados que fazem sentido para a análise, separando atributos que geram valor. Para esse processo, sugiro o uso de ferramentas de orquestração de dados, como o DBT.

Esse tipo de ferramenta ajuda a realizar todas as transformações mais comuns necessárias para o seu BI. É em parceria com o DBT, 

4º passo: 1, 2... testando!

Após a transformação dos dados, é preciso testá-los para garantir que as informações indesejadas não foram selecionadas. O teste é parte fundamental do projeto, não podendo ficar de fora.

No processo de teste, é configurado um modelo staging, responsável por aplicar todas as alterações nos demais modelos. Na sequência, especialistas em engenharia de analytics configuram as tabelas de dimensão e de fato, armazenando dados de um único item e dados históricos respectivamente.

Só então são feitos os testes de dados propriamente ditos.

5º passo: documentando os dados

A fim de facilitar a consulta de dados no futuro, engenheiras e engenheiros de analytics precisam documentar o projeto. Um detalhe importante é adicionar a descrição completa de cada arquivo deixando a procura mais simples.

Criando uma página de documentação, esses profissionais auxiliam a busca de informações essenciais como:

• fonte dos dados;
• tabelas e suas descrições;
• tamanho e número de linhas;
• colunas e seus testes.

Após os testes e a documentação dos dados, tem-se o núcleo de desenvolvimento do projeto de BI.

6º passo: visualizando os dados

Agora que você tem os dados mapeados, integrados, transformados, testados e documentados, finalmente chegou a hora de construir o seu BI.

Pessoas que trabalham com engenharia de analytics devem saber como contar uma história através de seus relatórios de business intelligence, geralmente respondendo a perguntas como:

• qual o status atual da empresa?
• como chegamos até tal situação?
• como resolver tais problemas?
• qual será o futuro do negócio?

Para isso, seguem-se as etapas de DataViz, começando pelo contexto, quando é definido o público-alvo, o tipo de análise e os indicadores. Tendo isso estabelecido, escolhe-se o formato da apresentação, levando em consideração a flexibilidade e complexibilidade do projeto.

Existem boas práticas de DataViz que devem ser utilizadas para auxiliar na construção e apresentação do relatório, dando mais clareza para deixar o gráfico o mais legível possível pelo usuário final que, por exemplo, pode não ser da área de dados.

A coesão do projeto é outro elemento fundamental para ajudar na leitura dos gráficos. Uma forma de garanti-la é estabelecer a função e ordem de cada item do BI e mantê-las até o fim da apresentação.

Os elementos visuais devem ser selecionados conforme o gênero dos dados analisados. Há vários tipos e categorias de gráficos disponíveis, como coluna, barras, pizza, linhas e rede, e todos com funcionalidades específicas.

Elementos gráficos: cada tipo possui uma finalidade específica.

Por último, tenha atenção com a hierarquia e o posicionamento de elementos, pois são as práticas que direcionam a leitura do dashboard.

Fonte:
https://blog.indicium.tech/engenharia-de-analytics-o-caminho-para-construir-um-bi/