Data Mesh: a democratização do domínio dos dados

Por Alexandre Poda, Gerente de Data Analytics

O poder dos dados para a evolução dos negócios têm gerado as mais variadas estratégias de construção de uma arquitetura que traga agilidade, confiabilidade e segurança às empresas. O momento agora é de avaliar se o data lake/data warehouse está respondendo aos atuais objetivos de negócios.

Ou seja, pode ser necessário democratizar os dados em larga escala para fornecer insights de maneira ágil e assertiva às áreas de negócios. Se a sua empresa está precisando disso, a resposta é Data Mesh, ou malha de dados.

Em geral, o domínio sobre os dados tem sido mantido pelo departamento de TI, que os fornece às unidades quando requisitados. Assim, a coleta e transformação dos dados estão centralizadas em equipes técnicas e não de business.

Imagine Marketing, Financeiro, Logística, Compras, Vendas e Relacionamento com o Cliente descarregando os seus dados em uma área centralizada para um time de dados ajudar a empresa a resolver questões como:

Quais promoções seriam interessantes para determinados feriados?
Quais descontos poderíamos aplicar a determinados tipos de clientes e fornecedores?
Que tipo de campanha poderíamos realizar para garantir a fidelização dos nossos clientes?
Qual o motivo pelo qual estamos perdendo nossos clientes?

Com o passar do tempo, a governança e a maturidade do uso desses ambientes centralizados tornam-se gargalo. O time de dados de TI composto por engenheiros de dados, que na maioria das vezes não possui um conhecimento em negócio, não conseguem responder rapidamente às questões para os donos dos produtos na velocidade e prazos esperados.

Até porque, plataformas de dados baseadas em data warehouse e/ou data lake podem causar problemas como: ambiente centralizado e arquitetura monolítica; plataforma de dados centralizada; grupo de engenheiros de dados especializados, mas sem foco em negócio.

Quando adotar Data Mesh?

Ter um modelo baseado em malha de dados é democratizar o domínio dos dados, empoderar as áreas de negócios para tratar os dados de acordo com as suas reais necessidades. Para isso, a solução Data Mesh está fundamentada sob quatro pilares: arquitetura de dados descentralizada orientada ao domínio; dados disponibilizados como produto; infraestrutura para disponibilizar os dados como self-service; e governança federada para permitir a interoperabilidade dos domínios. (Entenda mais sobre esses quatro fundamentos).

Mas se seu ambiente está funcionando ou precisando de pequenos ajustes de governança, desempenho, equipe, serviços ou tecnologias, talvez ainda não seja o momento de ir para este modelo Data Mesh.

É importante ressaltar que Data Mesh exige uma mudança de cultura na empresa, envolvendo desde áreas de negócios até as áreas de engenharia, além de uma boa maturidade na construção de uma arquitetura e infraestrutura robusta, escalável, compartilhável e complexa para satisfazer as necessidades deste modelo.

Por essa razão, é importante contar com um parceiro de negócios, com experiência nesse novo modelo de arquitetura, que avalie todo o ambiente de dados da empresa, identifique os pontos nevrálgicos da operação e necessidades prementes de evolução, estabeleça uma governança de dados para receber o Data Mesh.

É uma tarefa que exige muito conhecimento e empenho. Terceirizar permite que as empresas não percam o foco nos negócios e ingressem em uma outra dimensão de arquitetura de dados de maneira segura e eficiente.

Evolução do negócio e ganhos

Ao adotar Data Mesh, as áreas de negócios se tornam mais autônomas, porque passam a ser donas dos dados, reduzindo o tempo de manipulação de dados. Cada uma delas conta com o seu cientista de dados, com isso há uma total integração de técnicos e profissionais de negócios.

Os resultados? Mais autonomia, inovação, qualidade, segurança e agilidade dentro de cada domínio, eliminação dos gargalos de demandas e processos mais ágeis e assertivos.

Data Mesh traz o sonho de consumo de qualquer área de negócios. É ter praticamente uma mini área de TI totalmente alinhada às suas dores, objetivos, metas e evolução. A democratização dos dados é a chave do conceito do Data Mesh e não pode ser alcançada sem descentralização e priorização da experiência dos consumidores de dados.