Chris Bergh, CEO da DataKitchen, junta-se BigIDeas em movimento para falar sobre a crescente importância do DataOps e sua intersecção com governança de dados.
DataOps — ou DevOps para Ciência de Dados
Como Engenheiro de Software em 2005, Bergh dividiu seu tempo profissional entre o desenvolvimento de software e a gestão de equipes. “Então, tive a brilhante ideia de me concentrar em dados e análises — e gerenciar as equipes que faziam ciência de dados, engenharia de dados, visualização e governança, mesmo antes dessa palavra existir”, diz Bergh.
A ideia de Bergh inspirou-se em dois grupos distintos: manufatura e software. “Os tipos de princípios usados em software e os princípios usados na manufatura — eles realmente se aplicam a dados e análises.
“As fábricas aprenderam a fazer coisas de altíssima qualidade, como carros. Software realmente aprendeu a implementar as coisas em produção rapidamente. "Vamos pegar essas duas ideias e aplicá-las à cadeia de valor e à análise de dados", disse Bergh sobre seu plano na época. Ele chamou essa abordagem de "DevOps para ciência de dados", que evoluiu para "DataOps".
Iterar é difícil... a menos que você automatize
Imagine, por exemplo, que algo dá errado na produção — o que não é incomum. De repente, "você precisa reunir 10 pessoas e descobrir onde está o problema. É o banco de dados? É a transformação? São os dados brutos?"
Alternativamente, você pode querer alterar algo — mas, naturalmente, essa alteração afeta todo o resto. "Digamos que eu vou adicionar uma coluna a um banco de dados. Tudo bem — adicionar uma coluna. E então, qual é a transformação? Qual é a visualização? Qual é o modelo? Qual é a atualização do catálogo de dados? Todas essas coisas são mudanças que precisam ser implantadas em conjunto — e implantadas rapidamente — porque as melhores equipes analíticas, eu acho, estão focadas no aprendizado, e o aprendizado vem de iterações. Iterações são difíceis, a menos que você... automatizar.”
Confira o podcast completo para saber mais de Bergh sobre o futuro do DataOps para equipes de análise.
Autor
