Chris Bergh, CEO da DataKitchen, junta-se a Grandes ideias em movimento Para discutir a crescente importância do DataOps e sua interseção com governança de dados.
DataOps — ou DevOps para Ciência de Dados
Como engenheiro de software em 2005, Bergh dividia seu tempo profissional entre o desenvolvimento de software e a gestão de equipes. "Então tive a brilhante ideia de me concentrar em dados e análises — e gerenciar as equipes que trabalhavam com ciência de dados, engenharia de dados e visualização." governança“Mesmo antes de essa palavra existir”, diz Bergh.
A ideia de Bergh foi inspirada por dois grupos diferentes: o de manufatura e o de software. “Os princípios usados em software e os princípios usados em manufatura realmente se aplicam a dados e análises.
“As fábricas aprenderam a produzir coisas de altíssima qualidade, como carros. Software "Realmente aprendemos como implantar coisas em produção rapidamente. Vamos pegar essas duas ideias e aplicá-las à cadeia de valor e à análise de dados", diz Bergh sobre seu plano na época. Ele chamou essa abordagem de "DevOps para ciência de dados", que evoluiu para "DataOps".
Iterar é difícil... a menos que você automatize.
Imagine, por exemplo, que algo dê errado na produção — um evento nada incomum. De repente, “você precisa reunir 10 pessoas e descobrir onde está o problema. É no banco de dados? Na transformação? Nos dados brutos?”
Alternativamente, você pode querer mudar algo — mas, naturalmente, essa mudança afeta todo o resto. “Digamos que eu vá adicionar uma coluna a um banco de dados. Bom, tudo bem — adicionar uma coluna. E depois, qual é a transformação? Qual é a visualização? Qual é o modelo? Qual é a atualização do catálogo de dados? Todas essas coisas são mudanças que precisam ser implementadas juntas — e implementadas rapidamente — porque as melhores equipes de análise, na minha opinião, estão focadas em aprendizado, e o aprendizado vem de iterações. Iterações são difíceis a menos que você automatizar.”
Confira o podcast completo. Para mais informações de Bergh sobre o futuro do DataOps para equipes de análise, clique aqui.
Autor
