Chris Bergh, PDG de DataKitchen, rejoint BigIDeas en mouvement pour parler de l'importance croissante de DataOps et de son intersection avec gouvernance des données.
DataOps — ou DevOps pour la science des données
Ingénieur logiciel en 2005, Bergh partageait son temps entre le développement de logiciels et la gestion d'équipes. « J'ai ensuite eu la brillante idée de me concentrer sur les données et l'analyse, et de gérer les équipes de science des données, d'ingénierie des données, de visualisation et de gouvernance« , avant même que ce mot existe », explique Bergh.
L'idée de Bergh s'inspire de deux groupes distincts : l'industrie manufacturière et les logiciels. « Les principes utilisés dans les logiciels et ceux utilisés dans l'industrie manufacturière s'appliquent réellement à données et analyses.
« Les usines ont appris à fabriquer des choses de très haute qualité, comme des voitures. Logiciel « Il a vraiment appris à déployer rapidement des solutions en production. Appliquons ces deux idées à la chaîne de valeur et à l'analyse de données », explique Bergh à propos de son projet de l'époque. Il a baptisé cette approche « DevOps pour la science des données », qui a évolué vers « DataOps ».
L'itération est difficile… à moins d'automatiser
Imaginez, par exemple, qu'un problème survienne en production — un événement courant. Soudain, « il faut réunir dix personnes pour déterminer où se trouve le problème. Est-ce la base de données ? La transformation ? Les données brutes ? »
Vous pourriez également vouloir modifier quelque chose, mais naturellement, ce changement affecte tout le reste. « Imaginons que je vais ajouter une colonne à une base de données. Bon, d'accord, ajoutez une colonne. Et ensuite, quelle est la transformation ? Quelle est la visualisation ? Quel est le modèle ? Quelle est la mise à jour du catalogue de données ? Tous ces changements doivent être déployés ensemble, et rapidement, car les meilleures équipes d'analyse, je pense, se concentrent sur l'apprentissage, et l'apprentissage se fait par itérations. Les itérations sont difficiles à moins que vous ne les mettiez en pratique. automatiser."
Découvrez le podcast complet pour en savoir plus sur Bergh concernant l'avenir de DataOps pour les équipes d'analyse.
Auteur
