Chris Bergh, director ejecutivo de DataKitchen, se une a BigIDeas en movimiento para hablar sobre la creciente importancia de DataOps y su intersección con gobernanza de datos.
DataOps — o DevOps para la ciencia de datos
Como ingeniero de software en 2005, Bergh dividió su tiempo profesional entre desarrollar software y gestionar equipos. "Entonces se me ocurrió la brillante idea de centrarme en los datos y el análisis, y gestionar los equipos que se dedicaban a la ciencia de datos, la ingeniería de datos, la visualización y... gobernanza“incluso antes de que existiera esa palabra”, dice Bergh.
La idea de Bergh se inspiró en dos grupos diferentes: la fabricación y el software. "Los principios que se utilizan en el software y los que se utilizan en la fabricación realmente se aplican a datos y análisis.
“Las fábricas han aprendido a fabricar cosas de muy alta calidad, como automóviles. Software «Realmente ha aprendido a implementar cosas en producción rápidamente. Tomemos esas dos ideas y apliquémoslas a la cadena de valor y al análisis de datos», dice Bergh sobre su plan en aquel momento. Llamó a este enfoque «DevOps para la ciencia de datos», que evolucionó a «DataOps».
Iterar es difícil… a menos que automatices
Imaginemos, por ejemplo, que algo sale mal en producción, algo habitual. De repente, «hay que reunir a 10 personas y averiguar dónde está. ¿Es la base de datos? ¿Es la transformación? ¿Son los datos sin procesar?».
Como alternativa, podría querer cambiar algo, pero, naturalmente, ese cambio afecta a todo lo demás. "Digamos que voy a agregar una columna a una base de datos. Bueno, vale, agrego una columna. ¿Y luego cuál es la transformación? ¿Cuál es la visualización? ¿Cuál es el modelo? ¿Cuál es la actualización del catálogo de datos?" Todos esos cambios deben implementarse juntos, y rápidamente, porque los mejores equipos analíticos, creo, se centran en el aprendizaje, y el aprendizaje se logra mediante iteraciones. Las iteraciones son difíciles a menos que automatizar."
Mira el podcast completo Para obtener más información de Bergh sobre el futuro de DataOps para los equipos de análisis.
Autor
