El Modelo de Evaluación de Capacidades de Gestión de Datos (DCAM), establecido por la Consejo EDM en 2015, es un marco estándar de la industria que cada vez más empresas en Servicios financieros y más allá están adoptando.
Los profesionales de datos utilizan el marco DCAM para definir, priorizar, organizar, medir y monitorear el nivel de madurez de sus gobernanza de datos programas. DCAM aborda las capacidades que las organizaciones necesitan para:
- Desarrollar la estrategia de datos y el caso de negocio
- construir una base de datos sostenible dentro de un marco operativo
- Medir la consistencia y el uso de los datos en toda la organización
- Establecer la colaboración y la alineación de las partes interesadas
- Integrar el programa de gestión de datos en los aspectos centrales de las operaciones
¿Cómo se califica el DCAM?
El DCAM establece estándares y mide las capacidades de gestión de datos para desarrollar, implementar y mantener un programa eficaz. Para cada capacidad, un programa de gestión de datos puede obtener una de seis puntuaciones:
- no iniciado
- conceptual
- de desarrollo
- definido
- logrado
- mejorado
Desafíos de DCAM: Superando el abismo de capacidades
Según el Informe de referencia sobre gestión global de datos de 2020, que encuestó a empresas financieras y no financieras sobre sus puntajes DCAM, 53% de FinServ y 66% de no FinServ están "en proceso/planificando" o "no iniciados" en la gobernanza y el mantenimiento de dominios de datos autorizados, estructuras, modelos, definiciones y glosarios.
Si bien muchas organizaciones pueden iniciar, conceptualizar e incluso comenzar a desarrollar sus capacidades implementando planes e identificando a las partes interesadas adecuadas para participar en los debates, es mucho más difícil definir el compromiso, los procesos y la evidencia que se deben establecer y verificar.
El paso de “desarrollo” a “definido” se conoce como “el abismo de las capacidades” y presenta desafíos para las organizaciones que incluyen:
- Monitoreo de nuevos modelos de negocio y datos, inventario de datosy conjuntos de datos
- Capacitar continuamente a las personas y gestionar la rotación
- Incorporar datos a la práctica habitual
- Mantener un sólido apoyo y financiación de las partes interesadas
Cómo la IA y el aprendizaje automático reducen la brecha en las capacidades DCAM
Analizar las brechas y elaborar un plan priorizado para cerrarlas es una preocupación crítica y urgente para los profesionales de datos que implementan DCAM.
En los últimos años, la adopción acelerada de inteligencia artificial y aprendizaje automático Las capacidades han permitido cerrar brechas de evaluación más rápidamente, además de un cumplimiento más eficiente de los requisitos de auditoría para los organismos reguladores y para fines internos.
Las organizaciones que utilizan técnicas de aprendizaje automático en sus programas de gestión de datos pueden:
- encontrar patrones de datos críticos elementos de forma más rápida y precisa, aprovechando tanto el aprendizaje supervisado como el no supervisado
- automáticamente escanear conjuntos de datos más grandes más rápidos para escalar la gobernanza
- aplicar etiquetas para una identificación y categorización más rápida
Cómo adelantarse a DCAM con BigID
A continuación se presentan cuatro capacidades críticas clave que las organizaciones pueden ejecutar para madurar su puntaje de capacidades DCAM.
1. Buscar e inventariar datos automáticamente
Para la arquitectura empresarial y de datos, es necesario localizar, documentar e inventariar los datos de los repositorios físicos. Dado el gran volumen de centros de datos distribuidos en oficinas globales, la proliferación de datos no es fácil de documentar mediante sistemas tradicionales. descubrimiento y cartografía.
A menudo se utilizan métodos manuales de documentación y análisis para mantener actualizados los repositorios físicos. Este método es lento, consume muchos recursos y es difícil de mantener de forma que refleje con precisión el panorama de datos en constante expansión.
Incluso después de que una organización haya catalogado sus datos físicos, los profesionales de datos aún necesitan comprender el contenido subyacente que reside en los documentos y archivos. Este es un problema creciente con datos no estructurados, que normalmente se excluye de los inventarios que utilizan métodos manuales.
BigID aprovecha el aprendizaje automático avanzado para identificar automáticamente inventariar todos los datos —estructurados y no estructurados— en toda la empresa. Esto permite a las organizaciones capturar la información básica metadatos en la fuente del elemento de datos, el nombre del campo y la ubicación del campo, todos los cuales son necesarios para documentar la arquitectura física y de datos.
Un inventario automatizado impulsado por IA proporciona evidencia que verifica metadatos basado en su contenido de datos subyacente, y lo hace accesible a las partes interesadas comerciales y los usuarios en un solo lugar. catalogar.
2. Identificar y mapear datos similares en las distintas columnas
Las organizaciones que miden sus puntuaciones de capacidades DCAM pueden aprovechar la IA/ML para analizar grandes conjuntos de datos en diferentes fuentes, identificar patrones e inferir conexiones.
A medida que los datos se definen a través de la identificación de dominios de datos lógicos, modelos y metadatosLa comparación de patrones a gran escala puede ayudar a identificar datos duplicados.
BigID permite a las organizaciones encontrar automáticamente datos similares, duplicados y redundantes con aprendizaje automático avanzado. La información derivada de este análisis automatizado permite a los equipos de datos encontrar y remediar datos relevantes, identificar relaciones entre conjuntos de datos y hacer recomendaciones sobre los datos que pertenecen al mismo dominio lógico de datos.
3. Descubrir y etiquetar elementos de datos críticos para ontologías
Para cerrar las brechas de datos, las organizaciones necesitan identificar, definir, modelar y estandarizar las entidades empresariales. Para sostener estas actividades, los equipos de datos deben localizar y etiquetar todos los datos sensibles o críticos en sus fuentes de datos, y mapa Estos datos se ajustan a taxonomías internas y estándares globales. Dado que esta información suele residir en fuentes estructuradas y no estructuradas, la automatización es fundamental para clasificar, etiquetar y documentar eficazmente todos los datos a escala.
La singularidad de BigID clasificación de datos capacidades desde la clasificación difusa hasta el procesamiento del lenguaje natural (PLN) tecnología basada en gráficos Permitir a las organizaciones descubrir y clasificar todo tipo de datos confidenciales, críticos y comerciales, con menos falsos positivos, mayor precisión y un tiempo de obtención de información más rápido.
La próxima generación de BigID clasificación Optimiza el escaneo para centrarse en los datos y metadatos, y para encontrar, etiquetar y combinar datos. El resultado es una mayor privacidad, sensibilidad, requisitos de consentimiento y... seguimiento de políticas.
4. Detectar anomalías en la calidad de los datos
Para aprovechar las capacidades de DCAM para la gestión de la calidad de los datos, las organizaciones pueden aprovechar la automatización para identificar valores atípicos en grandes conjuntos de datos. La evaluación inicial del perfil de calidad de los datos prioriza el alcance de los datos en función de su criticidad y materialidad.
BigID proporciona resultados de análisis estadístico sobre un conjunto de datos, como integridad (o identificación de valores nulos), rango de valores de datos y desviación estándar de valores numéricos.
Para mantener aún más el nivel de madurez de la capacidad, ML identifica reglas relevantes para verificar el conjunto de datos, lo que incluye proponer valores de umbral o tolerancia aceptables y mostrar análisis de tendencias en calidad de los datosLos equipos de datos pueden demostrar que han alcanzado una mayor madurez en la gestión de la calidad de los datos al aprovechar BigID para monitorear continuamente los nuevos conjuntos de datos entrantes.
BigID para DCAM
Los programas tradicionales de gestión de datos dependen de recursos manuales para inventariar, etiquetar, clasificar y definir reglas de calidad de datos, lo que ha generado una fatiga general a la espera de que los programas de datos proporcionen valor comercial.
Los profesionales en gestión de datos pueden aprovechar la tecnología de aprendizaje automático automatizada de BigID para abordar las capacidades medidas por DCAM, cerrar brechas de madurez de datos y, en última instancia:
- mantener su inventario de datos
- Identificar y clasificar los datos que necesitan gestionar y monitorear
- mapa a dominios de datos
- Crear nuevas reglas en torno a la gestión de la calidad de los datos
- Mejorar su postura de datos para auditorías DCAM exitosas
Obtenga más información sobre cómo BigID puede ayudar Su programa de gestión de datos le permitirá descubrir, clasificar y supervisar de forma más eficaz todos los datos de su organización (estructurados y no estructurados) y lograr resultados más rápidos y sostenibles.
Autor
