O Modelo de Avaliação de Capacidades de Gestão de Dados (DCAM) — estabelecido pela Conselho EDM em 2015 — é uma estrutura padrão da indústria que cada vez mais empresas em Serviços financeiros e além estão adotando.
Os profissionais de dados usam a estrutura DCAM para definir, priorizar, organizar, medir e monitorar o nível de maturidade de seus governança de dados programas. O DCAM aborda os recursos que as organizações precisam para:
- desenvolver a estratégia de dados e o caso de negócios
- construir uma base de dados sustentável dentro de uma estrutura operacional
- medir a consistência e o uso de dados em toda a organização
- estabelecer colaboração e alinhamento das partes interessadas
- integrar o programa de gerenciamento de dados aos aspectos principais das operações
Como o DCAM é pontuado?
O DCAM estabelece padrões e mede as capacidades de gestão de dados para desenvolver, implementar e sustentar um programa eficaz. Para cada capacidade, um programa de gestão de dados pode receber uma das seis pontuações:
- não iniciado
- conceptual
- desenvolvimentista
- definido
- alcançou
- aprimorado
Desafios do DCAM: Atravessando o abismo de capacidades
De acordo com o Relatório de Referência Global de Gestão de Dados de 2020, que pesquisou empresas financeiras e não financeiras sobre suas pontuações DCAM, 53% de FinServ e 66% de não FinServ estão “em andamento/planejando” ou “não iniciados” na governança e manutenção de domínios de dados, estruturas, modelos, definições e glossários autorizados.
Embora muitas organizações possam iniciar, conceituar e até mesmo começar a desenvolver suas capacidades implementando planos e identificando as partes interessadas certas para participar das discussões, é mais difícil definir o engajamento, os processos e as evidências que precisam ser estabelecidos e verificados.
A transição do “desenvolvimento” para o “definido” é conhecida como “abismo de capacidade” e apresenta desafios para organizações que incluem:
- monitoramento de novos modelos de negócios e dados, inventário de dados, e conjuntos de dados
- treinar pessoas continuamente e gerenciar a rotatividade
- incorporando dados na prática empresarial usual
- manter sólido apoio e financiamento das partes interessadas
Como a IA/ML preenche a lacuna nos recursos de DCAM
Analisar lacunas e elaborar um plano priorizado para fechá-las é uma preocupação crítica e urgente para profissionais de dados que implementam DCAM.
Nos últimos anos, a adopção acelerada de inteligência artificial e aprendizado de máquina as capacidades permitiram um tempo mais rápido para fechar lacunas de avaliação — além do cumprimento mais eficiente dos requisitos de auditoria para órgãos reguladores e propósitos internos.
Organizações que usam técnicas de aprendizado de máquina em seus programas de gerenciamento de dados podem:
- encontrar padrões de dados críticos elementos de forma mais rápida e precisa, aproveitando o aprendizado supervisionado e não supervisionado
- automaticamente escanear conjuntos maiores de dados mais rápidos para escalar a governança
- aplicar rótulos para identificação e categorização mais rápidas
Como se antecipar ao DCAM com BigID
Aqui estão quatro recursos essenciais que as organizações podem executar para amadurecer sua pontuação de recursos de DCAM.
1. Encontre e inventariie dados automaticamente
Para a arquitetura de negócios e dados, os dados de repositórios físicos precisam ser localizados, documentados e inventariados. Dado o grande volume de data centers espalhados por escritórios globais, a dispersão de dados não é simples de documentar usando métodos tradicionais. descoberta e mapeamento.
Documentação manual e métodos de levantamento são frequentemente utilizados para manter repositórios físicos atualizados. Esse método é lento, consome muitos recursos e é difícil de manter de forma a refletir com precisão o cenário de dados em expansão.
Mesmo depois de uma organização catalogar seus dados físicos, os profissionais de dados ainda precisam entender o conteúdo subjacente presente em documentos e arquivos. Este é um problema crescente com dados não estruturados, que geralmente é excluído de inventários que usam métodos manuais.
O BigID utiliza o aprendizado de máquina avançado para automatizar inventariar todos os dados — estruturados e não estruturados — em toda a empresa. Isso permite que as organizações capturem os dados básicos metadados na origem do elemento de dados, nome do campo e localização do campo — todos necessários para documentar a arquitetura física e de dados.
Um inventário automatizado e orientado por IA fornece evidências que verificam metadados com base no seu conteúdo de dados subjacente — e torna-o acessível às partes interessadas e aos utilizadores empresariais num único catálogo.
2. Identifique e mapeie dados semelhantes em colunas
As organizações que medem suas pontuações de recursos de DCAM podem aproveitar IA/ML para analisar grandes conjuntos de dados em diferentes fontes de dados, identificar padrões e inferir conexões.
Como os dados são definidos por meio da identificação de domínios de dados lógicos, modelos e metadados, a correspondência de padrões em larga escala pode ajudar a identificar dados duplicados.
O BigID permite que organizações encontrem automaticamente dados semelhantes, duplicados e redundantes com ML avançado. Os insights obtidos com essa análise automatizada capacitam as equipes de dados a encontrar e corrigir dados relevantes, identificar relacionamentos entre conjuntos de dados e fazer recomendações sobre dados que pertencem ao mesmo domínio lógico de dados.
3. Descubra e marque elementos de dados críticos para ontologias
Para fechar lacunas de dados, as organizações precisam identificar, definir, modelar e padronizar entidades corporativas. Para sustentar essas atividades, as equipes de dados devem localizar e marcar todos os dados sensíveis ou críticos em suas fontes de dados — e mapa esses dados a taxonomias internas e padrões globais. Como essas informações normalmente residem em fontes estruturadas e não estruturadas, a automação é fundamental para classificar, rotular e documentar todos os dados em escala com eficácia.
Exclusivo do BigID classificação de dados capacidades de classificação fuzzy para PNL para tecnologia baseada em gráficos permitir que as organizações descobrir e classificar todos os tipos de dados confidenciais, críticos e comerciais — com menos falsos positivos, maior precisão e menor tempo de obtenção de insights.
A próxima geração do BigID classificação otimiza a digitalização para focar nos dados e metadados — e encontrar, marcar e combinar dados. O resultado é privacidade aprimorada, sensibilidade, requisitos de consentimento e monitoramento de políticas.
4. Detectar anomalias na qualidade dos dados
Para atender aos recursos do DCAM para gerenciamento da qualidade de dados, as organizações podem aproveitar a automação para identificar discrepâncias em grandes conjuntos de dados. A avaliação inicial do perfil de qualidade de dados prioriza o escopo dos dados com base na criticidade e na materialidade.
O BigID fornece resultados de análise estatística em um conjunto de dados — como integridade (ou identificação de valores nulos), intervalo de valores de dados e desvio padrão de valores numéricos.
Para sustentar ainda mais o nível de maturidade da capacidade, o ML identifica regras relevantes para verificar o conjunto de dados — incluindo a proposição de valores de tolerância ou limite aceitáveis e a exibição de análise de tendências em qualidade dos dados. As equipes de dados podem demonstrar que alcançaram maior maturidade em gerenciamento de qualidade de dados aproveitando o BigID para monitorar continuamente novos conjuntos de dados recebidos.
BigID para DCAM
Os programas tradicionais de gerenciamento de dados dependem de recursos manuais para inventariar, rotular, classificar e definir regras de qualidade de dados — o que levou a uma fadiga geral na espera que os programas de dados entreguem valor comercial.
Profissionais em gerenciamento de dados podem aproveitar a tecnologia automatizada de aprendizado de máquina da BigID para abordar recursos medidos pelo DCAM, fechar lacunas de maturidade de dados e, finalmente:
- manter seus inventário de dados
- Identificar e classificar os dados que eles precisam para gerenciar e monitorar
- mapa para domínios de dados
- criar novas regras em torno da gestão da qualidade dos dados
- Melhore sua postura de dados para auditorias de DCAM bem-sucedidas
Saiba mais sobre como o BigID pode ajudar seu programa de gerenciamento de dados descubra, classifique e monitore com mais eficiência todos os dados da sua organização — estruturados e não estruturados — e alcance resultados mais rápidos e sustentáveis.
Autor
