Metadados tem sido fundamental há muito tempo para governança de dados, mas à medida que os dados evoluem, também evoluem os desafios na gestão desses dados – em privacidade, segurançae governança. Nos últimos anos, catálogos de dados surgiram como ferramentas fundamentais na governança de dados para capturar, gerenciar e pesquisar metadados. Mas será que isso é suficiente?
Uma parte do mundo dos dados, metadados Refere-se simplesmente à coluna de informações disponíveis e localizadas em bancos de dados ou fontes de dados construídas de forma semelhante. São os dados sobre dados — e são essenciais para profissionais de dados. Fornecem um mapa de quais dados residem e onde, acelerando a capacidade dos profissionais de dados de localizar os melhores dados para IA e BI, gerenciar a comercialização de dados e atender a solicitações regulatórias de dados e muito mais.
Os catálogos de dados tradicionais, no entanto, têm sérias limitações:
Cobertura limitada de fontes de dados: Embora bancos de dados estruturados e armazéns tenham um destaque especial sobre eles, há uma falta de foco nos pontos cegos – que incluem arquivos, documentos, imagens, mensagens, plataformas de mensagens, SaaS, pipelines de dados, ambientes de desenvolvimento, NoSQL e muito mais.
Falta de escala: Típico catálogos de metadados Não conseguem cobrir todo o acervo de dados de empresas, empreendimentos ou grandes conjuntos de dados. Falta-lhes escala para cobrir todo o acervo de dados de uma empresa, deixando às organizações um mapa de, digamos, Winnipeg, quando o que realmente precisam é de um mapa-múndi.
Capacidades isoladas: Se você estiver limitado em quais dados está visualizando, isso significa que não há criação de perfil de dados globais, nenhum inventário de dados consistente e conscientização muito limitada sobre segurança e privacidade.
O resultado? Esses tipos de catálogos, por si só, fornecem uma imagem incompleta do universo de dados de uma organização — e isso é problemático não apenas para identificar e gerenciar dados de alto valor, mas também para identificar e gerenciar dados de alto risco.
Tecido de dados e expansão da abertura de visibilidade de dados
Uma forma como as organizações começaram recentemente a enfrentar estes desafios é expandindo o seu campo de visão através de estratégias de virtualização – como tecido de dados. Embora os catálogos tradicionais tenham melhor desempenho em conjuntos de dados altamente concentrados em fontes de dados específicas, um fabric pode escalar além disso. tecido de dados fornece um meio de virtualizar o acesso a conjuntos de dados distribuídos versus concentrados.
No entanto, nem todas as estratégias de abstração ou virtualização são iguais. A maioria requer proxies, o que aumenta a latência e cria um ponto único de falha. Essas abordagens tendem a limitar as visualizações (a conjuntos de dados suportados por SQL), deixando um ponto cego no restante do cenário de dados (de SaaS a NoSQL, arquivos e mensagens).
Produtos como BigID surgiram para resolver isso: tornando-se a base para a corrida descoberta de dados e funções de governança em todos os dados – em toda a estrutura.
Obtendo uma visão global pesquisável de seus metadados, dados confidenciais e dados pessoais
Em resposta a algumas das limitações dos catálogos atuais em termos de cobertura e contexto, algumas organizações começaram a explorar registros de dados para complementar essa estrutura de dados. Com uma camada de registro de dados, as organizações podem:
- Expanda o campo de visão dos dados além de um conjunto limitado de data lakes e warehouses
- Fornecer escala para visualizar todo o acervo de dados corporativos
- Permitir a descoberta de metadados, dados de privacidade e dados de segurança (extremamente importante dada a crescente complexidade dos ambientes)
- Aplicar capacidades de criação de perfis globais – seja para melhorar a qualidade dos dados, minimizar dados duplicados ou mesmo simplesmente racionalizar os custos possíveis em todo o volume de ativos de dados da empresa
- Fornecer os metadados comerciais e operacionais necessários para simplificar as ações de governança de dados, bem como as atividades de privacidade e segurança
Registro de Dados + Fabric para Encontrar e Acionar Todos os Dados
Os dados são a tábua de salvação de todas as empresas digitais modernas. As abordagens tradicionais para gerenciamento de dados fornecem uma visão incompleta dos dados, deixando-os cegos para o panorama geral e vulneráveis a riscos. As organizações precisam adotar uma abordagem mais moderna para gerenciar todo o acervo de dados. Mais do que nunca, é necessário usar a virtualização e a estrutura de dados em conjunto para atuar em todos os dados possíveis.
E é aí que entram os registos de dados: ajudando as organizações descobrir e gerenciar dados em contexto: não apenas em metadados, mas também em outros artefatos de dados para compreensão risco e regulamentação -como dados de pessoas e dados sensíveis. Os profissionais de dados podem então obter contexto completo para o conteúdo que estão pesquisando e otimizar a capacidade de ação, seja na governança de dados, segurança ou privacidade.
Autor
