Metadados tem sido fundamental para governança de dadosMas, à medida que os dados evoluem, também evoluem os desafios na gestão desses dados – em todas as áreas. privacidade, segurança, e governançaNos últimos anos, catálogos de dados Elas emergiram como ferramentas fundamentais na governança de dados para capturar, gerenciar e pesquisar metadados. Mas será que isso basta?
Parte do mundo dos dados, metadados Refere-se simplesmente à coluna de informações disponíveis e localizadas dentro de bancos de dados ou fontes de dados semelhantes. São os dados sobre os dados – e são cruciais para profissionais da área. Fornecem um mapa de onde os dados residem, Acelerar a capacidade dos profissionais de dados de localizar os melhores dados para IA e BI., gerenciar a comercialização de dados e atender às solicitações regulatórias de dados, e muito mais.
Os catálogos de dados tradicionais, no entanto, apresentam sérias limitações:
Cobertura limitada das fontes de dados: Embora as bases de dados estruturadas e os data warehouses estejam sob os holofotes, Há uma falta de foco nos pontos cegos. – que incluem Arquivos, documentos, imagens, mensagens, plataformas de mensagens, SaaS, pipelines de dados, ambientes de desenvolvimento, NoSQL e muito mais.
Falta de escala: Típico catálogos de metadados Não conseguem abranger toda a infraestrutura de dados dentro de empresas, corporações ou grandes conjuntos de dados. Falta-lhes escala para cobrir toda a infraestrutura de dados de uma empresa, deixando as organizações com um mapa, digamos, de Winnipeg, quando o que realmente precisam é de um mapa do mundo.
Capacidades isoladas: Se você estiver limitado nos dados que pode analisar, isso significa que não há nada a fazer. perfilamento de dados globais, ausência de um inventário de dados consistente e conhecimento muito limitado sobre segurança e privacidade.
Qual o resultado? Esses tipos de catálogos, por si só, fornecem uma visão incompleta do universo de dados de uma organização – e isso é problemático não apenas para identificar e gerenciar dados de alto valor, mas também para identificar e gerenciar dados de alto risco.
Data Fabric e a Expansão da Visibilidade dos Dados
Uma das maneiras pelas quais as organizações começaram recentemente a lidar com esses desafios é expandindo seu campo de visão por meio de estratégias de virtualização – como tecido de dadosEmbora os catálogos tradicionais tenham melhor desempenho em conjuntos de dados altamente concentrados em fontes de dados específicas, uma estrutura de dados integrada (fabric) pode ser dimensionada para além disso. tecido de dados Fornece um meio de virtualizar o acesso a conjuntos de dados distribuídos em vez de concentrados.
Nem todas as estratégias de abstração ou virtualização, porém, são iguais. A maioria requer proxies, o que aumenta a latência e cria um ponto único de falha. Essas abordagens tendem a limitar as visualizações (a conjuntos de dados compatíveis com SQL), deixando uma lacuna de visibilidade em relação ao restante do cenário de dados (de SaaS a NoSQL, passando por arquivos e mensagens).
Produtos como BigID surgiram para abordar isso: tornando-se a base para a corrida descoberta de dados e funções de governança em todos os dados – em toda a estrutura.
Obtenha uma visão global pesquisável de seus metadados, dados sensíveis e dados pessoais.
Em resposta a algumas das limitações dos catálogos atuais em termos de abrangência e contexto, algumas organizações começaram a explorar registros de dados para complementar essa infraestrutura de dados. Com uma camada de registro de dados, as organizações podem:
- Ampliar o campo de visão dos dados para além de um conjunto limitado de data lakes e data warehouses.
- Fornecer uma visão abrangente de todo o conjunto de dados corporativos.
- Habilitar a descoberta de metadados, dados de privacidade e dados de segurança (de importância crucial, dada a crescente complexidade dos ambientes).
- Aplique recursos de criação de perfis globais – seja para melhorar a qualidade dos dados, minimizar dados duplicados ou até mesmo simplesmente racionalizar custos em todo o volume de ativos de dados da empresa.
- Fornecer os metadados comerciais e operacionais necessários para simplificar as ações na governança de dados, bem como as atividades de privacidade e segurança.
Registro de Dados + Plataforma para Encontrar e Agir em Todos os Dados
Os dados são a força vital de todas as empresas digitais modernas. As abordagens tradicionais para gerenciamento de dados Fornecer uma visão incompleta dos dados deixa as organizações sem uma perspectiva mais ampla e vulneráveis a riscos. É preciso adotar uma abordagem mais moderna para gerenciar todo o seu conjunto de dados. Agora, mais do que nunca, é necessário usar virtualização e arquitetura de dados integradas para agir sobre todos os dados possíveis.
E é aí que entram os registros de dados: ajudando as organizações. Descubra e gerencie dados em contexto.: abrangendo não apenas metadados, mas também outros artefatos de dados para compreensão risco e regulamentação -como dados pessoais e dados sensíveisDessa forma, os profissionais de dados podem obter o contexto completo do conteúdo que estão pesquisando e agilizar a tomada de decisões, seja em governança de dados, segurança ou privacidade.
Autor
