Um dos formatos de dados mais difíceis de processar para dados pessoais e sensíveis são os formatos de dados não estruturados, como arquivos e e-mails. Os dados não estão bem situados ou organizados em tabelas e locais específicos, dificultando a localização e a identificação do que é sensível. Exemplos de armazenamentos de dados não estruturados podem incluir servidores de arquivos SMB, NFS e CIFS, ou armazenamentos de arquivos em nuvem Box, Google Drive e O365. Também pode incluir armazenamentos de objetos IaaS, como AWS S3, GCP Cloud Storage ou Azure Blob. Pode significar e-mail e chat, como MS Exchange, Google Gmail, MS Outlook e Teams ou Slack. Também pode incluir todos os cantos e recantos dentro do SAP ou Salesforce onde as organizações podem armazenar comunicações, arquivos ou mídia. Dados não estruturados residem em inúmeros lugares e, para empresas que buscam encontrar dados pessoais ou dados importantes nesses lugares, as opções são poucas.
Antes do BigID, as empresas que desejavam escanear dados não estruturados para encontrar dados sensíveis à privacidade ou à segurança precisavam recorrer a ferramentas limitadas às abordagens tradicionais de correspondência de padrões para silos específicos de armazenamentos de dados não estruturados. As ferramentas não tinham escala ou escopo para ir além de arquivos básicos e e-mails. As tecnologias estavam estagnadas em 2006, quando muitas delas foram introduzidas pela primeira vez, seja DLP, Governança de Acesso a Dados ou e-Discovery. O BigID repensa completamente a forma como as empresas escaneiam dados não estruturados em escala.
Com a arquitetura de microsserviços do BigID, scanners adicionais podem ser ativados dinamicamente para adicionar escala lateral ao processamento de dados. O aprendizado de máquina (ML) é usado para pré-processar documentos densos, acelerando a análise e o processamento. A classificação é combinada com Correlação, Catalogação e Análise de Cluster para melhor analisar e organizar os dados. As fontes de dados suportadas são ampliadas com o novo suporte para IaaS, Big Data, SaaS, ERP e muito mais. Os formatos de documentos suportados são ampliados de PDF, Office e Google para mídia, Parquet, Zip, Orc e muito mais. Com o BigID, a busca por dados sensíveis de privacidade e segurança em dados não estruturados é completamente repensada para 2020 e além.