As iniciativas de Pipeline de Dados permitem que as empresas gerem e ajam com base em insights provenientes de seus investimentos em iniciativas de Big Data. Ao transformar radicalmente a velocidade com que aplicativos e análises podem integrar novos dados, as organizações podem reagir com mais facilidade a novas oportunidades, tomar decisões e transformar processos de negócios importantes.
A BigID foi pioneira na descoberta de dados pessoais em repouso – e agora estamos estendendo esses recursos de descoberta e inteligência de dados para dados em movimento. A plataforma BigID agora suporta pipelines de dados para que as empresas possam monitorar dados sensíveis em movimento em plataformas de streaming de dados, incluindo Kafka, Kafka Connect, AWS Kinesis e FTP. Descubra e classifique dados em movimento, integre a correlação de consentimento do consumidor em plataformas de streaming de dados e estenda o insight de privacidade para pipelines de alta velocidade.
O Desafio dos Pipelines de Dados
Os recursos de streaming de dados de ferramentas como Apache Kafka, AWS Kinesis e Kafka Connect da Confluent permitem que as organizações utilizem dados de aplicativos móveis existentes, dispositivos IoT, aplicativos de negócios, data lakes e outras fontes de eventos para obter insights rapidamente e acionar processos de negócios responsivos.
Regulamentações globais de privacidade, como a CCPA e a GDPR, introduziram requisitos específicos para a proteção de novas categorias de informações pessoais, ao mesmo tempo em que limitam como elas podem ser usadas, compartilhadas ou processadas. Para atender a essas regulamentações e abordar o processamento de dados de forma ética, é fundamental que as organizações integrem insights de privacidade às iniciativas de pipeline de dados.
As multas podem ter um impacto material, mas clientes e consumidores irão procurar outro lugar se perderem a confiança na marca de uma empresa por causa de violações de privacidade.
Dada a velocidade, o volume e a complexidade dos dados que fluem pelos pipelines de dados atuais, é um enorme desafio para as empresas garantir que estejam fazendo a coisa certa com os dados – tanto em relação à privacidade dos dados quanto operando com os princípios de privacidade por design quando desenvolvedores e equipes de análise criam aplicativos. Para isso, as organizações precisam ser capazes de:
– Identificar dados pessoais sensíveis em movimento (e em repouso)
– Entenda como ele surgiu,
– Correlacioná-lo de volta a um conjunto de identidades para classificação de informações pessoais e
– Governar o uso contra propósitos de consentimento está entre os desafios.
Há muito em jogo.
Por um lado, perder o controle dos dados pessoais enquanto eles circulam pela empresa — ou pior, usá-los de maneiras que violam a proteção da privacidade do consumidor — pode minar a confiança de maneiras que excedem em muito o custo de multas regulatórias e responsabilidades civis estatutárias.
As empresas também podem perder sua vantagem competitiva porque o risco de infringir regulamentações ou utilizar informações pessoais de maneiras não pretendidas é muito alto para aproveitar os fluxos de dados.
Em um instante, quase tão rápido quanto os dados podem fluir, a confiança pode ser irreparavelmente quebrada entre uma empresa e seus clientes, mesmo que o propósito não tenha sido nefasto.
Você não precisa escolher entre privacidade e inovação
Para ajudar as empresas a equilibrar a busca por inovação orientada por pipeline de dados com a necessidade de proteger informações pessoais confidenciais, a BigID lançou a primeira solução de descoberta de pipeline de dados com foco em privacidade do setor.
A Plataforma BigID permite que organizações monitorem transferências de dados pessoais (PI) e pessoais (PII) sensíveis em escala e controlem o consentimento do consumidor em pipelines de dados de alta velocidade para ajudar as organizações a cumprir as regulamentações globais de privacidade. Os insights do BigID podem ser limitados a "conversas" específicas de fluxos de dados, permitindo o monitoramento granular das políticas. A descoberta é realizada por meio de APIs e pode ser implantada em pontos de entrada e saída do data lake.
Os recursos exclusivos de dados em movimento do BigID agora incluem:
– Capacidade de escanear dados em movimento para soluções de streaming de dados, incluindo Kafka, Kafka Connect, AWS Kinesis e FTP para visibilidade direta, insights de dados e inteligência de dados.
– A indústria maior suporte para fontes de dados residindo no data center ou na nuvem, e dados em movimento, bem como dados em repouso. O suporte abrange arquivos não estruturados, bancos de dados estruturados, data lakes, big data, data warehouses, mainframes, aplicativos como SAP, aplicativos SaaS como Salesforce e ambientes de nuvem como AWS, Azure e outros.
– Inventário de dados pessoais quase em tempo real, à medida que os dados são transmitidos para o pipeline de dados, proporcionando rápido tempo de retorno ao eliminar a necessidade de depender de uma varredura completa dos dados em repouso.
– A capacidade de descobrir não apenas informações de identificação pessoal (PII), mas informações pessoais contextuais (PI), conforme definido pela nova onda de regulamentações de privacidade.
– Classificação, catalogação e correlação crítica para vincular atributos de dados a uma pessoa — etapas essenciais para satisfazer os direitos de dados pessoais conforme definidos pela CCPA e GDPR.
– A capacidade de correlacionar registros de acordos de consentimento e preferências com indivíduos e seus dados para governança.
– Monitoramento e relatórios para transferências de dados de terceiros e uso de dados exógenos para aplicações e análises
Privacidade prática
Os novos recursos do BigID tornam os princípios de privacidade desde a concepção uma realidade prática para iniciativas de pipeline de dados – e permitem melhores relatórios e monitoramento para garantir a conformidade. O escritório de privacidade pode trabalhar de forma mais produtiva com engenheiros, cientistas de dados e desenvolvedores de aplicativos para projetar e implantar novos aplicativos e serviços que capitalizem o big data com agilidade, tudo com a confiança de que informações confidenciais serão protegidas.
A privacidade por design pode ser transformada de um conjunto de princípios abstratos em um conjunto bem estruturado e bem compreendido de processos de privacidade por engenharia. Em vez de depender do escritório de privacidade para sinalizar o potencial uso indevido de informações pessoais em iniciativas de pipeline após o fato (ou depois que os programas de análise já estiverem implantados), as empresas podem incorporar insights de privacidade ao ciclo de vida.
Os insights de descoberta e classificação do BigID podem ser usados para documentar se os dados estão sendo usados de acordo com as políticas e capacitar as equipes de privacidade, ciência de dados e engenharia a tomar medidas imediatas caso isso não aconteça. Dessa forma crucial, o BigID ajuda as organizações a dar um passo importante para quebrar silos e unificar a empresa, garantindo a privacidade e preservando a confiança.
Obtenha uma demonstração personalizada para saber mais sobre os recursos de descoberta de pipeline de dados do BigID.
Autor
