Uso aceitável de IA: como governar o que pessoas e IA podem fazer com dados corporativos

A maioria das organizações agora enfrenta um problema de uso aceitável de IA, mesmo que já possuam uma política de uso aceitável de IA.

Os funcionários usam assistentes virtuais para resumir documentos. Os desenvolvedores enviam código para assistentes de IA. As equipes experimentam IA generativa para pesquisa, conteúdo, análise e automação. Os aplicativos de IA aprovados se conectam diretamente aos repositórios corporativos. Os agentes de IA recuperam dados, invocam ferramentas e executam ações com cada vez mais facilidade, utilizando identidades e permissões já existentes.

Muitas dessas atividades podem envolver usuários legítimos, sistemas aprovados e acesso válido.

Isso não torna automaticamente todo uso apropriado.

O uso aceitável de IA define como pessoas, aplicativos, copilotos, modelos e agentes podem usar IA, dados, acesso e autoridade corporativos dentro dos limites aprovados de segurança, privacidade, governança e negócios.

A questão central vai além de saber se alguém é capaz de usar IA.

Essa pessoa ou sistema de IA deve usar esses dados, por meio dessa IA, para essa finalidade e com o objetivo de alcançar esse resultado?

Essa distinção é importante porque a IA pode transformar o acesso legítimo em uso indevido sem que ninguém precise burlar a autenticação, explorar uma vulnerabilidade ou roubar credenciais.

O que é o uso aceitável de IA?

O uso aceitável de IA define as maneiras aprovadas pelas quais funcionários, aplicativos, copilotos, modelos, agentes e outros sistemas de IA podem acessar, processar, recuperar, gerar, compartilhar, transformar ou agir sobre dados e sistemas corporativos.

Um programa de uso aceitável pode abordar quais serviços de IA os funcionários podem usar, quais informações eles podem enviar, a quais sistemas a IA pode acessar, quais finalidades comerciais a IA pode apoiar, para onde os dados gerados por IA podem ser enviados e quais ações exigem autorização adicional.

O conceito se assemelha às políticas tradicionais de uso aceitável, mas a IA introduz mais variáveis.

As políticas tradicionais costumavam se concentrar em como os funcionários usavam dispositivos, redes, aplicativos e informações corporativas. A IA adiciona modelos, avisos, sistemas RAG (Raiz, Aparência e Gramática), agentes, dados de treinamento, bancos de dados vetoriais, Identidades de IA, serviços externos de IA, permissões delegadas e ações autônomas.

Isso cria um problema de governança mais amplo.

O uso aceitável da IA deve reger a relação entre o usuário, a IA, os dados, a finalidade e a ação.

Por que o uso aceitável de IA é mais do que uma política para funcionários?

Muitas organizações abordam inicialmente o uso aceitável da IA como uma questão de conscientização dos funcionários.

Não insira informações confidenciais em ferramentas públicas de IA. Não utilize modelos não aprovados. Não envie registros de clientes. Não faça upload de código-fonte. Não confie em conteúdo gerado por IA sem revisão.

Essas regras são importantes, mas a IA empresarial agora vai muito além de solicitações individuais.

Um copiloto autorizado pode obter informações diretamente de repositórios internos. Um sistema RAG pode conectar um modelo ao conhecimento da empresa. Um aplicativo de IA pode processar registros confidenciais por meio de uma API. Um agente pode usar uma conta de serviço ou identidade delegada para acessar dados e acionar fluxos de trabalho subsequentes.

Nesses ambientes, o usuário jamais poderá colar manualmente informações confidenciais em qualquer lugar.

A IA pode alcançá-lo diretamente.

O uso aceitável, portanto, deve reger o acesso e o comportamento da IA, e não apenas o comportamento dos funcionários.

A aprovação da IA não significa automaticamente aprovação de uso.

As organizações distinguem cada vez mais a IA sancionada da IA legalizada. IA sombra.

Essa distinção ajuda as organizações a identificar serviços que operam fora dos processos estabelecidos de segurança, aquisição, privacidade ou governança.

Mas a aprovação resolve apenas uma parte do problema.

Um sistema de IA aprovado ainda pode receber dados inadequados. Um copiloto autorizado ainda pode herdar acesso excessivo. Um agente corporativo ainda pode ter mais autoridade do que sua tarefa exige. Um modelo permitido ainda pode suportar um uso que conflite com a finalidade de privacidade, os requisitos de retenção ou a política interna.

Isso cria um princípio importante:

A aprovação da IA responde se a organização permite o uso do sistema. O uso aceitável responde se a organização permite esse uso do sistema, dos dados e da autoridade.

Uso aceitável da IA versus uso indevido da IA

O uso aceitável da IA define os limites aprovados.

O uso indevido de IA ocorre quando uma pessoa ou um sistema de IA opera fora desses limites.

Esse uso indevido pode envolver um serviço de IA não aprovado, mas não necessariamente. Um aplicativo de IA aprovado também pode gerar uso indevido quando alguém o alimenta com dados restritos, o utiliza para fins não autorizados, expõe informações ao público errado ou permite que um agente execute ações fora do seu escopo pretendido.

Essa distinção torna-se especialmente importante em sistemas autônomos.

O artigo da BigID sobre uso indevido de dados em sistemas de IA agéticos Analisa uma forma específica de uso indevido: agentes de IA que utilizam dados além do seu âmbito ou finalidade autorizados.

O uso aceitável de IA abrange a questão mais ampla da governança envolvendo funcionários, IA autorizada, IA paralela, copilotos, modelos, aplicativos e agentes.

Como se manifesta o uso inaceitável de IA?

O uso inaceitável de IA pode assumir muitas formas, pois as organizações têm dados, políticas, setores e requisitos de risco diferentes.

Os cenários comuns incluem:

• Submeter código-fonte confidencial a um serviço de IA que a organização não aprovou para fins de informação proprietária.
• Utilizar informações pessoais de clientes em um fluxo de trabalho de IA sem uma finalidade comercial aprovada.
• Permitir que um copiloto corporativo recupere arquivos confidenciais por meio de permissões de usuário excessivas.
• Utilizar dados regulamentados para treinar ou ajustar um modelo sem a devida governança.
• Permitir perguntas ou respostas contendo informações sensíveis que podem fluir para sistemas fora dos limites aprovados.
• Conceder a um agente de IA acesso a sistemas ou conjuntos de dados além do que sua tarefa designada exige.
• Permitir que um agente envie, modifique, exclua ou publique informações sem a devida aprovação.
• Utilizar informações empresariais desatualizadas, obsoletas ou restritas como contexto atual de IA.
• Reutilizar informações coletadas para uma finalidade comercial em um fluxo de trabalho de IA não relacionado.
• Permitir que decisões ou recomendações geradas por IA influenciem processos importantes sem a supervisão necessária.

O fio condutor não é a tecnologia.

O ponto em comum é a incompatibilidade entre acesso, propósito, política e resultado.

Por que a sensibilidade dos dados altera a decisão de uso aceitável

Nem toda interação com IA acarreta o mesmo risco.

Um funcionário que envia documentação pública de um produto a um assistente autorizado gera uma pergunta de segurança diferente daquela gerada por um funcionário que envia informações pessoais identificáveis (PII) de clientes, credenciais, documentos legais, registros financeiros, propriedade intelectual, código-fonte ou informações de saúde.

O serviço de IA pode permanecer exatamente o mesmo.

Os dados alteram o risco.

Portanto, as organizações precisam saber a que informações a IA pode acessar ou receber antes de decidir se o uso está de acordo com as políticas vigentes.

Descoberta e classificação de dados sensíveis pode fornecer essa base ao identificar informações regulamentadas, pessoais, confidenciais, proprietárias, de credenciais, financeiras, de saúde e outras informações de alto valor em ambientes corporativos.

A política de uso aceitável torna-se mais significativa quando se baseia no conhecimento dos dados reais.

Identidade e acesso ainda importam

Uma política de uso aceitável não pode compensar o acesso descontrolado.

Se um funcionário, aplicativo, conta de serviço, identidade de máquina ou agente de IA puder acessar informações muito mais sensíveis do que o exigido por sua finalidade legítima, a organização já terá ampliado o número de maneiras pelas quais o uso inadequado de IA pode ocorrer.

Isso faz com que o princípio do menor privilégio seja uma parte importante do uso aceitável da IA.

As organizações precisam entender acesso direto, acesso em grupo, permissões herdadas, autoridade delegada, identidades de aplicativos, contas de serviço, identidades de máquinas e caminhos de acesso específicos para IA.

Governança de Acesso à IA Conecta essas identidades e permissões com dados corporativos confidenciais para que as equipes possam identificar onde o acesso à IA excede a necessidade aprovada.

O uso aceitável começa com a definição do que deve acontecer. A governança de acesso ajuda a restringir o que pode acontecer.

O propósito é a camada que falta em muitas políticas de IA.

Duas pessoas podem usar o mesmo aplicativo de IA aprovado com o mesmo conjunto de dados e ainda assim obter resultados de governança diferentes.

A diferença pode estar relacionada à finalidade.

Por exemplo, informações de clientes coletadas para dar suporte a uma conta podem servir a um fluxo de trabalho operacional legítimo. Usar essas mesmas informações para construir um modelo de IA não relacionado pode exigir uma análise diferente de políticas, privacidade, consentimento, finalidade comercial e risco.

Por isso, o uso aceitável da IA não deve se limitar a uma lista binária de ferramentas aprovadas e proibidas.

As organizações também precisam considerar:

O que essa IA pode fazer com essa categoria de dados, para essa finalidade comercial?

Essa questão conecta diretamente a governança da IA com a privacidade e a governança de dados.

Uso aceitável e privacidade da IA

Os programas de privacidade já reconhecem que possuir informações pessoais não concede autoridade ilimitada para utilizá-las.

A IA torna essa distinção mais visível porque os modelos e aplicativos podem reutilizar informações de maneiras que diferem significativamente do fluxo de trabalho que as coletou originalmente.

As equipes de privacidade podem precisar entender quais dados pessoais são inseridos na IA, por que a organização os utiliza, se o uso está em conformidade com as políticas ou requisitos aplicáveis, por quanto tempo os sistemas de IA retêm as informações, se os dados são compartilhados com terceiros e se os indivíduos ou órgãos reguladores esperam controles adicionais.

A governança de uso aceitável ajuda a traduzir essas preocupações em limites práticos para a IA.

A questão da privacidade não é apenas "A IA contém dados pessoais?", mas sim "Essa IA deveria usar esses dados pessoais dessa maneira?".“

A IA paralela dificulta a aplicação de regras de uso aceitável.

As organizações não podem aplicar controles de uso aceitável significativos à IA cuja existência desconhecem.

Os funcionários podem adotar assistentes de IA, extensões de navegador, recursos de SaaS, ferramentas de desenvolvimento, modelos ou APIs com pouca visibilidade central. As unidades de negócios podem introduzir aplicativos habilitados para IA por meio de fornecedores existentes. Os desenvolvedores podem conectar modelos externos por meio de APIs.

Isso cria um problema de visibilidade antes que ele se torne um problema de política pública.

Descoberta de IA paralela Ajuda as organizações a identificar IA não autorizada ou insuficientemente governada, para que as equipes de segurança e governança possam entender para onde as informações corporativas podem estar fluindo.

Mas a descoberta por si só não determina se o uso é apropriado.

A IA paralela questiona o que existe. A governança de uso aceitável questiona o que deve acontecer a seguir.

Agentes de IA transformam o uso aceitável em ação aceitável

Inicialmente, a IA generativa concentrou-se em instruções e resultados.

Os agentes ampliam o problema porque podem agir.

Um agente pode pesquisar informações da empresa, acessar aplicativos, chamar APIs, enviar mensagens, atualizar registros, criar arquivos, alterar permissões, executar código, acionar fluxos de trabalho ou invocar outro agente.

A questão do uso aceitável torna-se, portanto, mais ampla:

A quais dados esse agente pode ter acesso e quais ações ele pode realizar com essa autoridade?

As organizações precisam saber a identidade por trás do agente, quais permissões ele herda, quais ferramentas ele pode invocar, para onde as informações podem ser enviadas e quais ações exigem aprovação mais rigorosa.

Para mais informações sobre o aspecto de acesso relacionado a esse problema, consulte Como os agentes de IA herdam permissões.

Uso aceitável de IA versus uso indevido de dados de IA

Esses conceitos se sobrepõem, mas servem a propósitos diferentes.

Uso aceitável de IA Define os limites aprovados para pessoas e sistemas de IA.

uso indevido de dados de IA Descreve situações em que a IA usa informações de uma forma que entra em conflito com esses limites, como usar dados autorizados para uma finalidade inadequada ou além do seu escopo autorizado.

Para sistemas autônomos, o BigID é Uso indevido de dados em sistemas de IA agéticos O artigo aprofunda-se em como permissões legítimas ainda podem levar ao uso inadequado de dados.

A relação é simples:

O uso aceitável define o limite. O uso indevido o ultrapassa.

Por que uma política de uso aceitável de IA não é suficiente

Uma política escrita cria uma base importante.

Não consegue ver a que dados sensíveis um sistema de IA tem acesso. Não consegue identificar permissões excessivas concedidas a agentes por si só. Não consegue determinar quais modelos não autorizados os funcionários utilizam. Não consegue mostrar se um sistema de IA recupera informações regulamentadas ou as envia para outro destino.

A lacuna entre as políticas e as operações cria um dos problemas mais difíceis de governança da IA.

As organizações precisam conectar as políticas com:

• Inventário de IA
• Descoberta e classificação de dados
• Identidade
• Acesso efetivo
• Propósito
• Propriedade
• Linhagem
• Atividade
• Instruções e respostas
• Ferramentas e ações do agente
• Destinos externos
• Remediação

A governança torna-se útil quando a organização consegue conectar uma declaração de política aos dados e à atividade de IA que ela governa.

Como criar um programa de uso aceitável de IA

1. Sistemas de IA para Inventário

Identificar modelos, copilotos, agentes, aplicações habilitadas para IA, APIs, sistemas RAG, conjuntos de dados, repositórios de vetores e outros serviços de IA aprovados e não aprovados que interagem com informações corporativas.

2. Descubra os dados que a IA pode alcançar

Entenda quais sistemas de IA podem acessar informações regulamentadas, pessoais, confidenciais, proprietárias, credenciais, financeiras, de saúde, de propriedade intelectual e outras informações sensíveis.

3. Defina o uso aceitável por dados e finalidade.

Evite políticas que apenas dividem as ferramentas de IA em categorias permitidas e proibidas.

Defina quais categorias de dados sistemas específicos de IA podem usar, por que podem usá-las e quais resultados a organização permite.

4. Mapear identidades humanas e não humanas

Determine quais usuários, grupos, aplicativos, contas de serviço, identidades de máquina e agentes de IA criam caminhos de acesso aos dados corporativos.

5. Reduzir o acesso excessivo

Remova permissões amplas, obsoletas, herdadas, desnecessárias ou de alto risco que concedam à IA um alcance de dados sensíveis maior do que o exigido pela sua tarefa.

6. Gerenciar instruções e respostas

Compreenda onde informações sensíveis entram nas interações com IA e onde a IA pode revelar informações sensíveis em suas respostas.

7. Restringir ações do agente

Separe a autoridade de recuperação de ações subsequentes, como enviar, escrever, excluir, executar, publicar, aprovar ou alterar permissões.

8. Monitorar o uso real

Compare a política com a prática. Determine se pessoas e sistemas de IA acessam, recuperam, movem, compartilham, alteram ou agem com informações sensíveis de maneiras inesperadas.

9. Criar um Processo de Exceção

O uso de IA muda rapidamente. As equipes podem ter motivos legítimos para solicitar novos modelos, conjuntos de dados, permissões ou finalidades. Forneça um processo de revisão controlado, em vez de incentivar os usuários a contornar as políticas.

10. Vincular as violações às ações

Um programa de uso aceitável precisa de um caminho de resposta. As equipes podem precisar restringir o acesso, bloquear um fluxo de trabalho, remover dados, alterar uma política, atribuir um responsável, investigar atividades ou encaminhar um problema para a parte interessada apropriada.

Como a BigID ajuda a operacionalizar o uso aceitável de IA

O uso aceitável de IA requer mais do que uma lista de produtos de IA aprovados.

As organizações precisam compreender os dados, identidades, permissões, políticas, atividades e sistemas de IA envolvidos em cada uso.

A BigID ajuda a conectar essas camadas, auxiliando as organizações a:

• Descubra e governe a IA: Identificar modelos de IA, agentes, copilotos, conjuntos de dados, prompts, RAG (Representação, Atitude, Raciocínio), repositórios de vetores, pipelines e IA paralela, e conectá-los ao contexto empresarial.
• Descubra e classifique dados sensíveis: Compreender informações regulamentadas, pessoais, confidenciais, proprietárias, de credenciais, financeiras, de saúde e outras informações sensíveis em ambientes corporativos.
• Entenda o acesso à IA: Conecte sistemas e identidades de IA com os dados e permissões que sustentam sua autoridade.
• Identificar acesso excessivo: Identificar acessos amplos, herdados, obsoletos, desnecessários e de alto risco relacionados a informações sensíveis.
• Adicionar contexto à atividade: Entenda como os dados sensíveis são acessados, transferidos, compartilhados, modificados, baixados ou excluídos.
• Proteger as interações com IA: Monitore informações sensíveis em solicitações e respostas e conecte interações de risco com políticas e fluxos de trabalho de resposta.
• Implemente medidas corretivas: Encaminhar as conclusões aos proprietários, restringir o acesso, aplicar as políticas, remover dados desnecessários e coordenar a remediação quando apropriado.

A BigID ajuda as organizações a se conectarem:

IA → Identidade → Acesso → Dados Sensíveis → Finalidade → Atividade → Política → Ação

Isso cria uma base mais sólida para determinar não apenas se a IA empresarial existe, mas também se a organização a utiliza dentro dos limites aprovados.

Teste de prontidão para uso aceitável de IA

O uso aceitável da IA vai além de dizer sim ou não.

A adoção da IA continuará a se expandir por meio de aplicativos empresariais, fluxos de trabalho, equipes e processos de negócios.

Um modelo de governança construído apenas em torno de ferramentas aprovadas e proibidas terá dificuldades para acompanhar o ritmo.

A abordagem mais duradoura conecta o sistema de IA aos dados, identidade, acesso, finalidade, políticas e ações que o cercam.

Isso permite que uma organização autorize o uso valioso de IA sem tratar cada login válido, aplicativo aprovado ou conjunto de dados tecnicamente disponível como permissão ilimitada.

O Access informa o que as pessoas e a IA podem alcançar.

O uso aceitável define o que eles devem fazer com isso.

Perguntas frequentes sobre o uso aceitável de IA

O que é uso aceitável de IA?

O uso aceitável de IA define como funcionários, aplicativos, copilotos, modelos, agentes de IA e outros sistemas podem acessar, processar, recuperar, gerar, compartilhar, transformar ou agir sobre dados corporativos dentro dos limites aprovados de segurança, privacidade, governança e negócios.

O que é uma política de uso aceitável de IA?

Uma política de uso aceitável de IA define os usos aprovados e proibidos da IA, incluindo quais sistemas de IA as pessoas podem usar, quais dados elas podem enviar ou expor, quais finalidades comerciais a IA pode apoiar e quais ações ou fluxos de trabalho exigem controles ou aprovação adicionais.

O uso aceitável de IA é o mesmo que o uso aprovado de IA?

Não. Uma organização pode aprovar um sistema de IA, restringindo os dados, finalidades, identidades ou ações permitidas dentro desse sistema. A aprovação do sistema não autoriza todos os usos possíveis.

Qual a diferença entre o uso aceitável da IA e o uso indevido da IA?

O uso aceitável da IA define os limites aprovados. O uso indevido da IA ocorre quando uma pessoa ou um sistema de IA utiliza dados, acesso, capacidades ou autoridade fora desses limites aprovados.

O uso indevido de IA, como o uso paralelo de IA, é o mesmo que uso indevido de IA?

Não. IA paralela refere-se a sistemas ou usos de IA que carecem de visibilidade ou governança organizacional suficientes. A IA paralela pode gerar usos inaceitáveis, mas a IA aprovada também pode violar os requisitos de uso aceitável.

Por que a sensibilidade dos dados é importante para o uso aceitável da IA?

O mesmo fluxo de trabalho de IA pode gerar riscos diferentes dependendo das informações envolvidas. Informações públicas, dados pessoais identificáveis (PII), informações de saúde protegidas (PHI), código-fonte, credenciais, registros financeiros e propriedade intelectual exigem considerações diferentes em relação à segurança, privacidade e governança.

De que forma os agentes de IA afetam as políticas de uso aceitável?

Os agentes de IA combinam acesso a dados com ferramentas e autoridade de ação. Portanto, as organizações precisam de limites de uso aceitáveis em torno dos quais os agentes de dados podem recuperar, quais identidades e permissões eles usam, quais sistemas eles podem acessar e quais ações eles podem executar.

Por que uma política de uso aceitável de IA por si só não é suficiente?

Uma política escrita, por si só, não consegue determinar quais sistemas de IA existem, a quais dados sensíveis eles podem acessar, quais identidades fornecem esse acesso, como pessoas e agentes usam os dados ou se alguma atividade viola a política. As organizações precisam de visibilidade operacional e controles em torno do ambiente de dados e IA.

Como as organizações podem garantir o uso aceitável da IA?

As organizações podem inventariar IA, descobrir dados sensíveis, mapear identidades de IA e humanas, compreender o acesso efetivo, reduzir permissões excessivas, monitorar avisos e atividades, definir regras baseadas em finalidade, restringir ações de agentes de alto impacto e conectar violações a fluxos de trabalho de remediação.

Como a BigID apoia o uso aceitável de IA?

A BigID ajuda as organizações a descobrir IA e dados sensíveis, conectar sistemas de IA com identidades humanas e não humanas, compreender permissões e acessos excessivos, adicionar contexto de atividade e de solicitação, aplicar políticas de governança e coordenar a remediação em ambientes de dados e IA corporativos.