Avaliação de riscos de IA: estrutura, etapas e melhores práticas

A avaliação de riscos em IA mudou.

As organizações não avaliam mais apenas modelos de aprendizado de máquina criados e gerenciados por equipes de ciência de dados. A IA empresarial agora inclui aplicações de IA generativa, copilotos, geração aumentada por recuperação (RAG), agentes de IA, APIs, bancos de dados vetoriais, modelos de terceiros, fluxos de trabalho autônomos e recursos de IA incorporados em aplicativos SaaS.

Esses sistemas podem recuperar informações confidenciais, herdar permissões, interagir com aplicativos, chamar APIs, gerar conteúdo, acionar fluxos de trabalho e executar ações por meio de identidades humanas e de máquina.

Isso altera a questão central por trás de um Avaliação de risco da IA.

As organizações precisam entender não apenas O que poderia dar errado com um modelo de IA?, mas também A que dados a IA pode aceder, quais as identidades e permissões que permitem esse acesso, que ações pode executar, que políticas se aplicam, quem é o responsável pelo risco e como as equipas irão detetar e responder quando as condições mudarem.

Uma avaliação eficaz dos riscos da IA, portanto, abrange todo o ciclo de vida da IA, desde a descoberta e implementação até o acesso, uso, monitoramento, governança e remediação.

O que é uma avaliação de risco de IA?

Uma avaliação de riscos de IA é um processo estruturado para identificar, analisar, priorizar e documentar os riscos associados a um sistema de IA, seus dados, acesso, comportamento, casos de uso, dependências e impacto potencial.

A avaliação ajuda as organizações a determinar:

• Quais sistemas de IA e casos de uso existem?
• Quem é o proprietário de cada sistema?
• Que dados a IA usa ou aos quais pode ter acesso?
• Quais identidades e permissões permitem o acesso?
• Que decisões ou ações a IA pode tomar?
• Quais pessoas, sistemas ou processos de negócio isso pode afetar?
• Quais riscos de privacidade, segurança, proteção, regulamentação ou operacionais se aplicam?
• Quais controles já existem?
• Quais riscos exigem mitigação ou aceitação?
• Que evidências sustentam a avaliação?
• Como a organização monitorará os riscos após a implementação?

Uma avaliação de riscos de IA deve abranger tanto a IA desenvolvida internamente quanto os serviços de IA de terceiros. Deve também levar em conta a IA incorporada em aplicativos, plataformas de fornecedores, ferramentas colaborativas e fluxos de trabalho corporativos.

Por que a avaliação de riscos em IA é importante?

Os sistemas de IA interagem cada vez mais diretamente com os dados empresariais e os processos de negócios.

Uma aplicação tradicional geralmente segue uma lógica predefinida. Os sistemas modernos de IA podem interpretar informações, gerar respostas, recuperar dados dinamicamente, selecionar ferramentas, interagir com APIs e, no caso de agentes, executar ações com diferentes graus de autonomia.

Isso cria riscos em diversas dimensões simultaneamente:

• Privacidade de dados e exposição de dados sensíveis
• Segurança cibernética
• Identidade e acesso excessivo
• Confiabilidade e precisão do modelo
• Preconceito e resultados discriminatórios
• Segurança com resposta rápida
• Qualidade e linhagem dos dados
• Riscos de terceiros e da cadeia de suprimentos
• Conformidade regulamentar
• Transparência e explicabilidade
• Supervisão humana
• Impacto operacional e comercial

Uma avaliação estruturada oferece às equipes de segurança, privacidade, jurídico, risco, conformidade, dados e IA uma maneira comum de determinar onde a IA cria exposição significativa e o que deve ser feito em seguida.

Avaliação de Riscos de IA vs. Gestão de Riscos de IA vs. Governança de IA

A avaliação de riscos em IA, a gestão de riscos em IA e a governança em IA funcionam em conjunto, mas servem a propósitos diferentes.

A avaliação não deve terminar com uma pontuação de risco. O resultado deve orientar as decisões de governança e as ações de gestão de riscos ao longo de todo o ciclo de vida da IA.

O que deve abranger uma avaliação de risco de IA?

O perfil de risco de um sistema de IA depende de mais do que apenas a arquitetura do modelo. As organizações devem avaliar o sistema completo em torno do modelo.

Risco do sistema de IA e do caso de uso

Comece pela finalidade pretendida. Uma ferramenta interna de sumarização cria um perfil de risco diferente de um sistema de IA usado para decisões de emprego, decisões financeiras, fluxos de trabalho na área da saúde, infraestrutura crítica ou ações comerciais autônomas.

Documente a finalidade comercial, os usuários, as partes interessadas afetadas, o ambiente de implantação, o proprietário, a função de tomada de decisão, o nível de autonomia e as consequências de falha ou uso indevido.

Risco de dados

Identifique os dados utilizados para treinamento, ajuste fino, fundamentação, recuperação, inferência, instruções, saídas, avaliação e monitoramento.

Avalie se esses dados contêm:

• Informações pessoais ou regulamentadas
• Credenciais e segredos
• Informações financeiras ou de saúde
• Propriedade intelectual
• Código-fonte
• Informações comerciais confidenciais
• Dados restritos ou de alto risco
• Dados de baixa qualidade, imprecisos, tendenciosos ou inadequados

A avaliação de riscos também deve considerar a proveniência, a linhagem, a qualidade, a propriedade, a retenção, o consentimento, a finalidade e os requisitos geográficos dos dados.

Risco de identidade e acesso

Os sistemas modernos de IA podem herdar acesso por meio de aplicativos, APIs, contas de serviço, identidades de máquina, funções de usuário, conectores e integrações corporativas.

Uma avaliação deve determinar:

• Quais identidades podem usar o sistema de IA?
• Quais identidades a própria IA utiliza?
• A que dados essas identidades podem ter acesso?
• Se as permissões excedem a finalidade pretendida do sistema de IA
• Se o acesso herdado cria exposição não intencional
• Quais ações a IA pode executar com essas permissões?

Governança de Acesso à IA Ajuda a conectar sistemas de IA e identidades com dados sensíveis, permissões, caminhos de acesso e exposição, para que as equipes possam identificar onde o acesso excede a necessidade legítima dos negócios.

Risco de solicitação, recuperação e saída

IA Generativa Introduz riscos na camada de interação.

Avalie se informações sensíveis podem ser inseridas em prompts, aparecer em respostas, tornar-se disponíveis por meio de recuperação ou ultrapassar os limites pretendidos do usuário e do sistema.

Considerar injeção imediata, divulgação de dados sensíveis, recuperação inadequada, tratamento inseguro da saída, contexto excessivo e uso posterior de conteúdo gerado por IA.

IA Agencial e Risco de Autonomia

Os agentes de IA exigem maior atenção, pois podem fazer mais do que gerar respostas.

Os agentes podem consultar bancos de dados, chamar APIs, interagir com aplicativos SaaS, modificar registros, iniciar transações, criar conteúdo, acionar fluxos de trabalho ou invocar outras ferramentas e agentes.

Um avaliação de risco de IA agente Deve-se avaliar tanto o que um agente pode acessar quanto o que ele pode fazer com esse acesso.

Os principais fatores incluem:

• Identidade do agente
• Permissões efetivas
• Ferramentas disponíveis
• Dados sensíveis acessíveis
• Capacidade de tomar medidas consequentes
• Requisitos de aprovação humana
• Monitoramento de atividades
• Encerramento de emergência ou revogação de acesso

Risco de modelo e desempenho

Avalie riscos como resultados imprecisos, alucinações, viés, deriva do modelo, robustez insuficiente, falta de explicabilidade, uso inadequado e desempenho fora das condições previstas.

A importância desses riscos depende muito da finalidade do sistema de IA e das consequências de resultados incorretos.

Risco de segurança

Avalie as formas pelas quais invasores ou usuários não autorizados poderiam manipular, comprometer ou usar indevidamente o sistema de IA e seus dados.

Isso pode incluir injeção imediata, envenenamento de dados, manipulação de modelos, comprometimento de credenciais, acesso excessivo, vazamento de dados sensíveis, integrações inseguras, arquivos maliciosos, ferramentas vulneráveis e uso não autorizado de IA.

Riscos de IA de terceiros e fornecedores

As organizações consomem cada vez mais IA por meio de fornecedores, em vez de desenvolverem todos os sistemas internamente.

Avaliação de risco de IA do fornecedor Deve-se avaliar quais fornecedores utilizam IA, quais modelos ou recursos de IA eles oferecem, quais dados corporativos recebem, se os dados suportam treinamento ou inferência, quais controles são aplicados e quais evidências o fornecedor fornece.

Risco de IA paralela

Os funcionários podem usar ferramentas de IA, extensões de navegador, copilotos, modelos e aplicativos fora dos processos de governança aprovados.

IA Sombra Cria um problema básico de avaliação: uma organização não pode avaliar o risco da IA cuja existência desconhece.

A descoberta por IA deve, portanto, preceder e apoiar continuamente a avaliação de riscos da IA.

Risco de Conformidade e Governança

Avalie quais leis, regulamentos, requisitos contratuais, políticas internas e padrões da indústria se aplicam ao sistema de IA e aos seus dados.

Os requisitos e orientações relevantes podem incluir a Lei de IA da UE, leis de privacidade como o GDPR, regulamentos específicos do setor, requisitos contratuais, políticas internas de IA e estruturas voluntárias como a Estrutura de Gestão de Riscos de IA do NIST.

Como o NIST AI RMF se aplica à avaliação de riscos de IA?

A estrutura de gerenciamento de riscos de IA do NIST fornece uma estrutura amplamente utilizada para gerenciar riscos de IA.

Seu núcleo organiza a gestão de riscos de IA em torno de quatro funções:

• Governar: Estabelecer políticas, responsabilidades, funções, processos e cultura de risco organizacional.
• Mapa: Estabeleça o contexto, a finalidade, as partes interessadas, os impactos e os riscos associados a um sistema de IA.
• Medir: Analisar, avaliar, testar e monitorar os riscos de IA identificados.
• Gerenciar: Priorize os riscos, aplique os controles, monitore os resultados e determine se a implantação ou o uso contínuo permanecem apropriados.

O NIST enfatiza que a gestão de riscos em IA deve ser contínua ao longo de todo o ciclo de vida da IA, em vez de funcionar como uma lista de verificação pontual.

A partir de 2026, o NIST revisará o AI RMF 1.0 e expandirá suas diretrizes para avaliação de sistemas modernos de IA. Em agosto de 2026, o NIST divulgou uma versão preliminar pública do documento. Framework TEVV-Athlon para Avaliação de Sistemas de IA, que aborda a avaliação em diversas tecnologias, incluindo grandes modelos de linguagem, IA multimodal e sistemas agentes. Juntamente com o Perfil de IA Generativa do NIST, esses desenvolvimentos reforçam a necessidade de avaliar a IA continuamente por meio de testes, avaliação, verificação, validação e gerenciamento de riscos do ciclo de vida.

Como a Lei de IA da UE afeta a avaliação de riscos da IA?

A Lei da UE sobre IA utiliza um modelo regulatório baseado em risco, tornando a classificação de sistemas de IA e a análise de risco documentada cada vez mais importantes para organizações que desenvolvem ou implementam IA dentro do seu âmbito de aplicação.

A lei passou a ser amplamente aplicável em 2 de agosto de 2026, com os poderes de fiscalização do Gabinete de IA e das autoridades nacionais já em vigor. Os requisitos de transparência para determinados sistemas de IA também se aplicam.

Em decorrência de alterações no cronograma de implementação, os requisitos para determinados sistemas de IA de alto risco passam a ter datas de aplicação posteriores. Os requisitos para certos casos de uso de alto risco do Anexo III entram em vigor a partir de 2 de dezembro de 2027, enquanto os requisitos para IA de alto risco incorporada em produtos regulamentados entram em vigor a partir de 2 de agosto de 2028.

As organizações devem, portanto, determinar:

• Se a Lei de IA se aplica ao sistema ou ao caso de uso.
• Independentemente de a organização atuar como fornecedora, implementadora ou outra entidade regulamentada.
• Como o sistema é classificado
• Quais são os requisitos de transparência ou outros requisitos atuais aplicáveis?
• Quais obrigações futuras de alto risco exigem preparação?
• Que documentação e provas a organização deve manter?

Preparação para a Lei de IA da UE Requer a conexão da classificação regulatória com os sistemas de IA, conjuntos de dados, proprietários, acesso, linhagem, controles, monitoramento e evidências que os sustentam.

Como realizar uma avaliação de risco de IA: 8 etapas

1. Descobrir e inventariar sistemas de IA

Identificar modelos, agentes, copilotos, aplicações, instruções, conjuntos de dados, bases de dados vetoriais, pipelines, APIs, IA de terceiros e IA paralela.

Registro de propriedade, finalidade comercial, status de implantação, fornecedor, usuários, ambiente e dependências.

2. Defina o caso de uso e o impacto da IA.

Documente o que o sistema faz, quem o utiliza, quem ele afeta, que decisões ele apoia e o que acontece se ele falhar, produzir um resultado incorreto ou for mal utilizado.

3. Mapear os dados por trás da IA

Identificar os dados utilizados para treinamento, ajuste fino, fundamentação, recuperação, inferência, estímulo, avaliação e fluxos de trabalho subsequentes.

Classificar dados sensíveis e relacioná-los com propriedade, linhagem, qualidade, finalidade, política e contexto regulatório.

4. Mapear identidades, acessos e ações

Determine quais usuários, aplicativos, contas de serviço, identidades de máquina, agentes, APIs e fornecedores podem acessar o sistema de IA e seus dados subjacentes.

Para os agentes, documente não apenas as informações acessíveis, mas também as ações e ferramentas disponíveis para eles.

5. Identificar cenários de risco

Avalie maneiras realistas pelas quais o sistema poderia causar danos ou exposição em relação a dados, privacidade, segurança, acesso, desempenho, viés, confiabilidade, fornecedores, autonomia, conformidade e operações comerciais.

6. Avalie e priorize os riscos

A avaliação de risco deve considerar mais do que apenas a probabilidade e a gravidade.

Um contexto útil pode incluir:

• Sensibilidade dos dados
• Escala de acesso aos dados
• Nível de autonomia
• Permissões efetivas
• Número e tipo de partes interessadas afetadas
• criticidade para os negócios
• Impacto regulatório
• Controles existentes
• Detectabilidade
• Potencial reversibilidade do dano

Risco inerente Representa o risco associado ao sistema de IA antes de considerar medidas de mitigação. risco residual Representa o risco que permanece após a aplicação desses controles. Essa distinção ajuda as equipes a determinar se as salvaguardas existentes reduzem o risco o suficiente para aprovar o caso de uso ou se são necessárias medidas adicionais de remediação, restrições, monitoramento ou rejeição.

7. Aplicar controles e atribuir responsabilidades

Conecte as descobertas a ações específicas, como reduzir o acesso, melhorar a qualidade dos dados, restringir o uso de IA, adicionar revisão humana, impor controles de resposta rápida, alterar o período de retenção, aprimorar o monitoramento, corrigir violações de política ou rejeitar um caso de uso.

Todo risco material deve ter um responsável e uma decisão de tratamento documentada.

8. Monitorar e reavaliar continuamente

Reavalie quando houver mudanças no modelo, caso de uso, dados, permissões, ferramentas, fornecedor, integrações, requisitos regulatórios ou ambiente de implantação.

A avaliação de riscos em IA deve funcionar como um processo de ciclo de vida, e não como um formulário de pré-implantação que as equipes preenchem uma única vez e arquivam.

O que deve incluir um modelo de avaliação de riscos de IA?

Um eficaz Modelo de avaliação de risco de IA Deve coletar informações suficientes para embasar uma decisão, atribuir responsabilidades e gerar evidências, sem reduzir a avaliação a um mero exercício de preenchimento de formulários.

Os campos úteis incluem:

• nome do sistema ou aplicativo de IA
• Finalidade comercial e uso pretendido
• Proprietário do sistema
• Fornecedor ou vendedor
• Tipo de modelo e sistema de IA
• Ambiente de implantação
• Usuários e partes interessadas afetados
• Fontes de dados
• Categorias de dados sensíveis
• Linhagem e proveniência dos dados
• Usuários e identidades de máquinas
• Permissões e autorizações
• Ferramentas do agente e ações permitidas
• Dependências de terceiros
• Regulamentos e políticas aplicáveis
• Cenários de risco
• Risco inerente
• Controles existentes
• risco residual
• Responsável pelo risco
• Remediação necessária
• Decisão de aprovação
• Requisitos de monitoramento
• Data de revisão e fatores que desencadeiam a reavaliação

O modelo deve criar uma relação rastreável entre o caso de uso de IA, seus dados, seu acesso, os riscos identificados, os controles aplicados e a decisão final de governança.

Lista de verificação para avaliação de riscos de IA

Erros comuns na avaliação de riscos de IA

Avaliando apenas o modelo

Um modelo pode parecer de baixo risco isoladamente, enquanto a aplicação em torno dele tem amplo acesso a dados sensíveis, ferramentas poderosas ou fluxos de trabalho de alto impacto.

Basear-se apenas em questionários

Os questionários coletam informações declaradas. A descoberta técnica e o contexto de dados, identidade, acesso, linhagem e atividade podem ajudar as equipes a validar o que realmente existe.

Ignorando a IA Sombra

Um programa de avaliação baseado exclusivamente em sistemas de IA aprovados deixa de fora ferramentas não gerenciadas e IA incorporada que nunca entraram no processo formal de revisão.

Avaliando o risco sem contexto.

Uma pontuação genérica de gravidade não consegue descrever completamente o risco da IA. A mesma vulnerabilidade ou problema de política pode gerar consequências muito diferentes, dependendo do acesso a dados sensíveis, das permissões, da autonomia, da finalidade comercial e das partes interessadas afetadas.

Tratar a avaliação como uma aprovação única.

O risco da IA muda quando os modelos, dados, permissões, integrações, fornecedores, ferramentas, políticas ou casos de uso são alterados. A avaliação requer gatilhos de reavaliação definidos e monitoramento contínuo.

Identificando riscos sem exigir medidas corretivas.

Um extenso registro de riscos não reduz a exposição por si só. A avaliação deve gerar ações responsáveis, decisões políticas, controles, medidas corretivas e evidências.

Como a BigID ajuda a operacionalizar a avaliação de riscos de IA

A BigID aborda o risco da IA a partir dos dados.

O risco da IA depende de mais do que apenas o modelo em si. Depende também de... Quais dados o alimentam, a que informações sensíveis ele pode acessar, quais identidades e permissões permitem esse acesso, como os dados se movem pelos fluxos de trabalho de IA, quais políticas se aplicam e quais ações as equipes tomam quando surge um risco.

A BigID ajuda as organizações:

• Descubra recursos de IA: Modelos de inventário, agentes, copilotos, aplicativos, conjuntos de dados, prompts, repositórios de vetores, pipelines e IA paralela em toda a empresa.
• Entenda os dados por trás da IA: Descubra e classifique informações sensíveis, regulamentadas, confidenciais, proprietárias e críticas para os negócios, utilizadas em treinamento, recuperação, inferência, instruções e fluxos de trabalho de IA.
• Mapear a linhagem de dados de IA: Entenda como os dados percorrem os fluxos de trabalho de treinamento, ajuste, recuperação, inferência e etapas subsequentes da IA.
• Avaliar o acesso à IA: Conecte sistemas de IA, agentes, usuários, aplicativos, contas de serviço e identidades de máquinas com permissões e exposição de dados sensíveis.
• Encontre IA paralela: Identificar ferramentas, modelos, copilotos, agentes, comandos e fluxos de trabalho de IA não autorizados que possam operar fora dos processos de governança aprovados.
• Avaliar o risco de IA do fornecedor: Entenda quais fornecedores usam IA, como eles interagem com os dados corporativos e onde a IA de terceiros introduz riscos de exposição ou governança.
• Priorizar o risco da IA: Avalie o risco da IA em relação a modelos, agentes, instruções, dados, acesso, uso, propriedade, exposição e violações de políticas.
• Remediação de veículos: Conecte as descobertas à aplicação de políticas, à redução do acesso, à responsabilidade, aos fluxos de trabalho e às ações corretivas.

O objetivo não é simplesmente gerar mais uma pontuação de risco por IA. É conectar a avaliação de risco por IA aos dados, acessos, controles, ações e evidências necessários para gerenciar o risco de forma contínua.

Perguntas frequentes sobre avaliação de riscos de IA

O que é uma avaliação de risco em IA?

Uma avaliação de riscos de IA é um processo estruturado para identificar, analisar, priorizar e documentar os riscos associados a um sistema de IA, seus dados, acesso, comportamento, casos de uso, dependências e impacto potencial.

Como realizar uma avaliação de risco de IA?

Comece por inventariar os sistemas de IA e definir seus casos de uso. Mapeie os dados, identidades, permissões, dependências e ações por trás de cada sistema. Identifique cenários de risco realistas, avalie seu impacto potencial, analise os controles existentes, priorize o risco residual, atribua a responsabilidade pela remediação e monitore continuamente as mudanças.

O que deve incluir uma avaliação de risco de IA?

Uma avaliação de risco de IA deve incluir a finalidade do sistema, proprietário, usuários, partes interessadas afetadas, dados, linhagem, identidades, permissões, autonomia, dependências de terceiros, regulamentações aplicáveis, cenários de risco, controles, risco inerente e residual, decisões de remediação, requisitos de monitoramento e evidências de suporte.

Quais são as principais categorias de risco da IA?

Os riscos da IA podem incluir privacidade de dados, exposição de dados sensíveis, segurança cibernética, identidade e acesso, desempenho do modelo, viés, confiabilidade, transparência, segurança de resultados e de resposta, risco de terceiros, autonomia, conformidade regulatória e impacto operacional.

Qual a diferença entre avaliação de risco em IA e gestão de risco em IA?

A avaliação de riscos de IA identifica, analisa e prioriza os riscos relacionados à IA. A gestão de riscos de IA determina como a organização responderá por meio de controles, monitoramento, remediação, aceitação de riscos, decisões de governança e supervisão contínua.

Como o NIST AI RMF apoia a avaliação de riscos de IA?

A estrutura de gerenciamento de riscos de IA do NIST organiza o gerenciamento de riscos de IA em torno de Governança, Mapeamento, Mensuração e Gestão. Essas funções ajudam as organizações a estabelecer governança, compreender o contexto e os impactos da IA, avaliar riscos, priorizar ações e gerenciar continuamente a IA ao longo de seu ciclo de vida.

De que forma a Lei de IA da UE afeta as avaliações de risco da IA?

A Lei de IA da UE aplica uma abordagem regulatória baseada em risco à IA. As organizações abrangidas precisam entender seu papel, classificar os sistemas de IA relevantes, determinar as obrigações aplicáveis, manter a documentação adequada e se preparar para os requisitos com base na categoria de risco do sistema e no cronograma de implementação.

O que é uma avaliação de risco de IA com agentes?

Uma avaliação de riscos de IA agente avalia os riscos criados por agentes de IA que podem recuperar informações, usar ferramentas, chamar APIs, interagir com aplicativos, executar fluxos de trabalho ou realizar outras ações. Ela deve avaliar a identidade do agente, as permissões efetivas, o acesso a dados sensíveis, as ferramentas disponíveis, a autonomia, a supervisão humana, o monitoramento de atividades e o potencial impacto nos negócios.

Por que as avaliações de risco de IA devem incluir o acesso a dados?

O risco de um sistema de IA pode variar substancialmente dependendo dos dados aos quais ele tem acesso. Conectar sistemas de IA a dados sensíveis, identidades, permissões e caminhos de acesso ajuda as organizações a identificar acessos excessivos e a compreender o potencial de exposição ou uso indevido.

Com que frequência as organizações devem realizar avaliações de risco de IA?

As organizações devem avaliar a IA antes da implementação e reavaliá-la quando as condições materiais mudarem, incluindo o modelo, o caso de uso, os dados, as permissões, as integrações, as ferramentas, o fornecedor, os requisitos regulamentares ou o ambiente de implementação. Sistemas de maior risco podem exigir monitoramento contínuo e revisão formal mais frequente.

Como a BigID auxilia na avaliação de riscos de IA?

A BigID ajuda as organizações a descobrir ativos de IA, classificar dados sensíveis de IA, mapear a linhagem, conectar identidades e permissões de IA aos dados, identificar riscos de IA paralela e de fornecedores, avaliar riscos usando dados e contexto de negócios, aplicar políticas, coordenar a remediação e manter evidências de governança em ambientes de IA corporativos.