Pular para o conteúdo

IA responsável Foi construído para modelos. IA Agética Exige mais.

No Cúpula de infraestrutura de IA do BigID, Líderes de segurança e IA exploraram o que é necessário para implantar, proteger e governar agentes de IA em toda a empresa. Em seu discurso de abertura, Enza Iannopollo, Vice-Presidente e Analista Principal da Forrester, examinou como a IA agente está redefinindo a IA responsável e por que as abordagens tradicionais de supervisão devem evoluir à medida que os sistemas de IA ganham maior autonomia.

IA responsável Tradicionalmente, tem se concentrado em uma questão crítica: Podemos confiar neste sistema de IA?

As organizações desenvolveram estruturas para avaliar modelos quanto à imparcialidade, transparência, precisão e segurança. Essas salvaguardas continuam sendo essenciais, mas a IA ativa aumenta a complexidade do processo.

Os agentes de IA não se limitam a gerar respostas. Eles podem acessar informações confidenciais, interagir com sistemas corporativos e tomar decisões, às vezes sem intervenção humana.

Isso exige uma pergunta diferente: Podemos confiar no que o agente está fazendo, com quais dados e com qual propósito?

Para os líderes em segurança de dados, essa mudança tem implicações imediatas. A IA responsável deve ir além da avaliação de sistemas antes da implementação, abrangendo também a governança de seu comportamento durante a operação.

A IA responsável não pode parar na implementação.

As práticas tradicionais de IA responsável têm se concentrado fortemente na avaliação dos sistemas antes de sua entrada em operação.

Mas o risco de um agente não termina com a sua implantação. Ele pode mudar de acordo com as informações que encontra, as ferramentas que utiliza e as ações que realiza.

Imagine um agente de IA auxiliando uma equipe de atendimento ao cliente. Ele pode precisar acessar registros de clientes para resolver um problema. Mas esse acesso deveria se estender a informações sensíveis não relacionadas? O agente deveria poder modificar registros ou iniciar transações sem aprovação?

Uma avaliação de modelo não consegue responder a todas as perguntas que surgem durante um fluxo de trabalho real.

A IA responsável deve ir além da avaliação de sistemas para governando seu comportamento.

Isso significa saber a que os agentes podem ter acesso, o que eles têm permissão para fazer e quando suas ações exigem intervenção.

Três princípios para uma IA agente responsável

Iannopollo destacou três princípios que se tornam particularmente importantes à medida que os sistemas de IA ganham autonomia.

1. Agência Mínima

O princípio do privilégio mínimo limita o que um sistema pode acessar. O princípio da agência mínima limita o que um agente de IA pode fazer.

Um agente pode precisar ler o registro de um cliente sem precisar de permissão para alterá-lo. Ele pode ser capaz de preparar uma transação sem estar autorizado a executá-la.

O objetivo é dar aos agentes autonomia suficiente para serem úteis – não liberdade irrestrita para agir.

2. Gestão Contínua de Riscos

A IA responsável não pode ser uma aprovação única.

O risco para um agente pode aumentar quando ele acessa informações sensíveis, interage com sistemas adicionais ou tenta realizar uma ação que tenha consequências.

As organizações precisam de visibilidade sobre o comportamento dos agentes e de controles que possam responder às mudanças de risco.

Para as equipes de segurança, isso significa passar de avaliações estáticas para Monitoramento e intervenção durante a operação.

3. Garantir a Intenção

Um agente pode ter permissão para realizar uma ação sem ter um motivo legítimo para realizá-la.

Por exemplo, um agente autorizado a pesquisar um repositório de documentos não deve recuperar automaticamente arquivos confidenciais não relacionados simplesmente porque suas credenciais permitem o acesso.

A permissão define o que um agente pode fazer. A intenção ajuda a determinar o que ele deve fazer.

Essa distinção é fundamental para a governança de sistemas autônomos.

Por que a segurança de dados é o ponto de partida

A IA responsável engloba justiça, responsabilidade, transparência, segurança, supervisão humana e privacidade. Todos esses aspectos continuam sendo importantes em um ambiente de agentes.

Mas os líderes de segurança enfrentam um desafio imediato: eles não podem controlar o uso de informações sensíveis por um agente se não entenderem a que tipo de informações o agente tem acesso.

Iannopollo explicou isso claramente:

“Práticas de privacidade e segurança de dados são a melhor e mais segura maneira de começar a construir sua prática de IA responsável.”

Isso significa descoberta e classificação de dados, visibilidade de acesso e controles apropriados Não são apenas funcionalidades de suporte. São essenciais para a IA responsável na prática.

As equipes de segurança devem ser capazes de responder a quatro perguntas:

  • A que dados sensíveis nossos agentes podem ter acesso?
  • Que ações eles podem tomar com esses dados?
  • Podemos detectar comportamentos que estejam fora da tarefa pretendida?
  • Podemos intervir antes que uma ação inadequada cause danos?

Sem essas respostas, a IA responsável corre o risco de permanecer apenas um compromisso político, em vez de uma capacidade operacional.

O próximo capítulo da IA responsável acontece em tempo de execução.

A IA agética não torna obsoletos os princípios existentes da IA responsável. Ela eleva o padrão para colocá-los em prática.

Imparcialidade e transparência ainda importam. Assim como a responsabilização e a supervisão humana.

Mas quando os sistemas de IA podem agir, as organizações precisam governar mais do que apenas os resultados dos modelos. Elas precisam governar o acesso, a autonomia, a intenção e o comportamento à medida que o trabalho acontece.

A IA responsável não pode mais terminar quando um agente entra em operação. É aí que começa parte do seu trabalho mais importante.

Perguntas frequentes

O que é IA agente responsável?
Inteligência artificial responsável e ativa significa aplicar princípios como responsabilidade, segurança, privacidade e supervisão humana a sistemas de IA que podem acessar informações e tomar decisões de forma autônoma.

O que é menor agência?
O princípio da menor agência limita as capacidades e a autonomia de um agente de IA ao estritamente necessário para a tarefa que lhe foi atribuída. Ele vai além do princípio do menor privilégio, que se concentra nas permissões de acesso.

Por que a IA agética requer governança em tempo de execução?
Como o risco de um agente pode mudar à medida que ele acessa dados, usa ferramentas e executa ações, as organizações precisam de controles que permaneçam eficazes após a implementação.

Conteúdo