En Cumbre de infraestructura de IA de BigID, líderes en seguridad e IA exploraron lo que se necesita para implementar, proteger y gobernar agentes de IA en toda la empresa. En su discurso principal, Enza Iannopollo, vicepresidente y analista principal de Forrester, Examinó cómo la IA con capacidad de agencia está redefiniendo la IA responsable y por qué los enfoques tradicionales de supervisión deben evolucionar a medida que los sistemas de IA adquieren mayor autonomía.
IA responsable Tradicionalmente se ha centrado en una cuestión fundamental: ¿Podemos confiar en este sistema de IA?
Las organizaciones han desarrollado marcos para evaluar los modelos en cuanto a equidad, transparencia, precisión y seguridad. Estas salvaguardas siguen siendo esenciales, pero la IA con agentes aumenta la complejidad.
Los agentes de IA no solo generan respuestas. Pueden acceder a información confidencial, interactuar con sistemas empresariales y tomar medidas, a veces sin intervención humana.
Eso plantea una pregunta diferente: ¿Podemos confiar en lo que hace el agente, con qué datos y con qué propósito?
Para los responsables de la seguridad de datos, este cambio tiene implicaciones inmediatas. La IA responsable debe ir más allá de evaluar los sistemas antes de su implementación y abarcar la gestión de su comportamiento durante su funcionamiento.
La IA responsable no puede quedarse solo en la implementación.
Las prácticas tradicionales de IA responsable se han centrado en gran medida en evaluar los sistemas antes de su puesta en marcha.
Pero el riesgo de un agente no termina con su despliegue. Puede variar según la información que encuentre, las herramientas que utilice y las acciones que emprenda.
Imaginemos un agente de IA que ayuda a un equipo de atención al cliente. Es posible que necesite acceder a los registros de los clientes para resolver un problema. Pero, ¿debería ese acceso extenderse a información confidencial no relacionada? ¿Debería el agente poder modificar registros o iniciar transacciones sin autorización?
La evaluación de un modelo no puede responder a todas las preguntas que surgen durante un flujo de trabajo real.
La IA responsable debe ir más allá de evaluar los sistemas para gobernar su comportamiento.
Eso significa saber a qué información pueden acceder los agentes, qué tienen permitido hacer y cuándo sus acciones requieren intervención.
Tres principios para una IA agente responsable
Iannopollo destacó tres principios que cobran especial importancia a medida que los sistemas de IA ganan autonomía.
1. Mínima capacidad de acción
El principio de mínimo privilegio limita a qué puede acceder un sistema. La mínima autonomía limita lo que un agente de IA puede hacer.
Un agente puede necesitar leer el registro de un cliente sin necesidad de autorización para modificarlo. También puede preparar una transacción sin estar autorizado para ejecutarla.
El objetivo es otorgar a los agentes la autonomía suficiente para que sean útiles, no una libertad de acción ilimitada.
2. Gestión continua de riesgos
La IA responsable no puede ser una aprobación única.
El riesgo de un agente puede aumentar cuando accede a información confidencial, interactúa con sistemas adicionales o intenta realizar una acción que tenga consecuencias.
Las organizaciones necesitan visibilidad sobre el comportamiento de los agentes y controles que puedan responder a medida que cambian los riesgos.
Para los equipos de seguridad, eso significa pasar de evaluaciones estáticas a... supervisión e intervención durante la operación.
3. Asegurar la intención
Un agente puede tener permiso para realizar una acción sin tener una razón legítima para hacerlo.
Por ejemplo, un agente autorizado para buscar en un repositorio de documentos no debería recuperar automáticamente archivos confidenciales no relacionados simplemente porque sus credenciales le permitan el acceso.
El permiso responde a lo que un agente puede hacer. La intención ayuda a determinar lo que debería hacer.
Esa distinción es fundamental para la gobernanza de los sistemas autónomos.
Por qué la seguridad de los datos es el punto de partida
La IA responsable abarca la equidad, la rendición de cuentas, la transparencia, la seguridad, la supervisión humana y la privacidad. Todos estos aspectos siguen siendo importantes en un entorno con agentes.
Pero los responsables de seguridad se enfrentan a un desafío inmediato: no pueden controlar el uso que hace un agente de la información confidencial si no entienden a qué información puede acceder dicho agente.
Iannopollo lo expresó claramente:
“Las prácticas de privacidad y seguridad de datos son la mejor y más segura manera de comenzar a desarrollar una práctica de IA responsable.”
Eso significa descubrimiento y clasificación de datos, visibilidad del acceso y controles apropiados No son meras capacidades de apoyo. Son esenciales para una IA responsable en la práctica.
Los equipos de seguridad deberían poder responder a cuatro preguntas:
- ¿A qué datos confidenciales pueden acceder nuestros agentes?
- ¿Qué medidas pueden tomar con esos datos?
- ¿Podemos detectar comportamientos ajenos a la tarea prevista?
- ¿Podemos intervenir antes de que una acción inapropiada cause daño?
Sin esas respuestas, la IA responsable corre el riesgo de quedarse en un compromiso político en lugar de una capacidad operativa.
El próximo capítulo de la IA responsable se desarrolla en tiempo de ejecución.
La IA con capacidad de gestión no invalida los principios de la IA responsable ya existentes. Simplemente eleva el nivel de exigencia para ponerlos en práctica.
La imparcialidad y la transparencia siguen siendo importantes. También lo son la rendición de cuentas y la supervisión humana.
Pero cuando los sistemas de IA pueden actuar, las organizaciones deben controlar algo más que los resultados del modelo. Deben controlar el acceso, la autonomía, la intención y el comportamiento a medida que se desarrolla el trabajo.
La IA responsable ya no puede terminar cuando un agente entra en funcionamiento. Es entonces cuando comienza parte de su trabajo más importante.
Preguntas frecuentes
¿Qué es la IA agente responsable?
La IA responsable y con capacidad de acción implica aplicar principios como la rendición de cuentas, la seguridad, la privacidad y la supervisión humana a los sistemas de IA que pueden acceder de forma autónoma a la información y tomar medidas.
¿Qué es la menor agencia?
El principio de mínima autonomía limita las capacidades y la autonomía de un agente de IA a lo estrictamente necesario para la tarea que se le ha asignado. Va más allá del principio de mínimo privilegio, que se centra en los permisos de acceso.
¿Por qué la IA agente requiere gobernanza en tiempo de ejecución?
Dado que el riesgo de un agente puede variar a medida que accede a los datos, utiliza las herramientas y realiza las acciones, las organizaciones necesitan controles que sigan siendo eficaces tras su implementación.
