La gobernanza de la IA basada en agentes se diferencia de la gobernanza de la IA tradicional en cuatro aspectos fundamentales: supervisión autónoma de decisiones, control de acceso al sistema, Monitorización de la ejecución del flujo de trabajoy riesgo de exposición de datos.
La gobernanza tradicional se diseñó para modelos que responden a indicaciones.
La IA agente no espera instrucciones.
Persigue objetivos, selecciona herramientas, accede a datos y actúa en todos sus sistemas sin que un humano apruebe cada paso. Esta distinción transforma por completo los supuestos en los que se basa su programa de gobernanza actual.
A medida que las organizaciones pasan del uso experimental de la IA a su implementación en el mundo real, este cambio tiene implicaciones inmediatas para el riesgo, el cumplimiento y el control.
Conclusiones clave: Gobernanza de IA basada en agentes frente a gobernanza de IA tradicional
- La gobernanza tradicional de la IA se diseñó para modelos que responden a indicaciones; la IA con agentes persigue objetivos, selecciona herramientas, accede a datos y actúa en diferentes sistemas sin aprobación humana en cada paso, lo que hace que los marcos existentes sean insuficientes.
- El cambio de la gobernanza de IA tradicional a la gobernanza de IA basada en agentes implica un cambio de la gobernanza de resultados a la gobernanza de acciones; surgen cuatro nuevos requisitos: supervisión autónoma de decisiones, control de acceso al sistema, monitoreo de la ejecución del flujo de trabajo y riesgo de exposición de datos.
- Los permisos son la brecha de gobernanza más inmediata: los agentes a los que se les concede un acceso amplio utilizarán ese acceso y, sin la aplicación del principio de mínimo privilegio, el riesgo de exposición de datos aumenta con cada nueva implementación.
- Los registros de entrada/salida tradicionales son inadecuados para la IA con agentes; un registro de auditoría completo debe capturar cada interacción del sistema, acceso a datos y decisión tomada a lo largo de todo el flujo de trabajo de múltiples pasos.
- La IA agente introduce riesgo operativo, no solo riesgo de modelo: los equipos de gobernanza deben cambiar su enfoque de la precisión y el sesgo a las acciones que realizaron los agentes, a qué datos accedieron y si esas acciones fueron autorizadas.
- Los agentes de IA no autorizados conllevan el mismo riesgo que los autorizados: los agentes desplegados fuera del alcance de la supervisión de TI no pueden ser controlados y su acceso a los datos genera riesgos de incumplimiento normativo, independientemente de si la organización sabía de su existencia.
Para qué se creó la gobernanza tradicional de la IA.
La gobernanza tradicional de la IA se basa en tres pilares: la monitorización del rendimiento del modelo, la detección de sesgos en el entrenamiento y la explicabilidad de los resultados.
El modelo mental es sencillo. Un usuario envía una solicitud, el modelo responde y la interacción finaliza. Los equipos de gobernanza revisan los resultados, auditan los datos de entrenamiento y controlan si el modelo se desvía con el tiempo.
Marcos de referencia como el Marco de Gestión de Riesgos de IA del NIST (AI RMF) y las primeras directrices vinculadas a la Ley de IA de la UE se diseñaron teniendo en cuenta este modelo estático de respuesta inmediata. El artículo 10 de la Ley de IA de la UE, por ejemplo, se centra en gran medida en la calidad y la documentación de los datos de entrenamiento: una visión del riesgo centrada en el modelo que refleja cómo se implementaron originalmente los sistemas de IA.
Ese planteamiento funcionaba cuando los sistemas de IA operaban dentro de límites claramente definidos. Los sistemas con agentes no.
Qué hace realmente la IA agente y por qué lo cambia todo.
Sistemas de IA agentes No esperan instrucciones en cada paso. Reciben un objetivo, determinan cómo alcanzarlo, seleccionan herramientas, acceden a datos y ejecutan acciones en múltiples sistemas sin aprobación humana en cada punto de decisión.
En la práctica, esto puede parecer un agente encargado de preparar un análisis de la competencia que consulta herramientas de colaboración internas, extrae datos estructurados de un CRM, accede al almacenamiento en la nube y genera un informe. Todo ello de forma autónoma.
En ningún momento interviene un ser humano para aprobar cada acceso individual a los datos o cada interacción con el sistema, y los modelos de gobernanza tradicionales no fueron diseñados para capturar o controlar este nivel de actividad.
Los cuatro requisitos de gobernanza que introduce la IA agente
Mientras que la gobernanza tradicional se centra en los resultados de los modelos, la gobernanza de la IA basada en agentes debe abordar lo que hacen los sistemas al perseguir objetivos. Cuatro requisitos definen este cambio.
Supervisión autónoma de decisiones
Los agentes toman decisiones sin intervención humana directa. La gobernanza debe tener en cuenta el proceso de razonamiento, no solo el resultado final.
Las preguntas clave incluyen:
- ¿Quién autorizó al agente a actuar?
- ¿Qué datos sirvieron de base para sus decisiones?
- ¿Qué alternativas se consideraron o se rechazaron?
Las herramientas de explicabilidad tradicionales se centran en los resultados. La gobernanza basada en agentes requiere visibilidad del proceso de toma de decisiones en cada etapa de la ejecución.
Control de acceso al sistema
Los agentes se conectan a herramientas, API, bases de datos y servicios en la nube. Cada conexión representa un posible punto de exposición de datos.
La gobernanza tradicional de la IA rara vez abordaba directamente los permisos. Con los sistemas basados en agentes, el control de acceso se convierte en un elemento central de la gobernanza.
Un agente con amplio acceso hará uso de dicho acceso. Sin límites claros, el principio de mínimo privilegio puede erosionarse rápidamente, especialmente cuando los permisos se otorgan por flexibilidad en lugar de por necesidad. En muchos entornos, la IA con capacidad de gestión de agentes podría exponer involuntariamente datos confidenciales si el acceso no está estrictamente controlado.
Monitoreo de la ejecución del flujo de trabajo
Un modelo de IA tradicional suele procesar una interacción a la vez. Un agente que ejecuta un flujo de trabajo de varios pasos puede realizar docenas de acciones en diferentes sistemas antes de producir un resultado.
Los equipos de gobernanza necesitan un registro de auditoría completo de esa actividad:
- A qué accedió el agente.
- Lo que modificó o generó.
- Dónde se movieron o compartieron los datos.
La mayoría de los sistemas de registro existentes no fueron diseñados para capturar este nivel de detalle.
Riesgo de exposición de datos
Los agentes no solo leen datos, sino que los mueven, los transforman y los incorporan a los resultados.
Por ejemplo, un flujo de trabajo con recuperación de datos mejorada podría extraer información confidencial de una base de datos, incluirla en una solicitud enviada a un modelo externo y devolver una respuesta que muestre esos datos en un nuevo contexto.
La gobernanza tradicional se centra en los datos de entrenamiento. La gobernanza basada en agentes debe extenderse al uso de datos en tiempo real durante la ejecución.
Los agentes introducen riesgo operacional, no solo riesgo del modelo.
La gobernanza tradicional de la IA se centra en el riesgo del modelo: precisión, sesgo y explicabilidad.
Esas preocupaciones siguen siendo importantes, pero ya no son suficientes.
La IA agente introduce riesgos operacionales. El enfoque se desplaza hacia preguntas como:
- ¿Qué medidas tomó el agente?
- ¿Con qué sistemas interactuaba?
- ¿A qué datos se accedió o qué datos quedaron expuestos?
- ¿Estaban autorizadas esas acciones?
Muchos programas de gobernanza existentes están bien equipados para evaluar modelos, pero no para supervisar ni controlar las acciones que se llevan a cabo en los sistemas. Esta evolución es fundamental para desarrollar prácticas de IA responsables a gran escala.
Gobernanza de IA tradicional frente a gobernanza de IA basada en agentes: una comparación directa
| Dimensión de gobernanza | IA tradicional | IA agente | Brecha de gobernanza
|
| Autonomía en la toma de decisiones | Iniciado por humanos, modelo responde | Iniciado por el agente, de varios pasos | No existe un mecanismo de aprobación por paso. |
| Alcance del acceso a los datos | Solo datos de entrenamiento | Sistemas en vivo, API, bases de datos | Sin monitorización de acceso en tiempo real |
| Modelo de permisos | Estático, a nivel de modelo | Dinámico, orientado a tareas | Falta la aplicación del principio de privilegio mínimo. |
| Registro de auditoría | Registros de entrada/salida | Se requiere una cadena de acciones completa | Los registros existentes no capturan las acciones del agente. |
| Tipo de riesgo | Riesgo del modelo | Riesgo operacional | Requiere nuevos controles y procesos. |
Creación de un programa de gobernanza de IA basada en agentes
Las organizaciones que ya utilizan agentes necesitan un programa de gobernanza que se ajuste a las funciones reales de dichos agentes.
Para poner en práctica estas capacidades, las organizaciones deben seguir los siguientes pasos:
- Descubre a qué datos pueden acceder tus agentes de IA. Asocie cada agente a sus fuentes de datos conectadas, incluyendo almacenamiento en la nube, bases de datos, herramientas SaaS y API. La IA en la sombra es un problema real. Los agentes implementados fuera del alcance del departamento de TI conllevan el mismo riesgo que los autorizados.
- Defina los límites de permisos de mínimo privilegio. Cada agente solo debe tener acceso a las fuentes de datos y los sistemas que requieran sus tareas específicas. Los permisos amplios otorgados por conveniencia se convierten en un problema de gobernanza.
- Implementar el registro de acciones en tiempo real. Los registros de entrada/salida tradicionales no capturan lo que hizo un agente entre recibir un objetivo y producir un resultado. Necesitas un registro de auditoría completo de cada interacción del sistema.
- Aplicar marcos regulatorios al comportamiento de los agentes. Los requisitos del Marco de Gestión de Riesgos (RMF) de la IA del NIST y del artículo 10 de la Ley de IA de la UE no desaparecen con la IA basada en agentes, sino que se amplían. El seguimiento del linaje y los controles de calidad de los datos se aplican a los datos a los que acceden los agentes durante la inferencia, no solo a los datos de entrenamiento. Los programas de gobernanza deben vincular explícitamente el comportamiento de los agentes con estos requisitos.
- Automatice la remediación. La revisión manual no es viable cuando los agentes ejecutan miles de acciones al día. Los programas de gobernanza necesitan controles automatizados que detecten y corrijan las infracciones de acceso, la exposición de datos confidenciales y las violaciones de políticas sin tener que esperar a que un humano las detecte.
Controla las acciones, no solo la inteligencia.
El cambio de la gobernanza tradicional a la gobernanza de IA basada en agentes implica un cambio de la gobernanza de resultados a la gobernanza de acciones. Su programa de gobernanza actual puede indicarle lo que dijo un modelo, pero no lo que hizo un agente, a qué datos accedió ni si tenía derecho a acceder a ellos.
Una gobernanza eficaz depende ahora de la visibilidad y el control a lo largo de todo el ciclo de vida de la actividad de los agentes, desde el acceso a los datos hasta la ejecución de las acciones y el resultado.
A medida que se acelera la adopción de la IA con capacidad de gestión de agentes, los programas de gobernanza deben evolucionar para mantenerse al día con los sistemas cada vez más autónomos que operan en entornos de datos complejos.
Ayudamos a las organizaciones a poner en práctica este cambio proporcionando una visibilidad unificada de los datos, el acceso y el uso, junto con los controles necesarios para hacer cumplir las políticas y reducir los riesgos.
Descubra cómo BigID puede ayudarle a obtener visibilidad y control sobre las acciones de los agentes, no solo sobre los resultados de los modelos, y a anticiparse a los riesgos emergentes de la IA.
Preguntas frecuentes sobre la gobernanza de la IA agencial
¿En qué se diferencia la gobernanza de un agente de IA de la gobernanza de un modelo de aprendizaje automático?
Un modelo de aprendizaje automático responde a las entradas y produce salidas. La gobernanza se centra en la precisión, el sesgo y la explicabilidad. Un agente de IA persigue objetivos de forma autónoma, accediendo a sistemas y ejecutando acciones sin aprobación humana en cada paso. Gobernar un agente implica controlar a qué puede acceder, qué tiene permitido hacer y mantener un registro completo de cada acción que realiza.
¿A qué permisos deberían tener acceso los agentes de IA?
Los agentes deben operar bajo el principio de mínimo privilegio, con acceso únicamente a las fuentes de datos y los sistemas que requieran sus tareas específicas. Los permisos amplios otorgados en aras de la flexibilidad generan un riesgo de exposición de datos que los equipos de gobernanza no pueden rastrear ni corregir fácilmente a posteriori.
¿Cómo puedo auditar lo que hizo un agente de IA?
Necesitas un registro de actividad que capture cada interacción del sistema en el flujo de trabajo de un agente, no solo el resultado final. Esto implica registrar a qué fuentes de datos accedió el agente, qué leyó o escribió y qué decisiones tomó durante el proceso. Los registros de entrada/salida estándar no capturan este nivel de detalle.
¿Qué marcos de cumplimiento se aplican a la gobernanza de la IA basada en agentes?
Tanto el Marco de Gestión de Riesgos (RMF) de IA del NIST como el Artículo 10 de la Ley de IA de la UE son aplicables, aunque se redactaron pensando en modelos estáticos. Para la IA con agentes, los requisitos de seguimiento del linaje y calidad de los datos en estos marcos se extienden a los datos a los que se accede durante la inferencia y la ejecución, no solo a los datos de entrenamiento. Los programas de gobernanza deben vincular explícitamente el comportamiento de los agentes con estos requisitos.
¿Cuál es la mayor brecha de gobernanza que la mayoría de las organizaciones tienen hoy en día con la IA con agentes?
Visibilidad de permisos y acceso a datos. La mayoría de las organizaciones no tienen una visión completa de a qué datos pueden acceder sus agentes, qué agentes tienen acceso excesivo o qué información confidencial se procesa durante la ejecución de tareas autónomas. Ahí es donde deben comenzar los programas de gobernanza.
Autor
