Un agente de IA recibe una solicitud legítima: revisar la cuenta de un cliente, resumir la actividad reciente y recomendar la siguiente acción.
Para completar la tarea, el agente busca en un CRM, recupera documentos internos, accede a una plataforma de soporte y llama a una API. Todas las conexiones funcionan. Todas las credenciales son válidas.
A continuación, el agente recupera un registro confidencial que no pertenece a la cuenta del cliente y lo incluye en un mensaje dirigido a un destinatario externo.
El problema no radicaba necesariamente en un modelo defectuoso. El agente tenía acceso a información y capacidades que excedían los requisitos de la tarea.
Ese es el desafío de Seguridad del agente de IA. Los agentes autónomos hacen más que generar respuestas. Recuperan información, toman decisiones, invocan herramientas, delegan tareas y realizan acciones en diversos sistemas empresariales. Su seguridad depende de la comprensión de los datos, las identidades, los permisos, las instrucciones y los límites de ejecución que rigen dichas acciones.
Esta guía explica cómo funcionan los agentes de IA, las amenazas de seguridad que introducen y los controles que las organizaciones necesitan para proteger los datos confidenciales al tiempo que implementan la IA basada en agentes de forma responsable.
¿Qué es la seguridad de los agentes de IA?
Seguridad del agente de IA Es la práctica de proteger a los agentes de IA autónomos y semiautónomos, sus identidades, el acceso a los datos empresariales, las herramientas conectadas y las acciones contra el uso no autorizado, la manipulación, la exposición de datos confidenciales y los daños operativos.
Combina disciplinas de ciberseguridad consolidadas con controles diseñados para sistemas que pueden planificar y ejecutar tareas de varios pasos.
Estas disciplinas incluyen:
- Inteligencia artificial y descubrimiento de datos: Identificar los activos de IA, las fuentes de datos conectadas, la información confidencial y el contexto necesario para evaluar la exposición de los agentes.
- Seguridad de la identidad: Gestionar identidades de agentes, cuentas de servicio, tokens y autoridad delegada.
- Seguridad de datos: Descubrir información sensible y comprender qué información pueden recuperar, procesar o divulgar los agentes.
- Gobernanza del acceso: Restringir los permisos a los recursos necesarios para las tareas aprobadas.
- Seguridad de herramientas y acciones: Controlar las API, las integraciones, los destinos externos y las operaciones ejecutables.
- Medidas de seguridad en tiempo de ejecución: Validar las acciones de riesgo, supervisar la actividad e intervenir cuando el comportamiento infringe las normas.
- Gobernanza de la IA: Establecer el propósito, la propiedad, las evaluaciones de riesgos, la supervisión y la rendición de cuentas.
El objetivo no es simplemente detener las solicitudes maliciosas, sino garantizar que un agente pueda acceder a la información correcta, realizar las acciones adecuadas y operar dentro de un propósito comercial aprobado.
¿Cómo funcionan los agentes de IA?
Un agente de IA es un sistema de software que utiliza inteligencia artificial para alcanzar un objetivo, interpretar información, seleccionar pasos e interactuar con herramientas o sistemas externos. El grado de autonomía varía según el diseño.
Un flujo de trabajo típico de un agente empresarial incluye:
A diferencia de un chatbot convencional que solo devuelve texto, un agente puede tener la capacidad de actuar en función de su salida. Por eso la seguridad del agente debe abordar ambos aspectos. riesgo de exposición a la información y ejecución.
Por qué la seguridad tradicional no es suficiente para los agentes de IA
Los controles existentes, como la gestión de identidades y accesos (IAM), la seguridad de las aplicaciones, la prevención de pérdida de datos (DLP), la seguridad de las API y el registro de eventos, siguen siendo esenciales.
Sin embargo, los agentes introducen nuevos desafíos, ya que sus decisiones y secuencias de herramientas pueden variar de una tarea a otra.
El acceso puede ampliarse mediante integraciones existentes.
Los agentes suelen heredar permisos de aplicaciones, conectores, usuarios y cuentas de servicio. Una tarea con permisos muy específicos puede ejecutarse con credenciales que permiten acceder a todo un repositorio o aplicación empresarial.
Los agentes pueden procesar instrucciones no confiables.
Un agente puede leer documentos externos, correos electrónicos, páginas web o registros recuperados. Dichas fuentes pueden contener instrucciones destinadas a manipular su comportamiento.
Los agentes pueden tomar medidas consecuentes.
Generar un borrador y enviarlo son eventos de seguridad diferentes. Un agente capaz de cambiar permisos, modificar registros o transferir datos requiere controles que se activen antes de que se produzca la acción.
La delegación crea límites de confianza adicionales.
Un agente puede asignar trabajo a otro. El agente receptor puede tener credenciales, acceso o contexto operativo diferentes. Sin límites de delegación claros, la autoridad y la información confidencial pueden trascender la tarea original.
Para un análisis más profundo de este problema específico, consulte Seguridad entre agentes de IA: Riesgos de identidad, acceso y datos.
SEGURIDAD Y GOBERNANZA DE LA IA
Sepa a qué pueden acceder sus agentes de IA.
Descubra agentes de IA, conecte sus identidades y permisos con datos empresariales confidenciales y priorice la exposición antes de que se convierta en un incidente de seguridad.
10 riesgos de seguridad de los agentes de IA que debes comprender
Las amenazas que representan los agentes de IA pueden originarse en las instrucciones que reciben, los datos que procesan, las identidades que utilizan o las acciones que realizan. Estos diez riesgos merecen especial atención.
1. Permisos excesivos y escalada de privilegios
Un agente puede tener más acceso del que requiere su tarea asignada. Los amplios ámbitos de la API, los privilegios heredados de la cuenta de servicio o una delegación mal configurada pueden aumentar el impacto de los errores o la manipulación maliciosa.
Respuesta de seguridad: Descubra permisos efectivos, aplique el principio de mínimo privilegio, restrinja el alcance de las herramientas y revise los cambios de privilegios.
2. Exposición y filtración de datos sensibles
Un agente puede recuperar documentos confidenciales, registros regulados, información de clientes o propiedad intelectual e incluirlos en los resultados o enviarlos a un destino no autorizado.
Respuesta de seguridad: Clasifique los datos confidenciales, aplique la autorización de recuperación, valide los destinos externos y aplique controles que tengan en cuenta los datos para el uso compartido y la ejecución.
3. Inyección instantánea y secuestro de agentes
Las instrucciones maliciosas incrustadas en un documento, correo electrónico, página web o respuesta de una herramienta pueden intentar desviar a un agente de su tarea autorizada. Cuando un agente tiene acceso a la herramienta, las consecuencias pueden ir más allá de una respuesta incorrecta.
Respuesta de seguridad: Trate el contenido recuperado como no confiable, separe las instrucciones de los datos, restrinja las herramientas y aplique la autorización independientemente de las instrucciones del modelo.
4. Mal uso de la herramienta y ejecución insegura
Un agente podría invocar una API de forma incorrecta, modificar un registro comercial, ejecutar código generado o activar un flujo de trabajo sin la validación adecuada.
Respuesta de seguridad: Utilice listas de herramientas permitidas, validación de entrada, límites de transacción, entornos aislados (sandboxes) cuando sea apropiado y puertas de aprobación para operaciones con consecuencias importantes.
5. Identidades de agente comprometidas o no gestionadas
Los agentes pueden depender de claves API, tokens OAuth, entidades de servicio o cuentas de máquina. Las credenciales de larga duración, la propiedad poco clara y el acceso obsoleto crean oportunidades para el uso indebido.
Respuesta de seguridad: Inventariar las identidades de los agentes, gestionar los secretos de forma segura, rotar o revocar las credenciales, asignar propietarios y supervisar la actividad anómala.
6. Agentes en la sombra y automatización no autorizada
Los empleados y los equipos de negocio pueden implementar agentes sin revisión de seguridad. Estos agentes pueden conectarse a aplicaciones SaaS confidenciales o repositorios empresariales fuera de los procesos de gobernanza establecidos.
Respuesta de seguridad: Descubra los agentes y sus integraciones, establezca rutas de implementación aprobadas y evalúe la exposición de datos confidenciales.
7. RAG inseguro y recuperación de conocimiento
Los agentes que utilizan la generación aumentada por recuperación pueden acceder a bases de conocimiento internas, almacenes de vectores o conectores de búsqueda que no conservan de forma consistente los permisos de origen.
Respuesta de seguridad: Aplique la autorización en el momento de la recuperación, proteja el contenido indexado, clasifique los datos y valide los permisos de origen.
8. Fallos en la confianza y la delegación entre agentes
En los sistemas multiagente, un agente puede pasar instrucciones, credenciales, contexto o datos a otro agente con permisos diferentes. Un modelo de delegación débil puede ampliar la autoridad de la tarea original.
Respuesta de seguridad: Autenticar a cada agente, definir el alcance de los permisos delegados, preservar el contexto de la tarea y validar las acciones posteriores.
9. Herramientas de terceros y riesgo de integración de MCP
Los agentes se conectan cada vez más a herramientas externas mediante API y protocolos como el Protocolo de Contexto de Modelo (MCP). Estas integraciones pueden ampliar la superficie de ataque debido a definiciones de herramientas inseguras, autenticación débil o servidores con privilegios excesivos.
Respuesta de seguridad: Evaluar a los proveedores de herramientas, proteger los servidores MCP, restringir las credenciales y los permisos de las herramientas, y validar los resultados antes de su uso posterior.
10. Falta de supervisión, responsabilidad y respuesta ante incidentes.
Sin un propietario claro o registros de actividad fiables, los equipos de seguridad pueden tener dificultades para explicar por qué un agente accedió a la información, qué acciones realizó o cómo detenerlo.
Respuesta de seguridad: Establecer la titularidad, registrar la actividad pertinente, definir los controles de intervención e incluir escenarios específicos para cada agente en los planes de respuesta ante incidentes.
Seguridad de los agentes de IA frente a la seguridad tradicional de la IA
La seguridad tradicional de la IA se centra en proteger los modelos, los datos de entrenamiento, las aplicaciones, la infraestructura y los resultados. La seguridad de la IA basada en agentes incluye esos requisitos, pero añade la identidad, la autoridad delegada, la ejecución de herramientas y la responsabilidad a nivel de acción.
La distinción fundamental es simple: Un modelo de IA puede generar una recomendación; un agente de IA puede tener la capacidad de ejecutarla.
Mejores prácticas de seguridad para agentes de IA
Una estrategia de agente seguro debe combinar el descubrimiento, la protección de datos, la gobernanza de la identidad, las restricciones de acciones y la supervisión continua.
1. Descubre cada agente de IA y asigna la propiedad.
Elabore un inventario de agentes aprobados y no aprobados, sus propósitos comerciales, entornos, aplicaciones conectadas, identidades y propietarios.
Incluya agentes integrados en plataformas SaaS y flujos de trabajo desarrollados fuera del departamento de TI central. Sin la detección de agentes, las organizaciones no pueden evaluar ni gestionar de forma consistente el riesgo que representan.
2. Clasifique los datos a los que pueden acceder los agentes.
Identificar información sensible, regulada, confidencial, de propiedad exclusiva y de vital importancia para el negocio. a través de repositorios conectados.
Asigne la confidencialidad de los datos a las rutas de acceso de los agentes. El acceso de un agente a la documentación pública no genera el mismo riesgo que el acceso a los registros de clientes, el código fuente o los sistemas financieros.
3. Aplicar el principio de mínimo privilegio y mínima capacidad de acción.
Mínimo privilegio limita el acceso a los recursos. Menor agencia limita las acciones y la autonomía que un agente puede ejercer.
Por ejemplo, un agente de soporte puede necesitar permiso para leer el historial de casos de un cliente, pero no para exportar una base de datos completa de clientes ni para cambiar la propiedad de una cuenta.
Restrinja tanto los permisos de recursos como las operaciones ejecutables a lo que requiera la tarea empresarial.
4. Identidades de agentes seguras y acceso delegado
Utilice credenciales con alcance adecuado, secretos gestionados, propiedad de identidad y delegación auditable. Evite credenciales compartidas innecesarias y privilegios permanentes excesivos.
Cuando un agente actúa en nombre de un usuario, verifique que su autoridad se mantenga dentro del ámbito permitido al usuario y la tarea aprobada.
5. Herramientas seguras, API y conexiones MCP
Revise las herramientas que un agente puede invocar, los parámetros que aceptan dichas herramientas y los sistemas posteriores a los que afectan.
Aplique autenticación, autorización, validación, registro y restricciones en el límite de la herramienta o API. Una instrucción que le indique al modelo que no realice una acción no sustituye un control ejecutable.
6. Tratar el contenido externo como no confiable.
Los documentos, correos electrónicos, páginas web, resultados de búsqueda y respuestas de herramientas pueden contener instrucciones maliciosas.
Separe el contenido no confiable de las instrucciones privilegiadas, restrinja el acceso a las herramientas y compruebe si el contenido malicioso puede redirigir el comportamiento del agente.
7. Exigir aprobación para acciones de alto impacto.
No todas las acciones de un agente requieren revisión humana. Sin embargo, las acciones que impliquen la divulgación de datos confidenciales, transacciones financieras, cambios de acceso u operaciones destructivas pueden requerir medidas de seguridad más estrictas.
Defina umbrales de aprobación basados en el riesgo y asegúrese de que el proceso de aprobación opere al margen de la toma de decisiones del agente.
8. Monitorear la actividad y los cambios de los agentes.
Supervise el acceso a los datos relevantes, las llamadas a herramientas, los cambios de permisos, las transferencias externas y los resultados de las acciones. Mantenga registros suficientes para investigar incidentes, aplicando los controles de privacidad y retención adecuados.
Revise los agentes cuando adquieran nuevas herramientas, se conecten a nuevas fuentes de datos, cambien de propietario o reciban mayor autorización.
9. Prueba escenarios adversos y de fallos
Las pruebas de seguridad deben incluir inyección rápida, contenido recuperado malicioso, permisos excesivos, uso inseguro de herramientas, delegación inesperada, intentos de exfiltración de datos y fallos en los flujos de trabajo de aprobación.
Pruebe los flujos de trabajo completos de los agentes, no solo el modelo de lenguaje subyacente.
10. Establecer un plan de respuesta ante incidentes para agentes.
Los equipos de seguridad deben saber cómo deshabilitar un agente, revocar credenciales, bloquear el acceso a herramientas, preservar pruebas, investigar los datos afectados y restaurar los servicios de forma segura.
Incluya escenarios de incidentes específicos para cada agente en los ejercicios de respuesta de seguridad existentes.
Escenarios de seguridad para agentes de IA: ¿Qué harías tú?
Estos ejemplos ilustran cómo las decisiones de seguridad de los agentes dependen de los datos, los permisos y las acciones involucradas.
EXPLORA LOS ESCENARIOS
Escenario 1: Un agente de soporte recupera los registros de otro cliente.
Lo que sucede: Un agente recibe una solicitud de soporte legítima, pero utiliza un conector con privilegios amplios para recuperar información del cliente que no guarda relación con la solicitud.
Riesgo principal: Acceso excesivo y exposición de datos sensibles.
Respuesta recomendada: Implemente una autorización de recuperación limitada al cliente, reduzca los permisos del conector y supervise el acceso a datos confidenciales.
Escenario 2: Un documento recuperado intenta redirigir a un agente.
Lo que sucede: Un agente lee un documento que contiene instrucciones para ignorar su tarea original y enviar información a un punto final externo.
Riesgo principal: Inyección indirecta de mensajes y ejecución no autorizada de herramientas.
Respuesta recomendada: Tratar el documento como no confiable, restringir las herramientas disponibles, validar los destinos y aplicar la autorización de acciones fuera del modelo.
Escenario 3: Un agente de operaciones modifica un registro financiero.
Lo que sucede: Un agente recomienda un ajuste en la cuenta y luego intenta ejecutarlo utilizando una aplicación financiera conectada.
Riesgo principal: Ejecución autónoma más allá de la tarea aprobada o del umbral de riesgo.
Respuesta recomendada: Validar la justificación comercial, hacer cumplir los límites de transacción y exigir aprobación para los cambios que tengan consecuencias.
Estos son ejemplos ilustrativos de situaciones empresariales, no incidentes de seguridad documentados.
Cómo crear un programa de seguridad con agentes de IA
Las organizaciones pueden comenzar por priorizar la visibilidad de los agentes y el acceso a datos de alto riesgo, en lugar de intentar implementar todos los controles posibles simultáneamente.
Marcos de seguridad y gobernanza para agentes de IA
La seguridad de los agentes de IA debería basarse en los marcos de ciberseguridad y gobernanza de la IA ya establecidos, en lugar de funcionar como un programa separado y desconectado.
En Marco de gestión de riesgos de IA del NIST Ayuda a las organizaciones a estructurar la gobernanza, la medición y la gestión de riesgos de la IA. ISO/IEC 42001 Establece los requisitos para un sistema de gestión de IA.
En Proyecto de seguridad OWASP GenAI Proporciona orientación sobre las amenazas a la IA generativa y las aplicaciones basadas en agentes, si bien las prácticas establecidas de identidad, seguridad de las aplicaciones y protección de datos siguen siendo esenciales.
Las obligaciones legales dependen del caso de uso del agente, la información procesada, el rol de la organización y las jurisdicciones aplicables. Las leyes de privacidad, los requisitos específicos del sector y las regulaciones sobre IA pueden aplicarse incluso cuando un agente se construye utilizando un modelo de terceros.
La gobernanza debe abordar la propiedad, los fines aprobados, el acceso a los datos, la supervisión, las pruebas, la respuesta a incidentes y las pruebas de que los controles necesarios están funcionando.
Cinco métricas de seguridad para agentes de IA que vale la pena monitorear
Los responsables deben comprender si la organización está reduciendo la exposición a los agentes a medida que se expande su adopción.
Cómo BigID ayuda a proteger a los agentes de IA
La seguridad de los agentes se complica cuando el inventario de IA, la gestión de identidades, el descubrimiento de datos confidenciales y la mitigación de riesgos operan de forma independiente.
BigID ayuda a las organizaciones a conectar los agentes de IA con las identidades, los permisos, los datos empresariales y el contexto de negocio que subyacen a sus riesgos.
|
DESCUBRIR Identificar agentes e identidades de IA Descubra agentes de IA, aplicaciones, flujos de trabajo, cuentas de servicio e identidades de máquinas para mejorar la visibilidad del acceso gestionado por agentes. |
|
ENTENDER Conectar el acceso del agente a los datos confidenciales Comprenda a qué información regulada, confidencial, de propiedad exclusiva y de vital importancia para el negocio pueden acceder los agentes de IA a través de sus permisos e integraciones. |
|
GOBERNAR Identificar permisos excesivos Conecta la identidad, los permisos, la propiedad y el contexto de los datos para priorizar el acceso a la IA con privilegios excesivos y respaldar la gobernanza de privilegios mínimos. |
|
ACTO Priorizar y remediar la exposición Utilice el contexto de datos confidenciales y la información de acceso para priorizar los hallazgos, coordinar la remediación, reducir los permisos innecesarios y respaldar la gobernanza continua. |
Explore Seguridad de IA BigID, Gobernanza del acceso a la IAy Gobernanza de la IA para ver cómo la seguridad basada en datos respalda la adopción de la IA con capacidad de gestión de agentes.
EXPLORA EL PRODUCTO / RECORRIDO AUTOGUIADO
Vea la seguridad de la IA basada en datos en acción.
Explore las experiencias interactivas de los productos de BigID para ver cómo el descubrimiento, el contexto de datos confidenciales, la gobernanza del acceso y la corrección se conectan en los entornos empresariales.
Agentes de IA seguros sin frenar la innovación.
Los agentes de IA pueden ayudar a las organizaciones a automatizar flujos de trabajo complejos, reducir tareas repetitivas y mejorar la utilidad de los sistemas empresariales. Sin embargo, cada nueva conexión, permiso y capacidad autónoma implica una nueva decisión sobre la confianza.
Las organizaciones necesitan saber qué agentes están operativos, a qué información confidencial pueden acceder, qué identidades y permisos permiten ese acceso y qué acciones están autorizados a realizar.
También necesitan la capacidad de identificar el acceso excesivo, aplicar los controles adecuados, supervisar la exposición cambiante e intervenir cuando el comportamiento del agente genere un riesgo inaceptable.
El objetivo no es impedir que los agentes de IA actúen, sino garantizar que lo hagan dentro de los límites que la empresa pueda comprender, controlar y defender.
PROTEJA LOS DATOS QUE IMPULSAN SU IA
Conozca a sus agentes. Controle su acceso.
Descubra agentes de IA, comprenda sus permisos, identifique la exposición de datos confidenciales y reduzca el riesgo derivado de los agentes con BigID.
Explorar la seguridad de la IA →
Realiza un recorrido por el producto →
Preguntas frecuentes sobre seguridad de agentes de IA
¿Qué es la seguridad de los agentes de IA?
La seguridad de los agentes de IA es la práctica de proteger a los agentes de IA autónomos, sus identidades, el acceso a los datos, las herramientas conectadas y las acciones contra el uso no autorizado, la manipulación, la exposición de datos confidenciales y los daños operativos.
¿Cuáles son los mayores riesgos de seguridad para los agentes de IA?
Entre los principales riesgos se incluyen permisos excesivos, fugas de datos confidenciales, inyección rápida, ejecución insegura de herramientas, identidades de agentes comprometidas, agentes en la sombra, recuperación insegura de RAG, fallos de delegación, vulnerabilidades de integración con terceros y supervisión inadecuada.
¿En qué se diferencia la seguridad de los agentes de IA de la seguridad de la IA en general?
La seguridad de la IA protege de forma integral los modelos, las aplicaciones, la infraestructura y los datos de IA. La seguridad de los agentes de IA añade controles para los flujos de trabajo autónomos, las identidades de las máquinas, los permisos delegados, la ejecución de herramientas y las acciones que afectan a los sistemas empresariales.
¿Cómo se garantiza la seguridad de los agentes de IA autónomos?
Garantizar la seguridad de los agentes autónomos mediante el descubrimiento y la asignación de propietarios, la clasificación de los datos accesibles, la aplicación del principio de mínimo privilegio, la restricción de herramientas y acciones, la validación de la autoridad delegada, la supervisión de la actividad y la exigencia de aprobación para operaciones de alto impacto.
¿Qué es la inyección rápida en los agentes de IA?
La inyección de comandos consiste en intentar manipular un agente de IA mediante instrucciones maliciosas. Estas instrucciones pueden aparecer en mensajes directos o en contenido no confiable, como documentos, páginas web, correos electrónicos y respuestas de herramientas.
¿Qué es la menor agencia?
El principio de mínima agencia limita las acciones y la autonomía de un agente de IA. Complementa el principio de mínimo privilegio, que restringe el acceso a recursos y datos.
¿Por qué es importante la seguridad de la identidad de los agentes de IA?
Los agentes de IA utilizan cuentas de servicio, credenciales de API, identidades de máquina y permisos delegados para acceder a los sistemas empresariales. La seguridad de la identidad ayuda a las organizaciones a establecer la propiedad, restringir el acceso, gestionar las credenciales y reducir el riesgo de acciones no autorizadas.
¿Cómo afecta MCP a la seguridad de los agentes de IA?
El Protocolo de Contexto de Modelo (MCP) permite que los clientes de IA compatibles interactúen con herramientas y fuentes de datos externas. Las organizaciones deben proteger los servidores MCP, la autenticación, los permisos de las herramientas, los sistemas conectados y las acciones posteriores.
¿Cuál es la diferencia entre acceso de agente y autorización?
El acceso determina qué recursos tiene un agente autorizado técnicamente a utilizar. La autoridad determina si una acción concreta es apropiada para la tarea asignada, los permisos delegados y el propósito comercial.
¿Qué marcos de trabajo ofrecen soporte para la seguridad de los agentes de IA?
El marco de gestión de riesgos de IA del NIST respalda la gobernanza de riesgos de IA, la norma ISO/IEC 42001 proporciona requisitos para los sistemas de gestión de IA, y el proyecto de seguridad GenAI de OWASP ofrece orientación sobre las amenazas a la IA generativa y las aplicaciones basadas en agentes.
¿Qué aspectos deberían supervisar las organizaciones en los agentes de IA?
Las organizaciones deben supervisar las identidades de los agentes, los permisos, el acceso a datos confidenciales, las llamadas a herramientas, la actividad delegada, las transferencias externas, las acciones de alto impacto, los hallazgos de seguridad y los resultados de las medidas correctivas.
¿Cómo ayuda BigID a proteger a los agentes de IA?
BigID ayuda a las organizaciones a descubrir agentes e identidades de IA, comprender el acceso a datos empresariales confidenciales, identificar permisos excesivos, priorizar la exposición, respaldar la gobernanza de la IA y coordinar la mitigación de riesgos.
Autor
