La adopción de la IA se está acelerando a un ritmo sin precedentes. Pero Gobernanza de la IA —los marcos, las políticas y los controles operativos que las organizaciones utilizan para gestionar cómo los sistemas de IA acceden, procesan y actúan sobre los datos empresariales— están teniendo dificultades para mantenerse al día.
Conclusiones clave: Lo que los líderes en seguridad de IA deben saber
- La gobernanza de la IA debe ser operativa, no solo una política. El mayor desafío de la IA no reside en la tecnología en sí, sino en cómo los sistemas de IA interactúan con los datos empresariales en tiempo real.
- El problema del riesgo en la IA es un problema de datos. La mayoría de los fallos en la gobernanza de la IA se deben al acceso no controlado a los datos, no a fallos en los modelos. La visibilidad de los datos es la base de cualquier estrategia de seguridad de la IA.
- La IA agente requiere gobernanza de identidad. Los agentes de IA autónomos necesitan los mismos controles de acceso que los empleados humanos: identidad centralizada, privilegios mínimos y supervisión continua.
- La seguridad de la IA abarca todo el ciclo de vida del aprendizaje automático. La integridad de los datos de entrenamiento, la supervisión del comportamiento del modelo y la seguridad de la interfaz de avisos forman parte de la seguridad de la IA empresarial, no solo de la API de producción.
- El exceso de confianza en los marcos de trabajo existentes supone un riesgo para la IA. Muchas organizaciones creen que sus programas actuales de privacidad y seguridad abarcan la IA. La mayoría no lo hacen. Se requiere una gobernanza de la IA continua e interfuncional.
- El liderazgo en seguridad de la IA comienza con una simple pregunta: ¿Conoces tus datos? Sin visibilidad de los datos, gobernar la IA es prácticamente imposible.
¿Qué es la gobernanza de la IA?
La gobernanza de la IA se refiere a los marcos operativos, los controles y las estructuras de rendición de cuentas que las organizaciones utilizan para gestionar cómo los sistemas de IA interactúan con los datos, las personas y los procesos de la empresa. Una gobernanza eficaz de la IA abarca la visibilidad de los datos, gestión de identidades, monitoreo de seguridad y cumplimiento normativo, y deben estar integrados de forma continua en todo el sistema. Ciclo de vida de la IA, sin limitarse a los documentos de política inicial.
Esa brecha entre lo que las organizaciones quieren que haga la IA y lo que están preparadas para gobernar fue el tema central del Foro de Liderazgo en Gobernanza de la IA, donde líderes en seguridad, privacidad y seguridad de la IA se reunieron para debatir cómo se ve una IA responsable en el mundo real.
A lo largo de la conferencia magistral y los dos paneles de expertos, surgió una idea recurrente: la gobernanza de la IA ya no puede limitarse a documentos normativos. Debe ser operativa. Y las organizaciones que implementen correctamente la gobernanza de la IA no solo serán las más rápidas, sino que gobernarán de forma más inteligente.
Analicemos cómo se aplican estas ideas en la práctica.
Seguridad de la IA en una empresa impulsada por agentes: gobernanza y riesgo
Ponencia principal: Francis Odum, fundador y director ejecutivo de Software Analyst Cyber Research.
La seguridad de la IA ha alcanzado un punto de inflexión en la gobernanza empresarial. Las organizaciones están adoptando la IA rápidamente, a menudo bajo la presión de consejos de administración y ejecutivos deseosos de avanzar con mayor celeridad. Sin embargo, los marcos de seguridad de la IA necesarios para gestionar este crecimiento aún están en desarrollo.
La adopción de la IA se está acelerando porque los consejos de administración y los directores ejecutivos la están impulsando, pero la seguridad aún va a la zaga.
— Francis Odum, Fundador y CEO, Analista de Software en Investigación Cibernética
El auge de la IA con agentes y sus implicaciones para la seguridad.
El cambio no se trata solo de IA generativa herramientas ya no. Las empresas se están moviendo hacia sistemas de IA con agentes — agentes autónomos capaces de razonar, interactuar con sistemas y completar tareas con una mínima supervisión humana. Esto cambia drásticamente la ecuación de gobernanza y riesgo de la IA.
Estos agentes interactúan con los sistemas empresariales del mismo modo que los empleados: se conectan a archivos, API, sistemas CRM, documentación interna y registros de clientes. Esto significa que el riesgo de la IA ya no es teórico, sino operativo.
El problema del riesgo de la IA es en realidad un problema de datos.
Gestión de riesgos de IA Es fundamental comenzar con los datos. Si bien muchas organizaciones se centran en la seguridad de los modelos, el mayor riesgo reside en el acceso a los datos. Los sistemas de IA se conectan cada vez más a fuentes de datos empresariales sensibles, lo que amplía drásticamente la superficie de ataque.
La mayoría de los fallos de gobernanza no provendrán de la ponderación de los modelos, sino del contexto conectado: archivos, correos electrónicos, datos de clientes y código fuente.
— Francisco Odum
Obtenga visibilidad sobre el acceso a los datos de IA, la identidad y los riesgos en todo el entorno.
Un marco para el liderazgo en seguridad de la IA
Por muy avanzada que sea la IA, el problema sigue siendo, en esencia, un problema de datos. Odum describió tres prioridades para el liderazgo en seguridad de la IA en la era de los agentes:
- Convergencia de datos, identidad y gobernanza de la IA
- Gestiona agentes de IA como empleados digitales con control centralizado de identidad y acceso
- Comience con la visibilidad de los datos: antes de implementar la IA, las organizaciones deben comprender qué datos existen y dónde se encuentran.
Me ha impresionado mucho la incursión de BigID en la gobernanza de identidades basadas en agentes, extendiendo la visibilidad de la identidad a la capa de datos. A medida que las identidades no humanas adquieren mayor relevancia, comprender cómo interactúan con los datos confidenciales resulta fundamental.
— Francisco Odum
Gobernanza de la IA para la privacidad: diseño para sistemas impredecibles
Panel: Aaron Weller (HP), Chantra Stevenson (Alaska Airlines), Mae-Beth Magno (Boeing)
Los marcos tradicionales de privacidad desde el diseño asumían que los sistemas se comportaban de manera determinista. La IA generativa rompe con ese modelo. Esta sesión abordó un desafío fundamental de gobernanza de la IA: cómo deben evolucionar los marcos de privacidad para los sistemas de IA que no se comportan de forma predecible.
La gobernanza de la IA debe ser continua.
Los sistemas de IA aprenden, evolucionan y, a veces, se comportan de forma inesperada. Por ello, la gobernanza de la IA debe pasar de revisiones estáticas a una supervisión continua. Las organizaciones ahora necesitan:
- Monitoreo continuo del comportamiento
- Detección de desviaciones y alertas de anomalías
- Pruebas de comportamiento del modelo después de su implementación
- Revisiones de gobernanza de la IA posteriores a la implementación
La privacidad tradicional, concebida desde el diseño, partía de la base de que sabíamos exactamente cómo se comportaría un sistema. Con la IA generativa, diseñamos sistemas que podrían sorprendernos.
— Aaron Weller, HP
El exceso de confianza es un riesgo creciente para la IA.
Una conclusión crucial del panel: muchas organizaciones creen que sus marcos de privacidad actuales ya cubren la IA. Esta suposición, en sí misma, representa un riesgo para la IA.
Muchas organizaciones tienen un exceso de confianza en su preparación en materia de privacidad para la IA generativa.
— Chantra Stevenson, Alaska Airlines
Los nuevos riesgos de la IA —desde la inyección instantánea hasta la fuga de datos de entrenamiento— requieren enfoques de gobernanza de la IA que vayan más allá de los programas de privacidad tradicionales.
La gobernanza de la IA requiere colaboración interfuncional.
Esto ya no es un proceso de control de acceso, sino infraestructura.
— Mae-Beth Magno, Boeing
El cumplimiento normativo y la gobernanza de la privacidad en el ámbito de la IA no pueden funcionar de forma aislada. Deben integrarse directamente en el desarrollo de productos, colaborando con los equipos de ingeniería, producto y gobernanza de datos. El objetivo no es frenar la innovación, sino establecer mecanismos de protección que la acompañen en su crecimiento.
Garantizando la seguridad de los sistemas de IA desde la formación hasta la producción.
Panel: Sabna Sainudeen (Carlsberg), Samaresh Singh (HP), Marissa Palmer (TrueCar)
Garantizar la seguridad de los sistemas de IA requiere un enfoque fundamentalmente diferente al de la seguridad de la infraestructura tradicional. La seguridad de la IA debe abarcar todo el ciclo de vida del aprendizaje automático, desde la integridad de los datos de entrenamiento hasta la implementación y la inferencia del modelo.
La IA amplía la superficie de seguridad empresarial.
Los sistemas de IA introducen consideraciones de seguridad completamente nuevas. Las organizaciones ahora deben garantizar:
- Conjuntos de datos de entrenamiento y flujos de datos
- Artefactos y pesos del modelo
- Canalizaciones de inferencia y API
- Interfaces de solicitud y Puntos de acceso del agente
La seguridad debe estar integrada en todo el ciclo de vida del aprendizaje automático, no solo en la API o en la capa de producción.
— Samaresh Singh, HP
Integridad de los datos de entrenamiento: la capa más crítica
Una de las mayores vulnerabilidades de seguridad de la IA reside en el inicio mismo de su ciclo de vida: la integridad de los datos de entrenamiento. Si estos datos se ven comprometidos, el comportamiento del modelo puede volverse poco fiable, y el problema podría manifestarse mucho más tarde.
Si los datos de entrenamiento se manipulan al principio, el comportamiento del modelo puede revelar el problema mucho más tarde.
— Samaresh Singh, HP
La seguridad de la IA exige monitorización del comportamiento.
Los sistemas de IA cambian la forma en que deben operar los equipos de seguridad. En lugar de centrarse únicamente en las alertas de infraestructura, los equipos deben monitorear el comportamiento de los modelos y las anomalías.
Tenemos que buscar anomalías en el comportamiento, porque la IA no siempre falla de maneras obvias.
— Marissa Palmer, TrueCar
La seguridad de la IA se basa en fundamentos existentes, pero requiere nuevas capas.
A pesar de la nueva complejidad, muchos principios de seguridad tradicionales siguen vigentes. Las organizaciones pueden reutilizar la seguridad de las canalizaciones de CI/CD, el análisis de dependencias y la monitorización de la infraestructura, pero deben ampliarla a la gobernanza de datos, la monitorización de modelos y la detección de amenazas específicas de la IA.
Podemos reutilizar muchas de nuestras prácticas de seguridad existentes, pero la capa de datos y el comportamiento del modelo plantean desafíos completamente nuevos.
— Sabna Sainudeen, Grupo Carlsberg
El cambio estratégico: De la adopción de la IA a la gobernanza de la IA
A lo largo de las tres sesiones, quedó clara una idea: el mayor desafío de la IA no reside en la tecnología en sí, sino en cómo se gestiona su interacción con los datos empresariales. Los sistemas de IA amplifican los riesgos existentes en torno al acceso a los datos, la gestión de identidades, la supervisión de la seguridad y la responsabilidad regulatoria.
Las organizaciones que triunfen con la IA no solo serán las más rápidas, sino que gobernarán de la manera más inteligente. Y la gobernanza de la IA comienza con una pregunta sencilla:
Porque sin esa visibilidad, gobernar la IA —y gestionar el riesgo que conlleva— se vuelve prácticamente imposible.
Preguntas frecuentes sobre la gobernanza y la seguridad de la IA
¿Qué es la gobernanza de la IA y por qué es importante para la seguridad empresarial?
La gobernanza de la IA es el conjunto de marcos operativos, políticas y controles que las organizaciones utilizan para gestionar cómo los sistemas de IA acceden a los datos, toman decisiones y operan en entornos empresariales. Es fundamental para la seguridad de la IA empresarial, ya que una IA sin gobernanza amplía drásticamente la superficie de ataque, permitiendo la conexión a archivos confidenciales, registros de clientes, API y código fuente sin la supervisión adecuada.
¿Cuáles son los mayores riesgos de la IA para las organizaciones empresariales en 2025?
Los mayores riesgos de la IA para las empresas incluyen: acceso no controlado a los datos por parte de agentes de IA, manipulación de datos de entrenamiento, ataques de inyección rápida, fuga de datos de entrenamiento, exceso de confianza en los marcos de privacidad existentes y falta de supervisión del comportamiento posterior a la implementación. Los expertos en seguridad de la IA insisten en que la gestión de riesgos de la IA debe comenzar con la visibilidad de los datos.
¿En qué se diferencia la IA con agentes de los desafíos tradicionales de la gobernanza de la IA?
Los sistemas de IA con capacidad de gestión de agentes son agentes autónomos que pueden razonar, realizar acciones e interactuar con los sistemas empresariales —incluidos archivos, API, plataformas CRM y documentación interna— sin supervisión humana constante. Esto hace que la gobernanza de la IA con capacidad de gestión de agentes sea significativamente más compleja que la gobernanza de la IA tradicional, ya que estos agentes se comportan más como empleados digitales y requieren controles de identidad y acceso en consecuencia.
¿Cómo se manifiesta en la práctica el liderazgo en seguridad de la IA?
El liderazgo en seguridad de la IA implica la operacionalización de la gobernanza de la IA en las funciones de datos, identidad y seguridad. Esto conlleva la convergencia de la gobernanza de datos con la gestión de identidades, el tratamiento de los agentes de IA como identidades digitales gestionadas, la protección de todo el ciclo de vida del aprendizaje automático, desde los datos de entrenamiento hasta la inferencia, y la integración de la monitorización continua en las implementaciones de IA en lugar de depender de revisiones puntuales.
¿Cómo deberían las organizaciones construir un marco de gobernanza de la IA?
Un marco de gobernanza de IA eficaz debería: (1) establecer la visibilidad de los datos como base, (2) integrar controles de identidad y acceso tanto para agentes humanos como de IA, (3) incorporar revisiones de seguridad y privacidad de forma continua a lo largo del ciclo de vida de la IA, (4) incluir la monitorización del comportamiento y la detección de desviaciones después de la implementación, y (5) alinear a los equipos multifuncionales, incluidos los de seguridad, privacidad, ingeniería y legal, en torno a la responsabilidad compartida del riesgo de la IA.
¿Cuál es la relación entre la gobernanza de datos y la seguridad de la IA?
La gobernanza de datos y la seguridad de la IA son inseparables. Los sistemas de IA solo pueden protegerse si las organizaciones comprenden primero qué datos existen, dónde se almacenan y quién —o qué— puede acceder a ellos. La gobernanza de datos sienta las bases para la seguridad de la IA al permitir que las organizaciones controlen qué datos de entrenamiento se utilizan, limiten el acceso de los agentes de IA a datos confidenciales y detecten patrones anómalos de acceso a los datos.
Vea la grabación completa del foro.
Descubre cómo BigID ayuda a las organizaciones a descubrir, proteger y gestionar los datos para la IA, desde la formación hasta la producción.
