Al desarrollar soluciones de IA, es fundamental garantizar que sean seguras y confiables. Esto implica, entre otras cosas, garantizar su seguridad. También deben ser éticas y respetar los derechos humanos y la privacidad.
Para ello es necesario conocer la Principio de gobernanza de la IAque sientan las bases de los marcos de gobernanza. Analicemos cuáles son estos principios y cómo implementarlos.
Pero primero…
¿Qué es la gobernanza de la IA?
La gobernanza de datos es la estrategia que garantiza la seguridad de los datos de su empresa y su gestión conforme a los requisitos establecidos por las normativas de privacidad. La gobernanza de la IA es similar, pero para los sistemas de inteligencia artificial, garantizar que el desarrollo de la IA se ajuste a normativas como la... Ley de AI de la UE y Marco de gestión de riesgos de IA del NIST (AI RMF)Abarca las políticas, principios y prácticas que forman la base de los sistemas de IA éticos y seguros.
¿Por qué es necesaria la gobernanza de la IA?
La IA se está utilizando para controlar y automatizar procesos empresariales. Algunos de estos procesos son de bajo riesgo, como los chatbots que gestionan consultas sencillas de los clientes para aliviar la carga de los ejecutivos de atención al cliente.
Sin embargo, otros usos de la IA plantean un riesgo mayor.
Riesgos de la IA que debemos tener en cuenta
Por ejemplo, las herramientas de IA se utilizan en el sector sanitario para realizar diagnósticos y recomendar tratamientos. Los departamentos de recursos humanos utilizan la IA para agilizar el proceso de selección de solicitantes. Los bancos y otras instituciones financieras utilizan la IA para determinar si a una persona se le debe conceder un préstamo. Los vehículos autónomos utilizan la IA para conducir sin requerir mucha intervención del conductor.
Estas aplicaciones se clasifican en la categoría de vida o sustento. Si la IA falla o arroja un resultado erróneo, podría afectar la salud de las personas o su capacidad para obtener empleo o préstamos. Los resultados injustos también pueden afectar la capacidad de una persona para... solicitar un trabajo o comprar una casa.
El sesgo no es el único riesgo que plantean los modelos de IA; también existe el riesgo de violaciones de la privacidad. Cualquier información sensible o información personal identificable (IPI) La información contenida en los datos de entrenamiento del modelo corre el riesgo de revelarse en los resultados de un sistema de IA, especialmente si se trata de IA generativa (GenAI). Por lo tanto, es necesario implementar medidas de seguridad para evitar que esto suceda.
Otros riesgos de la IA incluyen:
- Falta de transparencia: Si no sabes cómo tu modelo de IA toma decisiones, no podrás defenderlo si te lo cuestionan.
- Riesgos de seguridad: Si el modelo no cuenta con medidas de seguridad, podría correr el riesgo de sufrir ataques y manipulaciones maliciosas.
- Riesgos de datos: El sobreajuste o la generalización deficiente ocurren cuando los datos de entrenamiento no son lo suficientemente amplios o no brindan el contexto adecuado para el uso en el mundo real.
- Deriva y decadencia del modelo: Con el tiempo, los datos o la lógica del modelo comienzan a desviarse, lo que genera malos resultados.
- Mal uso ético: Si bien el modelo está diseñado aparentemente para un uso determinado, podría empezar a usarse para otro fin que podría violar la privacidad de las personas.
- Riesgo existencial: Existe la posibilidad de que los humanos pierdan el control de la IA si la inteligencia artificial general (AGI) desarrolla objetivos que no estén alineados con los valores humanos o si se vuelve capaz de ser más inteligente que sus creadores.
- Otros riesgos: Estos incluyen el desplazamiento laboral, la manipulación social, la dependencia de la IA y la posible desigualdad social.
Los Principios de la OCDE para un Marco de Gobernanza Responsable de la IA
El objetivo de la gobernanza de la IA es reducir o eliminar estos riesgos. En lugar de reaccionar ante los problemas, busca anticiparlos y remediarlos desde el principio. Por lo tanto, los principios de gobernanza de la IA se aplican a todo el ciclo de vida de la IA, desde el diseño hasta el desarrollo, la implementación y, finalmente, el desmantelamiento.
- Crecimiento inclusivo, desarrollo sostenible y bienestar
- Derechos humanos y valores democráticos, incluida la equidad y la privacidad
- Transparencia y explicabilidad
- Robustez, seguridad y protección
- Responsabilidad
Sus recomendaciones para los responsables de las políticas incluyen:
- Invertir en investigación y desarrollo de IA
- Fomentar un ecosistema inclusivo que facilite la IA
- Configuración de un entorno de gobernanza y políticas interoperable que facilite la IA
- Desarrollo de la capacidad humana y preparación para la transición al mercado laboral
- Cooperación internacional para una IA confiable
Principios de IA para sistemas de IA confiables
Estos principios generales de IA de la OCDE se pueden desglosar en las siguientes nueve prioridades:
Explicabilidad
Es importante que un sistema de IA cuente con procesos de toma de decisiones abiertos y explícitos. Poder explicar cómo el sistema llegó a un resultado es importante por varias razones, una de las cuales es la confianza. Ni las partes interesadas ni los usuarios pueden confiar en un sistema de caja negra. La explicabilidad es esencial para que las personas comprendan por qué se tomó la decisión.
La explicabilidad también ayuda a prevenir sesgos. Si existe un flujo lógico de resultados que condujo a una conclusión, se puede identificar dónde un atributo sensible contribuyó a ella. Así, al saber exactamente dónde el proceso comenzó a inclinarse hacia la discriminación (o incluso a una mala decisión que no constituye un sesgo), los desarrolladores saben cómo corregirlo. La explicabilidad facilita la depuración.
Finalmente, poder explicar cómo funcionan los algoritmos de su sistema facilita el cumplimiento de leyes como el RGPD y la Ley de Inteligencia Artificial de la UE. Estas leyes incluyen una disposición sobre el "derecho a la explicación" y la transparencia algorítmica. Por lo tanto, poder demostrar cómo funciona su sistema le permite cumplir con la normativa.
Responsabilidad
Alguien —una persona— debe responsabilizarse de una decisión tomada por su empresa, incluso si fue generada por IA, especialmente si tiene consecuencias reales. No puede simplemente culpar al algoritmo y evitar las consecuencias. Si alguien resultó perjudicado por un resultado de su sistema de IA, debería poder interponer un recurso. Necesita un punto de contacto que pueda responder a sus preguntas, corregir el error y pagar una indemnización.
Saber quién es responsable también te da una línea clara de responsabilidad. No se trata de atribuir culpas, sino de dónde falló el sistema y quién debe solucionarlo. Este conocimiento te permite tomar medidas correctivas rápidamente. También te proporciona una estructura para la supervisión, las auditorías y la gestión continua de riesgos. Y, como la rendición de cuentas es un requisito legal, te mantiene en cumplimiento.
Seguridad
Un sistema de IA no debe causar daño a las personas, la sociedad ni el medio ambiente. No importa si fue intencional o no, ni si se trató de un daño físico, psicológico, financiero o social.
La idea de que una inteligencia artificial dañe a los humanos no es nueva. De hecho, las tres leyes de la robótica de Isaac Asimov, que eran una obra de ficción, se están aplicando a aplicaciones de IA en el mundo real, porque la seguridad es importante.
La idea de no causar daño trasciende el resultado del modelo. Se consideran ciertas aplicaciones contrarias a los valores democráticos y la autonomía humana. Por ejemplo:
- Monitoreo de personas en función de características protegidas
- Utilizando tácticas psicológicas para influir en las decisiones de las personas
- Seguimiento y elaboración de perfiles con ayuda de software de reconocimiento facial
Dado que la seguridad es un principio tan importante, es importante integrarlo desde las etapas de diseño y desarrollo, especialmente si el modelo se va a utilizar en aplicaciones que afectan la vida y el sustento.
Seguridad
No basta con desarrollar un modelo que sea seguro; los actores maliciosos pueden usar varias técnicas, como ataques adversarios o ataques de envenenamiento, para “infectar” un modelo seguro y que arroje resultados deficientes.
Ataques como la inversión de modelos y la extracción de datos también pueden utilizarse para robar información confidencial e información personal identificable (PII) de los datos de entrenamiento del modelo. Esta información pertenece a los consumidores de quienes la recopiló y, por lo tanto, está protegida por las leyes de privacidad de datos. Si se determina que no contaba con las medidas de seguridad adecuadas para proteger esta información, podría enfrentarse a sanciones y acciones legales.
Los estándares de seguridad de datos (cifrado, control de acceso y entrenamiento de modelos seguros) pueden ayudarlo a protegerse contra dichas violaciones.
Una seguridad deficiente también podría provocar que su modelo de IA sea utilizado para realizar tareas no autorizadas. Independientemente de quién sea el responsable, si su modelo de IA se utiliza con fines maliciosos, su nombre y reputación están en juego.
Transparencia
Esto podría parecer muy similar a la explicabilidad, pero en realidad es un principio general independiente que abarca más que el funcionamiento del modelo. Mientras que la explicabilidad se centra en cómo un modelo toma sus decisiones, la transparencia responde a preguntas como "¿Qué es el sistema?", "¿Quién lo construyó?", "¿Qué hace y con qué transparencia se divulga?".
Este principio fomenta la transparencia desde la fase de desarrollo de la IA hasta su implementación. Para cumplir con los requisitos de este principio, es necesario comunicar claramente el diseño, el propósito, las limitaciones, las fuentes de datos y la responsabilidad de los resultados del sistema.
La transparencia le ayuda a garantizar la supervisión externa y la rendición de cuentas democrática. Permite a los reguladores, usuarios o investigadores independientes auditar, cuestionar y criticar sus sistemas de IA. Este principio es especialmente importante en las implementaciones del sector público, donde la IA no debe socavar los derechos humanos ni los valores públicos.
Justicia e inclusión
Eliminar los sesgos es fundamental para el desarrollo ético de la IA. El modelo no debe discriminar a las personas por sus características. Sus decisiones deben ser justas, imparciales y equitativas.
La equidad en la IA no se limita a un trato neutral, sino a mitigar activamente el daño y garantizar que ningún grupo se vea sistemáticamente desfavorecido. Esto requiere decisiones bien pensadas en la selección de datos, el diseño de modelos y los criterios de evaluación.
La inclusión implica considerar e involucrar activamente diversas perspectivas, necesidades y experiencias a lo largo del ciclo de vida de la IA. También implica involucrar a diversas partes interesadas en el proceso de diseño y toma de decisiones. Esto puede incluir a comunidades afectadas, especialistas en ética, expertos en accesibilidad o defensores de los derechos civiles. Su participación ayuda a identificar puntos débiles y garantiza que el sistema funcione para una población más amplia, no solo para el grupo dominante o mayoritario.
Reproducibilidad
En las pruebas de software, la reproducibilidad es un aspecto importante. Se deben obtener los mismos resultados cada vez que se introduce un conjunto de datos. Lo mismo ocurre en el desarrollo de modelos de IA. La reproducibilidad ayuda a demostrar que el resultado, correcto o incorrecto, no fue casual. La lógica es consistente, independientemente de cuántas veces se introduzca la consulta.
La reproducibilidad favorece la rendición de cuentas y la transparencia. Cuando las decisiones tomadas por los sistemas de IA se pueden rastrear y probar, resulta más fácil auditar su comportamiento. Se pueden diagnosticar errores y garantizar el cumplimiento de las normas legales o éticas.
Para crear un sistema reproducible, se necesita una documentación exhaustiva de las fuentes de datos, el diseño del modelo, los procesos de entrenamiento y las configuraciones del sistema. Esto hace que el desarrollo de IA sea más riguroso y fiable.
Robustez
No basta con que un modelo de IA funcione bien en condiciones "perfectas". Debe ser capaz de ofrecer resultados consistentes en una amplia gama de circunstancias, como cuando recibe entradas inesperadas, cuando los datos son ruidosos o cuando su entorno cambia.
Esto es especialmente importante en aplicaciones del mundo real, como vehículos autónomos, diagnósticos médicos o previsiones financieras, donde los errores pueden tener graves consecuencias.
La robustez es esencial para la confianza y la resiliencia. Ayuda a garantizar que los sistemas de IA no fallen de forma impredecible, causen daños ni tomen decisiones erráticas cuando las condiciones cambian, algo que suele ocurrir fuera de entornos de laboratorio controlados.
Para garantizar la robustez es necesario realizar pruebas rigurosas, simulaciones de estrés, entrenamiento adversarial y monitoreo continuo para asegurarse de que el sistema pueda manejar casos extremos y recuperarse sin problemas de los errores.
Gobernanza de datos
Una gobernanza eficaz de la IA comienza con una sólida gobernanza de datos. La calidad, la seguridad y la integridad de los datos utilizados para entrenar sistemas de IA influyen directamente en la imparcialidad, precisión y rendición de cuentas de dichos sistemas.
Sin una supervisión clara de dónde provienen los datos, cómo se procesan y quién tiene acceso a ellos, incluso los modelos de IA más sofisticados corren el riesgo de sufrir sesgos, infracciones o incumplimiento normativo.
Mantener la ética y la gobernanza en las iniciativas de IA con BigID
Para un desarrollo responsable de la IA, las organizaciones necesitan herramientas que vayan más allá de la gestión básica de datos. Necesitan soluciones inteligentes que automaticen el descubrimiento, la clasificación y el control de datos en toda la empresa.
BigID simplifica la gobernanza de datos al proporcionar visibilidad profunda, aplicación de políticas y capacidades de cumplimiento a gran escala. El enfoque de la plataforma para la gobernanza de IA utiliza Descubrimiento automático para localizar y mapear sus datos, incluyendo todos los datos y activos de IA. También clasifica tus datos, lo que te ayuda a gestionarlos adecuadamente.
Este Solución de seguridad y gobernanza de IA Garantiza que los datos que utilizan sus sistemas de IA se limpien, enriquezcan y protejan. Supervisa sus sistemas para detectar riesgos y los corrige para que pueda usar su tecnología de IA con confianza.
¿Está interesado en obtener más información sobre cómo BigID le ayuda como empresa? Gestión de la confianza, el riesgo y la seguridad de la inteligencia artificial (AI TRiSM) ¿Solución, todo ello manteniéndose alineado con los marcos regulatorios clave? ¡Programe una demostración hoy!
Autor
