Ningún sistema está completamente exento de riesgos, incluso si son insignificantes. Los sistemas de IA no son la excepción. Sin embargo, con el auge de la automatización y la toma de decisiones impulsadas por la IA, un rendimiento deficiente podría afectar vidas. Por eso es tan importante una gobernanza responsable de la IA, no solo para la seguridad, sino también para facilitar su uso ético y responsable en todos los sectores.
¿Qué es la gobernanza de la IA?
La gobernanza de la IA se refiere a los estándares, procesos y barreras para iniciativas de IA éticas y libres de riesgos.
¿Por qué es necesaria? La inteligencia artificial se construye mediante aprendizaje automático (ML) mediante algoritmos diseñados por humanos. Por lo tanto, son susceptibles a errores humanos y sesgos. Las prácticas de gobernanza de la IA están diseñadas para reducir la probabilidad de que estas fallas se cuelen en el sistema y afecten su rendimiento.
También le ayudan a prepararse y a solucionar cualquier riesgo de seguridad u otras fallas que puedan afectar a su sistema. Estas directrices se superponen con la gobernanza de datos, garantizando que sus datos de entrenamiento estén limpios, bien documentados y se utilicen de forma justa.
En resumen, los principios de gobernanza de la IA proporcionan el modelo para el desarrollo y la implementación de sistemas de IA en los que tanto usted como sus usuarios pueden confiar.
¿Por qué implementar marcos de gobernanza de IA responsable?
Con chatbots de IA generativa (o GenAI) como ChatGPT, el riesgo reside en alucinaciones que resultan en una respuesta errónea. La desinformación, aunque indeseable, no es probable que afecte negativamente la vida o el sustento del usuario.
Sin embargo, la IA también se está utilizando para otros fines y está demostrando ser muy útil.
Uso de la IA en situaciones de la vida o de subsistencia
La IA se utiliza en la atención médica como herramienta de diagnóstico. A diferencia de los médicos, que suelen estar sobrecargados y propensos a errores humanos, los diagnosticadores con IA pueden centrarse exclusivamente en los hechos.
Por ejemplo, la IA puede ser inquietantemente precisa a la hora de determinar la identidad de una persona. probabilidad de sufrir un ataque cardíaco en los próximos cinco años simplemente examinando imágenes de sus ojos.
Otras herramientas pueden analizar radiografías, escáneres e informes para realizar diagnósticos iniciales, que el médico puede verificar posteriormente. Los robots también se utilizan para la microcirugía y pueden automatizarse parcialmente mediante IA.
La tecnología inteligente no solo ayuda a las personas en los hospitales. Los altavoces inteligentes que se instalan en el hogar podrían... Detectar potencialmente ataques cardíacos. También se les está evaluando como herramienta de salud mental Para los ancianos y enfermos que viven solos.
O funciones inteligentes en su automóvil que... Llamar a los servicios de emergencia en caso de accidente. e informarles del grado de las lesiones. Dado que esta llamada se emitirá en menos de siete segundos tras el accidente, la ayuda podrá llegar mucho más rápido y mejor preparada.
Hablando de automatización vehicular, ¿cómo no hablar de los coches autónomos? Si bien los vehículos autónomos aún no son completamente seguros, Los coches modernos pueden asumir varios procesos De los conductores, haciéndolos más seguros. Una vez que sean lo suficientemente confiables, conducir será más accesible, ya que incluso quienes no saben conducir podrán usarlos.
Otro campo en el que la IA está haciendo que el trabajo sea más fácil y rápido es recursos humanosVarios de los aspectos más tediosos y que consumen más tiempo de las responsabilidades de RR. HH. pueden delegarse en una solución inteligente impulsada por IA, incluida la evaluación de solicitudes de empleo.
Como puede ver, las tecnologías inteligentes están haciendo que varias industrias sean más eficientes y confiables. Sin embargo, esta confiabilidad solo es posible mediante prácticas responsables de IA.
Riesgos operativos que enfrentan los sistemas de IA
Como mencionamos antes, cualquier solución construida por humanos corre el riesgo de internalizar sesgos humanos, ya sea por diseño o de manera no intencional.
Por ejemplo, hubo un caso de sesgo racial contra un algoritmo médico diseñado para evaluar qué pacientes necesitaban más atención. Tomó su decisión basándose en Los costos de salud como indicador de las necesidades de salud.
La suposición hecha al diseñar el algoritmo fue que las personas que gastan más en atención médica deben estar más enfermas y, por lo tanto, necesitan cuidados más intensivos.
La suposición hecha al diseñar el algoritmo fue que las personas que gastan más en atención médica deben estar más enfermas y, por lo tanto, necesitan cuidados más intensivos.
En realidad, las personas blancas eran más propensas a buscar atención médica antes y con mayor frecuencia. Esto significaba que su condición estaba mejor controlada que la de las personas negras, quienes, por diversas razones, eran menos propensas a buscar atención médica para sus afecciones. Como resultado, estaban más enfermas y necesitaban más atención.
Si bien la lógica utilizada para diseñar el algoritmo parecía sólida en el papel, resultó contraproducente porque se manifestó en forma de sesgo racial y mala toma de decisiones.
De manera similar, se sabe que las aplicaciones de IA para el reclutamiento discriminan basado en el género o la raza percibidosAmazon tuvo que descartar su herramienta de reclutamiento, ya que favorecía a los hombres, ya que sus datos de capacitación provenían de una industria dominada por hombres. "Asumía" que los hombres eran más aptos para ciertos puestos.
La empresa matriz de Facebook, Meta, fue acusada de participar en “publicidad discriminatoria que viola la Ley de Vivienda Justa (FHA)”. La acusación fue que su “sistema de publicidad de viviendas discrimina a los usuarios de Facebook en función de su raza, color, religión, sexo, discapacidad, estado familiar y origen nacional”.
Estos resultados pueden afectar la vida de las personas. Si un chatbot defectuoso puede proporcionar información errónea, Un coche autónomo que funciona mal puede matarUn mal diagnóstico podría llevar a un tratamiento tardío, lo que podría empeorar el estado de salud.
Otros riesgos que plantean los sistemas de IA
Hasta ahora, la mayoría de los riesgos que hemos analizado se deben a malas decisiones tomadas por un sistema de inteligencia artificial. Sin embargo, existen otros riesgos que pueden afectar a su negocio.
Riesgos de seguridad
Los sistemas de IA, especialmente en aplicaciones del mundo real, son vulnerables a ataques que comprometen el rendimiento o la privacidad del usuario. Estos son algunos de ellos:
- Ejemplos adversariales: Modificaciones de entrada leves e imperceptibles (por ejemplo, en una imagen o un clip de sonido) pueden engañar a la IA y hacer que tome decisiones incorrectas.
- Ataques de envenenamiento: Los datos maliciosos insertados en conjuntos de datos de entrenamiento pueden dañar el modelo y hacer que se comporte de manera impredecible.
- Ataques de inversión de modelos: Los atacantes pueden reconstruir datos confidenciales (por ejemplo, registros médicos, rostros) a partir de la salida o los gradientes del modelo.
- Ataques de inferencia de membresía: Los piratas informáticos pueden determinar si un registro específico fue parte del conjunto de datos de entrenamiento, lo que representa un grave problema de privacidad.
- Exfiltración de datos a través de API: Se pueden utilizar consultas repetidas a las API de IA públicas para recrear el modelo o extraer conocimiento exclusivo.
- Robo de modelos (robo de funcionalidad): Los competidores o atacantes pueden copiar la funcionalidad del modelo observando los resultados a lo largo del tiempo.
Comportamiento de caja negra
Esta es otra forma de decir "falta de explicabilidad" en los sistemas de IA. Algunos modelos, en particular los de aprendizaje profundo, toman decisiones sin un razonamiento claro y comprensible. Si no se comprende la lógica que subyace a las decisiones de un modelo, no se puede saber con certeza si utilizó criterios legal o éticamente aceptables.
Luego están los casos extremos, donde la justificación de un resultado puede estar completamente oculta. Ciertas normativas de privacidad, como el RGPD, otorgan a los consumidores el "derecho a una explicación", lo que implica que deben poder defender una decisión tomada por su organización, incluso si fue una solución de IA la que la tomó. Si desconoce el proceso de razonamiento de su modelo, es muy poco probable que pueda justificarlo.
Y así, sin más, tendrías en tus manos una violación de la privacidad.
Sobreajuste y mala generalización
Un riesgo común de los sistemas de IA es que funcionan bien con datos de entrenamiento, pero no se generalizan a nuevos datos del mundo real. Esto puede provocar fallos operativos al implementar el modelo.
Un ejemplo es el cambio de dominio, que consiste en un cambio en la distribución de los datos de entrada entre los entornos de entrenamiento y de implementación. En este caso, el modelo se entrena con datos de una configuración, lo que significa que no funciona tan bien en una configuración relacionada, pero diferente.
Por ejemplo, si una herramienta de IA médica se entrenara con información de hospitales estadounidenses en grandes ciudades, podría no funcionar tan bien en hospitales rurales. La demografía de los pacientes, el equipo y la prevalencia de enfermedades en estos dos entornos son demasiado diferentes como para que pueda tomar decisiones válidas.
Otra causa es el sobreajuste, donde el modelo se ajusta con demasiada precisión a los datos de entrenamiento (incluyendo patrones irrelevantes o ruido) y su rendimiento es deficiente con datos nuevos. El sobreajuste es especialmente probable cuando se utilizan conjuntos de datos de entrenamiento ruidosos o limitados, o cuando el modelo es demasiado complejo para el problema.
Deriva y decadencia del modelo
Los sistemas de IA pueden perder eficacia con el tiempo, a medida que cambian las condiciones del mundo real. La desviación de datos se produce cuando los cambios en los patrones de entrada de datos provocan una degradación del rendimiento del modelo. Por ejemplo, supongamos que su sistema se entrenó con datos basados en los patrones de compra de los clientes en tiendas físicas. Ahora que utilizan más las aplicaciones móviles y las compras en línea, es posible que el sistema no pueda predecir los patrones de compra con mucha eficacia.
La deriva conceptual se produce cuando la relación subyacente entre los puntos de datos cambia con el tiempo. Por ejemplo, los indicadores de fraude pueden evolucionar con el tiempo, pero el modelo no se adapta a ello.
Si no cuenta con herramientas para detectar o corregir desviaciones de manera temprana, su solución de IA podría no brindar resultados tan precisos como cuando se desarrolló por primera vez.
Mal uso ético o doble uso
Las herramientas de IA pueden explotarse de forma dañina, intencional o accidentalmente.
- Extralimitación de la vigilancia: Reconocimiento facial utilizado para vigilancia masiva o focalización de grupos minoritarios.
- Deepfakes: Vídeos falsos realistas utilizados en desinformación política, pornografía vengativa o fraude de suplantación de identidad.
- Sistemas de puntuación social: Sistemas automatizados que clasifican a las personas en función de su comportamiento o cumplimiento (por ejemplo, en crédito o en policía).
- IA para armas autónomas letales: Uso de IA en drones o armas que toman decisiones de matar sin intervención humana.
- Policía predictiva: IA que ataca a determinados barrios o grupos de forma desproporcionada, lo que refuerza la desigualdad estructural.
Sesgo de automatización y dependencia excesiva de las personas
Al utilizar sistemas semiautomatizados o totalmente autónomos, los operadores pueden volverse complacientes. Podrían depender demasiado de la IA o perder sus habilidades por no ejercitarla lo suficiente.
Debido a que los operadores confían demasiado en el sistema, es posible que no intervengan (o posiblemente no intervengan con la suficiente rapidez) cuando el sistema funciona mal.
Rendición de cuentas e incertidumbre jurídica
Incluso con el sistema más rigurosamente diseñado, las cosas pueden salir mal. La falta de roles y responsabilidades claramente definidos puede generar retrasos y complicaciones cuando algo sale mal.
Y hay muchas cosas que podrían salir mal. Si utiliza herramientas de IA a nivel internacional, debe asegurarse de que cumplan con los requisitos legales, que son inconsistentes. Sin un punto de contacto de rendición de cuentas claramente definido, podría resultarle difícil cumplir con los requisitos de privacidad, seguridad y explicabilidad bajo leyes como la... GDPR, CCPA, HIPAA, o el Ley de AI de la UE.
La auditoría de algoritmos propietarios también es difícil en los productos de caja negra, lo cual es otro requisito de estas leyes.
Preocupaciones ambientales y de sostenibilidad
El entrenamiento y el mantenimiento de grandes modelos de IA consumen una enorme cantidad de energía. Si se escala exponencialmente, se podrían estar superando los límites de infraestructura y del clima. Además, las actualizaciones de hardware necesarias para dicho crecimiento contribuyen al creciente problema de los residuos electrónicos.
El uso responsable de la IA puede reducir sus riesgos
La gobernanza de la IA no es simplemente un conjunto de políticas a cumplir durante el desarrollo: es un sistema proactivo para identificar, reducir y gestionar el riesgo a lo largo de todo el ciclo de vida de la IA.
Aquí le mostramos cómo puede mitigar los riesgos que enfrentan sus sistemas de IA.
Reducción de sesgos y discriminación
Los marcos de gobernanza de la IA reducen el riesgo de resultados injustos mediante la implementación de auditorías de equidad. Estas salvaguardas previenen daños a poblaciones vulnerables y protegen a su organización de consecuencias legales y reputacionales.
Prevención de fallos de seguridad
Las comprobaciones periódicas de seguridad y vulnerabilidades son un requisito de los marcos de gobernanza. Los sistemas también deben supervisarse para detectar comportamientos adversos. Estos marcos exigen un manejo responsable de los datos para evitar la inversión de modelos, la fuga de datos o el robo a través de las API.
Mejorar la transparencia
Los marcos de gobernanza de IA responsables y eficaces promueven políticas de documentación, trazabilidad y explicabilidad desde el principio. De esta forma, evitan situaciones de caja negra desde las etapas de entrenamiento. Como resultado, se mantiene el cumplimiento de las leyes de privacidad y se fomenta la confianza del usuario al permitir la supervisión humana.
Monitoreo de la deriva
Monitorear de cerca el rendimiento del modelo de IA es fundamental para una IA responsable. Al supervisar sus resultados, cualquier desviación de datos o conceptos puede detectarse y corregirse antes de que afecte los resultados del modelo.
Promoviendo la robustez
La gobernanza responsable promueve la prueba de modelos en diversos entornos y fomenta técnicas para reducir el sobreajuste. También apoya prácticas como:
- Validación cruzada
- Evaluación del equilibrio entre sesgo y varianza
- Pruebas de estrés en condiciones reales
Estos le ayudan a evitar fallas debido a cambios de dominio o generalizaciones débiles.
Protección contra el mal uso de la ética
Con puntos de control de revisión ética, evaluaciones de impacto y límites claros para los casos de uso, la IA responsable garantiza que la IA esté alineada con los valores de su empresa y las expectativas sociales más amplias.
Mitigación del sesgo de automatización
La gobernanza responsable promueve el diseño con intervención humana, capacita a los usuarios para interpretar críticamente los resultados de la IA y exige capacidades de anulación para los sistemas automatizados. Esto reduce el riesgo de dependencia excesiva o complacencia, especialmente cuando los sistemas de IA se utilizan en entornos operativos como la aviación, la atención médica o el transporte.
Aclaración de la rendición de cuentas y el cumplimiento legal
Los marcos de gobernanza definen:
- ¿Quién es responsable de qué?
- ¿Quién audita qué?
- Y cómo se mantiene el cumplimiento en todas las jurisdicciones.
Esto le facilita cumplir con las obligaciones bajo el RGPD, la HIPAA, la Ley de IA de la UE y otros marcos, y responder rápidamente cuando algo sale mal.
Fomentar la responsabilidad ambiental
Las organizaciones integran cada vez más la sostenibilidad en sus modelos de gobernanza. Miden el uso de cómputo, priorizan arquitecturas energéticamente eficientes y adoptan prácticas de implementación ecológicas. Una gobernanza responsable implica escalar la IA sin aumentar desproporcionadamente la huella de carbono.
Marcos de gobernanza de la IA
Implementar una IA responsable no se trata solo de tener buenas intenciones: se trata de contar con sistemas concretos para garantizar que su IA se comporte de acuerdo con los valores, las obligaciones legales y los objetivos operativos de su organización.
Los marcos de gobernanza de la IA proporcionan un enfoque estructurado y repetible para definir cómo se deben diseñar, construir, implementar, monitorear y retirar de manera responsable los sistemas de IA.
¿Qué debe incluir un marco de gobernanza?
Un marco de gobernanza responsable de la IA debe ser práctico, replicable y adaptado al contexto de su organización. Estos son los componentes clave que todo marco debe cubrir:
- Principios rectores: Valores fundamentales como la equidad, la transparencia, la responsabilidad y la privacidad guían cómo se desarrolla y utiliza la IA.
- Estructura de gobernanza: Los roles y responsabilidades claramente definidos garantizan que la supervisión esté integrada en cada etapa del ciclo de vida de la IA.
- Protocolos de evaluación de riesgos: Los controles constantes para detectar sesgos, vulnerabilidades de seguridad, cumplimiento legal y sostenibilidad reducen la exposición a daños.
- Documentación y Trazabilidad: Los registros completos de fuentes de datos, decisiones de modelos y opciones de diseño respaldan las auditorías y la explicabilidad.
- Bucles de monitoreo y retroalimentación: El monitoreo continuo y la retroalimentación de los usuarios ayudan a detectar problemas como la desviación del modelo y permiten actualizaciones oportunas.
- Controles humanos en el circuito: Los humanos deben poder supervisar, intervenir o anular los sistemas de IA en casos de uso críticos o sensibles.
- Transparencia y compromiso externo: Compartir públicamente políticas y procesos de toma de decisiones genera confianza con los usuarios, los reguladores y las partes interesadas.
Ejemplos de marcos de gobernanza responsable de la IA
Si busca implementar o alinearse con un marco de IA responsable, existen varios modelos y herramientas consolidados que utilizan gobiernos, organismos de normalización y el sector privado. Cada uno ofrece una perspectiva diferente sobre la IA confiable, y muchas organizaciones desarrollan sus programas de gobernanza utilizando una combinación de estos.
Marco de gestión de riesgos de IA del NIST (AI RMF)
Publicado por el Instituto Nacional de Estándares y Tecnología de EE. UU. en 2023, el AI RMF Es un marco voluntario pero ampliamente adoptado para gestionar los riesgos para las personas, las organizaciones y la sociedad.
Se centra en construir sistemas de IA confiables mediante funciones como gobernar, mapear, medir y gestionar. En 2024, se añadió un perfil de IA generativa para abordar nuevos riesgos.
Principios de IA de la OCDE
Adoptados por 47 países (en 2024), estos fueron los primeros estándares intergubernamentales de IA y se utilizan ampliamente como base para el desarrollo y la gobernanza de la IA en todo el mundo. Principios de IA de la OCDE Promover la creación de sistemas de IA que sean innovadores, confiables y alineados con los derechos humanos.
Hacen hincapié en la equidad, la transparencia, la solidez y la responsabilidad, y se actualizan periódicamente para reflejar nuevos desafíos como la IA generativa.
Ley de AI de la UE
Finalizado en 2024, el Ley de Inteligencia Artificial de la UE Es la primera regulación horizontal importante del mundo sobre IA. Clasifica los sistemas de IA en cuatro categorías de riesgo, de mínimo a inaceptable, e impone normas más estrictas para la IA de alto riesgo, especialmente en la atención médica, la contratación, las fuerzas del orden y los servicios públicos. También incluye requisitos de transparencia, supervisión humana y seguimiento posterior al despliegue.
ISO/IEC 42001:2023 – Norma de sistemas de gestión de IA
Este norma internacional, publicado en diciembre de 2023, ofrece un enfoque de sistema de gestión estructurado para la gobernanza de la IA. Ayuda a las organizaciones a implementar políticas, roles y procesos para gestionar el riesgo de la IA de forma que se ajuste a los estándares globales, lo que resulta especialmente útil para empresas que operan en múltiples jurisdicciones.
Tarjetas modelo y hojas de datos
Estas son herramientas de documentación sencillas pero potentes que mejoran la transparencia y la rendición de cuentas en la IA. Las tarjetas de modelo resumen el propósito, el rendimiento y las limitaciones de un modelo.
Mientras tanto, las hojas de datos documentan detalles clave sobre los datos de entrenamiento, incluyendo cómo se recopilaron y cualquier sesgo conocido. Originalmente desarrollado por Google y ampliamente adoptadas en la industria, estas herramientas ayudan a los equipos a comunicar el uso responsable, respaldar auditorías y reducir daños no deseados.
Adopción de principios de IA responsable con BigID
El mayor riesgo para la implementación de tecnologías de IA son los datos comprometidos. Con BigID, sus activos de IA están mapeados, seleccionados y protegidos. La plataforma facilita una gobernanza eficaz que genera confianza en la IA, tanto por parte de los usuarios como de las partes interesadas internas. IA responsable del combustible con BigID.
Autor
