Aucun système n'est totalement exempt de risques, même négligeables. Les systèmes d'IA ne font pas exception. Cependant, avec l'essor de l'automatisation et de la prise de décision par l'IA, un mauvais résultat pourrait avoir des conséquences néfastes sur la vie des utilisateurs. C'est pourquoi une gouvernance responsable de l'IA est si importante, non seulement pour la sécurité, mais aussi pour permettre une utilisation éthique et responsable de l'IA dans tous les secteurs.
Qu’est-ce que la gouvernance de l’IA ?
La gouvernance de l’IA fait référence aux normes, aux processus et aux garde-fous pour des initiatives d’IA sans risque et éthiques.
Pourquoi est-ce nécessaire ? L'intelligence artificielle repose sur l'apprentissage automatique (ML) et sur des algorithmes conçus par des humains. De ce fait, elle est sujette aux erreurs humaines et aux biais. Les pratiques de gouvernance de l'IA visent à réduire les risques que de telles failles s'infiltrent dans votre système et affectent ses performances.
Elles vous aident également à vous préparer et à corriger les risques de sécurité ou autres failles susceptibles d'affecter votre système. Ces directives s'appliquent également à la gouvernance des données, garantissant que vos données de formation sont propres, bien documentées et utilisées équitablement.
En bref, les principes de gouvernance de l’IA fournissent le modèle pour le développement et le déploiement de systèmes d’IA auxquels vous et vos utilisateurs pouvez faire confiance.
Pourquoi mettre en œuvre des cadres de gouvernance de l’IA responsable ?
Avec les chatbots à IA générative (ou GenAI) comme ChatGPT, le risque réside dans les hallucinations qui conduisent à une réponse erronée. La désinformation, bien que indésirable, n'est pas susceptible de nuire à la vie ou aux moyens de subsistance de l'utilisateur.
Cependant, l’IA est également utilisée à d’autres fins et elle s’avère très utile.
Utilisation de l'IA dans des situations de vie ou de subsistance
L'IA est utilisée dans le domaine de la santé comme outil de diagnostic. Contrairement aux médecins, généralement débordés et sujets à l'erreur humaine, les diagnostiqueurs IA peuvent se concentrer uniquement sur les faits.
Par exemple, l’IA peut être étrangement précise pour déterminer l’identité d’une personne. probabilité de subir une crise cardiaque au cours des cinq prochaines années, simplement en examinant des images de leurs yeux.
D'autres outils peuvent analyser les radiographies, les scanners et les comptes rendus pour établir des diagnostics initiaux, que le médecin peut ensuite vérifier. Les robots sont également utilisés en microchirurgie et peuvent être partiellement automatisés grâce à l'IA.
La technologie intelligente ne se limite pas aux hôpitaux. Des enceintes connectées installées chez vous pourraient détecter potentiellement les crises cardiaques. Ils sont également évalués en tant que outil de santé mentale pour les personnes âgées et infirmes qui vivent seules.
Ou des fonctionnalités intelligentes dans votre voiture qui appeler les services d'urgence en cas d'accident et les informer de la gravité des blessures. Comme cet appel sera lancé dans les sept secondes suivant l'accident, les secours pourront arriver beaucoup plus vite et mieux préparés.
En parlant d'automatisation des véhicules, comment ne pas évoquer les voitures autonomes ? Si les véhicules autonomes ne sont pas encore totalement sûrs, les voitures modernes peuvent prendre en charge plusieurs processus des conducteurs, ce qui les rendrait plus sûrs. Une fois suffisamment fiables, la conduite deviendrait plus accessible, car même les personnes ne sachant pas conduire pourraient les utiliser.
Un autre domaine dans lequel l’IA rend le travail plus facile et plus rapide est ressources humainesPlusieurs des aspects les plus chronophages et fastidieux des responsabilités RH peuvent être confiés à une solution intelligente basée sur l’IA, notamment le filtrage des candidatures.
Comme vous pouvez le constater, les technologies intelligentes améliorent l'efficacité et la fiabilité de plusieurs secteurs. Cependant, cette fiabilité n'est possible que grâce à des pratiques d'IA responsables.
Risques opérationnels auxquels sont confrontés les systèmes d'IA
Comme nous l’avons mentionné précédemment, toute solution élaborée par des humains risque d’internaliser les préjugés humains, que ce soit intentionnellement ou non.
Par exemple, un cas de discrimination raciale a été signalé à l'encontre d'un algorithme médical conçu pour évaluer les patients nécessitant davantage de soins. Cet algorithme a pris sa décision en fonction de les coûts de santé comme indicateur des besoins de santé.
L’hypothèse faite lors de la conception de l’algorithme était que les personnes qui dépensent plus en soins de santé doivent être plus malades et donc avoir besoin de soins plus intensifs.
L’hypothèse faite lors de la conception de l’algorithme était que les personnes qui dépensent plus en soins de santé doivent être plus malades et donc avoir besoin de soins plus intensifs.
En réalité, les personnes blanches étaient plus susceptibles de consulter des médecins plus tôt et plus fréquemment. Cela signifiait que leur état était mieux contrôlé que celui des personnes noires, qui, pour diverses raisons, étaient moins susceptibles de recourir à une intervention médicale. Par conséquent, elles étaient plus malades et nécessitaient davantage de soins.
Bien que la logique utilisée pour concevoir l’algorithme semblait solide sur le papier, elle s’est retournée contre elle car elle s’est manifestée sous la forme de préjugés raciaux et de mauvaises prises de décision.
De même, les applications d’IA pour le recrutement sont connues pour être discriminatoires. basé sur le sexe ou la race perçueAmazon a dû abandonner son outil de recrutement, car il privilégiait les hommes, car ses données de formation provenaient d'un secteur à prédominance masculine. L'entreprise « supposait » que les hommes étaient mieux adaptés à certains postes.
La société mère de Facebook, Meta, a été accusée de s'être livrée à « Publicité discriminatoire en violation de la loi sur le logement équitable (FHA). » L’allégation était que son « système de publicité pour le logement discrimine les utilisateurs de Facebook en fonction de leur race, de leur couleur, de leur religion, de leur sexe, de leur handicap, de leur statut familial et de leur origine nationale ».
Ces conséquences peuvent affecter la vie des gens. Si un chatbot défectueux peut donner de mauvaises informations, une voiture autonome défectueuse peut tuerUn mauvais diagnostic pourrait entraîner un retard dans le traitement, ce qui pourrait aggraver l’état de santé.
Autres risques liés à l'IA posés par les systèmes d'IA
Jusqu'à présent, la majorité des risques évoqués sont liés à de mauvaises décisions prises par un système d'intelligence artificielle. Cependant, d'autres risques peuvent affecter votre entreprise.
Risques de sécurité
Les systèmes d'IA, en particulier dans les applications réelles, sont vulnérables aux attaques qui compromettent les performances ou la confidentialité des utilisateurs. En voici quelques-unes :
- Exemples contradictoires : De légères modifications imperceptibles des entrées (par exemple sur une image ou un extrait sonore) peuvent tromper l'IA et l'amener à prendre des décisions incorrectes.
- Attaques d'empoisonnement : Les données malveillantes insérées dans les ensembles de données de formation peuvent corrompre le modèle, le faisant se comporter de manière imprévisible.
- Attaques par inversion de modèle : Les attaquants peuvent reconstruire des données sensibles (par exemple, des dossiers médicaux, des visages) à partir de la sortie ou des gradients du modèle.
- Attaques par inférence d'appartenance : Les pirates informatiques peuvent déterminer si un enregistrement spécifique faisait partie de l’ensemble de données de formation, ce qui constitue un grave problème de confidentialité.
- Exfiltration de données via des API : Des requêtes répétées adressées aux API d’IA publiques peuvent être utilisées pour recréer le modèle ou extraire des connaissances propriétaires.
- Vol de modèle (vol de fonctionnalité) : Les concurrents ou les attaquants peuvent copier les fonctionnalités du modèle en observant les résultats au fil du temps.
Comportement de la boîte noire
C'est une autre façon de parler du « manque d'explicabilité » des systèmes d'IA. Certains modèles, notamment les systèmes d'apprentissage profond, prennent des décisions sans raisonnement clair et compréhensible. Si vous ne comprenez pas la logique qui sous-tend les décisions d'un modèle, vous ne pouvez pas savoir avec certitude s'il a utilisé des critères légalement ou éthiquement acceptables.
Il existe ensuite des cas extrêmes, où la justification d'un résultat peut être totalement masquée. Certaines réglementations en matière de confidentialité, comme le RGPD, accordent aux consommateurs un « droit à l'explication », ce qui implique que vous devez être en mesure de défendre une décision prise par votre organisation, même si elle est le fruit d'une solution d'IA. Si vous ignorez le « processus de réflexion » de votre modèle, il est très peu probable que vous puissiez le justifier.
Et comme ça, vous auriez une violation de la vie privée sur les bras.
Surapprentissage et mauvaise généralisation
Un risque courant des systèmes d'IA est qu'ils fonctionnent bien avec les données d'entraînement, mais ne parviennent pas à généraliser à de nouvelles données réelles. Cela peut entraîner des défaillances opérationnelles lors du déploiement du modèle.
Un exemple est le changement de domaine, qui correspond à une modification de la distribution des données d'entrée entre les environnements d'entraînement et de déploiement. Dans ce cas, le modèle est entraîné à partir de données provenant d'un environnement, ce qui signifie qu'il ne fonctionne pas aussi bien dans un environnement similaire mais différent.
Par exemple, si un outil d'IA médicale était entraîné à partir d'informations provenant d'hôpitaux américains situés dans de grandes villes, ses performances pourraient être moins bonnes dans les hôpitaux ruraux. La démographie des patients, les équipements et la prévalence des maladies dans ces deux contextes sont trop différents pour permettre des décisions pertinentes.
Une autre cause est le surapprentissage, lorsque le modèle s'adapte trop finement aux données d'entraînement (notamment aux modèles non pertinents ou au bruit) et se révèle peu performant avec les nouvelles données. Le surapprentissage est particulièrement probable lorsque l'on utilise des ensembles de données d'entraînement bruyants ou limités, ou lorsque le modèle est trop complexe pour le problème.
Dérive et dégradation du modèle
Les systèmes d'IA peuvent perdre en efficacité au fil du temps, à mesure que les conditions réelles évoluent. On parle de dérive des données lorsque des modifications des modèles d'entrée entraînent une dégradation des performances du modèle. Par exemple, imaginons que votre système ait été entraîné sur des données issues des habitudes d'achat en magasin des clients. Avec l'utilisation croissante des applications mobiles et des achats en ligne, le système pourrait ne plus être en mesure de prédire efficacement les habitudes d'achat.
On parle de dérive conceptuelle lorsque la relation sous-jacente entre les points de données change au fil du temps. Par exemple, les indicateurs de fraude peuvent évoluer avec le temps, sans que le modèle soit adapté.
Si vous ne disposez pas d’outils pour détecter ou corriger les dérives à un stade précoce, votre solution d’IA risque de ne pas fournir des résultats aussi précis que lors de son développement initial.
Abus éthique ou double usage
Les outils d’IA peuvent être exploités de manière nuisible, intentionnellement ou accidentellement.
- Surveillance excessive : La reconnaissance faciale est utilisée pour la surveillance de masse ou le ciblage de groupes minoritaires.
- Deepfakes : Vidéos fausses et réalistes utilisées à des fins de désinformation politique, de revenge porn ou de fraude par usurpation d'identité.
- Systèmes de notation sociale : Systèmes automatisés classant les personnes en fonction de leur comportement ou de leur conformité (par exemple, en matière de crédit, de maintien de l'ordre).
- IA pour armes létales autonomes : Utilisation de l’IA dans des drones ou des armes qui prennent des décisions de mise à mort sans intervention humaine.
- Police prédictive : Une IA qui cible certains quartiers ou groupes de manière disproportionnée, renforçant ainsi les inégalités structurelles.
Biais d'automatisation et dépendance excessive à l'humain
Lorsqu'ils utilisent des systèmes semi-automatisés ou entièrement autonomes, les opérateurs peuvent devenir complaisants. Ils risquent de trop s'appuyer sur l'IA ou de perdre leurs compétences faute de l'utiliser suffisamment.
Étant donné que les opérateurs font trop confiance au système, ils risquent de ne pas intervenir (ou peut-être pas assez rapidement) lorsque le système présente un dysfonctionnement.
Responsabilité et incertitude juridique
Même avec le système le plus rigoureux, des problèmes peuvent survenir. L'absence de rôles et de responsabilités clairement définis peut entraîner des retards et des complications en cas de problème.
De nombreux problèmes peuvent survenir. Si vous utilisez des outils d'IA à l'échelle internationale, vous devez vous assurer qu'ils respectent des exigences légales variables. Sans point de contact clairement défini, vous pourriez avoir du mal à respecter les exigences de confidentialité, de sécurité et d'explicabilité imposées par des lois comme la GDPR, CCPA, HIPAAou le Loi européenne sur l'IA.
L’audit des algorithmes propriétaires est également difficile dans les produits de type boîte noire, ce qui est une autre exigence de ces lois.
Préoccupations environnementales et de durabilité
L'entraînement et la maintenance de grands modèles d'IA consomment énormément d'énergie. Une croissance exponentielle risque de repousser les limites des infrastructures et du climat. De plus, les mises à niveau matérielles nécessaires à une telle croissance contribuent au problème croissant des déchets électroniques.
L'utilisation responsable de l'IA peut réduire vos risques
La gouvernance de l’IA n’est pas seulement un ensemble de politiques à vérifier pendant le développement : c’est un système proactif pour identifier, réduire et gérer les risques tout au long du cycle de vie de l’IA.
Voici comment cela peut atténuer les risques auxquels vos systèmes d’IA sont confrontés.
Réduire les préjugés et la discrimination
Les cadres de gouvernance de l'IA réduisent le risque de résultats inéquitables grâce à la mise en œuvre d'audits d'équité. Ces mesures de protection préviennent les atteintes aux populations vulnérables et protègent votre organisation des atteintes à sa réputation et des conséquences juridiques.
Prévenir les failles de sécurité
Des contrôles réguliers de sécurité et de vulnérabilité sont une exigence des cadres de gouvernance. Les systèmes doivent également être surveillés pour détecter tout comportement malveillant. Ces cadres imposent une gestion responsable des données afin de se prémunir contre l'inversion de modèle, la fuite de données ou le vol via les API.
Améliorer la transparence
Des cadres de gouvernance de l'IA responsables et efficaces favorisent des politiques de documentation, de traçabilité et d'explicabilité dès le départ. Ils préviennent ainsi l'apparition de situations de type « boîte noire » dès les phases de formation. Ainsi, vous restez en conformité avec les lois sur la confidentialité et renforcez la confiance des utilisateurs en permettant une surveillance humaine.
Dérive de surveillance
Suivre de près les performances du modèle d'IA est un élément essentiel des principes d'une IA responsable. En surveillant ses résultats, toute dérive des données ou des concepts peut être détectée et corrigée avant qu'elle n'affecte les résultats du modèle.
Promouvoir la robustesse
Une gouvernance responsable encourage les tests de modèles dans des environnements diversifiés et encourage les techniques visant à réduire le surapprentissage. Elle soutient également des pratiques telles que :
- Validation croisée
- Évaluation du compromis biais-variance
- Tests de résistance en conditions réelles
Ils vous aident à éviter les échecs dus à un changement de domaine ou à une généralisation faible.
Se protéger contre les abus éthiques
Grâce à des points de contrôle d'examen éthique, des évaluations d'impact et des limites claires pour les cas d'utilisation, l'IA responsable garantit que l'IA est alignée sur les valeurs de votre entreprise et les attentes sociétales plus larges.
Atténuer les biais d'automatisation
Une gouvernance responsable favorise la conception impliquant l'humain, forme les utilisateurs à interpréter les résultats de l'IA de manière critique et exige des capacités de substitution pour les systèmes automatisés. Cela réduit le risque de dépendance excessive ou de complaisance, en particulier lorsque les systèmes d'IA sont utilisés dans des environnements opérationnels tels que l'aviation, la santé ou les transports.
Clarifier la responsabilité et la conformité légale
Les cadres de gouvernance définissent :
- Qui est responsable de quoi
- Qui audite quoi
- Et comment la conformité est maintenue dans toutes les juridictions.
Cela vous permet de respecter plus facilement vos obligations en vertu du RGPD, de la loi HIPAA, de la loi européenne sur l’IA et d’autres cadres, et de réagir rapidement en cas de problème.
Encourager la responsabilité environnementale
Les organisations intègrent de plus en plus le développement durable à leurs modèles de gouvernance. Elles mesurent l'utilisation des ressources informatiques, privilégient les architectures écoénergétiques et adoptent des pratiques de déploiement écologiques. Une gouvernance responsable implique de faire évoluer l'IA sans augmenter de manière disproportionnée l'empreinte carbone.
Cadres de gouvernance de l'IA
La mise en œuvre d’une IA responsable ne se limite pas à de bonnes intentions : il s’agit de mettre en place des systèmes concrets pour garantir que votre IA se comporte conformément aux valeurs, aux obligations légales et aux objectifs opérationnels de votre organisation.
Les cadres de gouvernance de l’IA fournissent une approche structurée et reproductible pour définir comment les systèmes d’IA doivent être conçus, construits, déployés, surveillés et retirés de manière responsable.
Que devrait inclure un cadre de gouvernance ?
Un cadre de gouvernance responsable de l'IA doit être pratique, reproductible et adapté au contexte de votre organisation. Voici les éléments clés que chaque cadre devrait couvrir :
- Principes directeurs : Des valeurs fondamentales telles que l’équité, la transparence, la responsabilité et la confidentialité guident la manière dont l’IA est développée et utilisée.
- Structure de gouvernance : Des rôles et des responsabilités clairement définis garantissent que la supervision est intégrée à chaque étape du cycle de vie de l’IA.
- Protocoles d’évaluation des risques : Des contrôles continus des biais, des vulnérabilités de sécurité, de la conformité légale et de la durabilité réduisent l’exposition aux préjudices.
- Documentation et traçabilité : Des enregistrements complets des sources de données, des décisions de modèle et des choix de conception soutiennent les audits et l'explicabilité.
- Boucles de surveillance et de rétroaction : La surveillance continue et les commentaires des utilisateurs aident à détecter les problèmes tels que la dérive du modèle et permettent des mises à jour en temps opportun.
- Contrôles humains dans la boucle : Les humains doivent être capables de superviser, d’intervenir ou de contourner les systèmes d’IA dans des cas d’utilisation critiques ou sensibles.
- Transparence et engagement externes : Le partage public des politiques et des processus décisionnels renforce la confiance des utilisateurs, des régulateurs et des parties prenantes.
Exemples de cadres de gouvernance de l'IA responsable
Si vous souhaitez mettre en œuvre ou vous aligner sur un cadre d'IA responsable, plusieurs modèles et outils bien établis sont utilisés par les gouvernements, les organismes de normalisation et le secteur privé. Chacun offre une perspective différente sur une IA fiable, et de nombreuses organisations construisent leurs programmes de gouvernance en combinant ces différents outils.
Cadre de gestion des risques liés à l'IA du NIST (AI RMF)
Publié par l'Institut national des normes et de la technologie des États-Unis en 2023, le IA RMF est un cadre volontaire mais largement adopté pour la gestion des risques pour les individus, les organisations et la société.
L'objectif est de créer des systèmes d'IA fiables grâce à des fonctions telles que la gouvernance, la cartographie, la mesure et la gestion. Un profil d'IA génératif a été ajouté en 2024 pour répondre aux nouveaux risques.
Principes de l'OCDE sur l'IA
Adoptées par 47 pays (en 2024), il s'agit des premières normes intergouvernementales en matière d'IA et elles sont largement utilisées comme base pour le développement et la gouvernance de l'IA dans le monde entier. Principes de l'OCDE sur l'IA promouvoir la création de systèmes d’IA innovants, fiables et conformes aux droits de l’homme.
Ils mettent l’accent sur l’équité, la transparence, la robustesse et la responsabilité, et sont régulièrement mis à jour pour refléter les nouveaux défis tels que l’IA générative.
Loi européenne sur l'IA
Finalisé en 2024, le Loi européenne sur l'intelligence artificielle Il s'agit de la première réglementation horizontale majeure au monde sur l'IA. Elle classe les systèmes d'IA en quatre catégories de risque – du minimum au inacceptable – et impose des règles plus strictes pour l'IA à haut risque, notamment dans les secteurs de la santé, du recrutement, des forces de l'ordre et des services publics. Elle comprend également des exigences de transparence, de supervision humaine et de suivi post-déploiement.
ISO/IEC 42001:2023 – Norme relative aux systèmes de gestion de l'IA
Ce norme internationale, publié en décembre 2023, propose une approche structurée du système de gestion de la gouvernance de l'IA. Il aide les organisations à mettre en œuvre des politiques, des rôles et des processus pour gérer les risques liés à l'IA conformément aux normes mondiales, ce qui est particulièrement utile pour les entreprises opérant dans plusieurs juridictions.
Cartes modèles et fiches techniques
Il s'agit d'outils de documentation simples mais puissants qui améliorent la transparence et la responsabilité en IA. Les fiches de modèle résument l'objectif, les performances et les limites d'un modèle.
Parallèlement, les fiches techniques documentent les détails clés des données d'entraînement, notamment la manière dont elles ont été collectées et les éventuels biais connus. développé par Google et largement adoptés dans l’industrie, ces outils aident les équipes à communiquer une utilisation responsable, à soutenir les audits et à réduire les dommages involontaires.
Adopter les principes d'une IA responsable avec BigID
Le principal risque lié au déploiement des technologies d'IA réside dans la compromission des données. Avec BigID, vos ressources d'IA sont cartographiées, organisées et protégées. La plateforme permet une gouvernance efficace qui inspire confiance à l'IA, tant auprès de vos utilisateurs que de vos parties prenantes internes. Alimenter une IA responsable avec BigID.
Auteur
