La gouvernance de l'IA agentique diffère de la gouvernance traditionnelle de l'IA de quatre manières fondamentales : supervision autonome des décisions, contrôle d'accès au système, surveillance de l'exécution des flux de travailet risque d'exposition des données.
La gouvernance traditionnelle a été conçue pour des modèles qui réagissent à des sollicitations.
L'IA agentique n'attend pas d'instructions.
Elle poursuit des objectifs, sélectionne des outils, accède aux données et agit au sein de vos systèmes sans intervention humaine pour chaque étape. Cette particularité remet en question tous les fondements de votre programme de gouvernance actuel.
À mesure que les organisations passent d'une utilisation expérimentale de l'IA à un déploiement concret, ce changement a des implications immédiates en matière de risques, de conformité et de contrôle.
Points clés : Gouvernance de l'IA agentique vs Gouvernance de l'IA traditionnelle
- La gouvernance traditionnelle de l'IA a été conçue pour des modèles qui répondent à des instructions ; l'IA agentive poursuit des objectifs, sélectionne des outils, accède aux données et agit sur différents systèmes sans approbation humaine à chaque étape, ce qui rend les cadres existants insuffisants.
- Le passage d'une gouvernance traditionnelle à une gouvernance de l'IA agentielle implique de passer de la gouvernance des résultats à la gouvernance des actions ; quatre nouvelles exigences émergent : la supervision autonome des décisions, le contrôle d'accès au système, la surveillance de l'exécution des flux de travail et la gestion des risques liés à l'exposition des données.
- Les permissions constituent la lacune de gouvernance la plus immédiate : les agents bénéficiant d’un accès étendu l’utiliseront, et sans application du principe du moindre privilège, le risque d’exposition des données augmente à chaque nouveau déploiement.
- Les journaux d'entrée/sortie traditionnels sont inadaptés à l'IA agentielle ; une piste d'audit complète doit enregistrer chaque interaction avec le système, chaque accès aux données et chaque décision prise tout au long du flux de travail en plusieurs étapes.
- L'IA agentique introduit un risque opérationnel, et pas seulement un risque lié au modèle : les équipes de gouvernance doivent se concentrer non plus sur l'exactitude et les biais, mais aussi sur les actions entreprises par les agents, les données auxquelles ils ont accédé et la légalité de ces actions.
- Les agents d'IA fantômes présentent les mêmes risques que ceux qui sont sanctionnés : les agents déployés en dehors de la visibilité informatique ne peuvent être contrôlés, et leur accès aux données crée un risque de non-conformité, que l'organisation ait eu connaissance de leur existence ou non.
À quoi servait la gouvernance traditionnelle de l'IA
La gouvernance traditionnelle de l'IA repose sur trois piliers : la surveillance des performances du modèle, la détection des biais d'entraînement et l'explicabilité des résultats.
Le modèle mental est simple : un utilisateur envoie une requête, le modèle répond et l’interaction prend fin. Les équipes de gouvernance examinent les résultats, auditent les données d’entraînement et vérifient si le modèle dérive au fil du temps.
Des cadres tels que le NIST AI Risk Management Framework (AI RMF) et les premières orientations liées à la loi européenne sur l'IA ont été conçus selon ce modèle statique de réponse immédiate. L'article 10 de cette loi, par exemple, met fortement l'accent sur la qualité des données d'entraînement et la documentation — une vision du risque centrée sur le modèle, qui reflète la manière dont les systèmes d'IA ont été initialement déployés.
Ce cadre de référence fonctionnait lorsque les systèmes d'IA opéraient dans des limites clairement définies. Ce n'est pas le cas des systèmes agents.
Que fait réellement l'IA agentique et pourquoi elle change tout ?
Systèmes d'IA agentifs Ils n'attendent pas d'instructions à chaque étape. Ils reçoivent un objectif, déterminent comment l'atteindre, sélectionnent les outils, accèdent aux données et exécutent des actions sur plusieurs systèmes sans approbation humaine à chaque point de décision.
Concrètement, cela peut se traduire par un agent chargé de réaliser une analyse concurrentielle, qui interroge les outils de collaboration internes, extrait des données structurées d'un CRM, accède au stockage cloud et génère un rapport. Le tout de manière autonome.
À aucun moment un être humain n'approuve chaque accès individuel aux données ou chaque interaction avec le système, et les modèles de gouvernance traditionnels n'ont pas été conçus pour capter ou contrôler ce niveau d'activité.
Les quatre exigences de gouvernance introduites par Agentic AI
Alors que la gouvernance traditionnelle se concentre sur les résultats des modèles, la gouvernance de l'IA agentielle doit s'intéresser aux actions des systèmes lorsqu'ils poursuivent des objectifs. Quatre exigences définissent ce changement.
Supervision des décisions autonomes
Les agents prennent des décisions sans intervention humaine directe. La gouvernance doit tenir compte du processus de raisonnement, et pas seulement du résultat final.
Les questions clés sont notamment les suivantes :
- Qui a autorisé l'agent à agir ?
- Quelles données ont éclairé ses décisions ?
- Quelles alternatives ont été envisagées ou rejetées ?
Les outils d'explicabilité traditionnels se concentrent sur les résultats. La gouvernance participative exige une visibilité sur le processus décisionnel à chaque étape de l'exécution.
Contrôle d'accès au système
Les agents se connectent à des outils, des API, des bases de données et des services cloud. Chaque connexion représente un point d'exposition potentiel des données.
La gouvernance traditionnelle de l'IA abordait rarement directement la question des permissions. Avec les systèmes d'agents, le contrôle d'accès devient un élément central de la gouvernance.
Un agent disposant d'un accès étendu l'utilisera. Sans limites claires, le principe du moindre privilège peut rapidement être bafoué, surtout lorsque les autorisations sont accordées par souci de flexibilité plutôt que par nécessité. Dans de nombreux environnements, une IA multi-agents pourrait exposer involontairement des données sensibles si l'accès n'est pas strictement encadré.
Surveillance de l'exécution des flux de travail
Un modèle d'IA traditionnel traite généralement une interaction à la fois. Un agent exécutant un flux de travail en plusieurs étapes peut effectuer des dizaines d'actions sur différents systèmes avant de produire un résultat.
Les équipes de gouvernance ont besoin d'un historique complet de cette activité :
- Ce à quoi l'agent a accédé.
- Ce qu'il a modifié ou généré.
- Où les données ont été déplacées ou partagées.
La plupart des systèmes d'enregistrement existants n'ont pas été conçus pour capturer ce niveau de détail.
Risque d'exposition des données
Les agents ne se contentent pas de lire des données ; ils les déplacent, les transforment et les intègrent dans les résultats.
Par exemple, un flux de travail augmenté par la récupération pourrait extraire des données sensibles d'une base de données, les inclure dans une invite envoyée à un modèle externe et renvoyer une réponse qui fait apparaître ces données dans un nouveau contexte.
La gouvernance traditionnelle se concentre sur les données d'entraînement. La gouvernance par agents doit s'étendre à l'utilisation des données en temps réel lors de l'exécution.
Les agents introduisent un risque opérationnel, et pas seulement un risque lié au modèle.
La gouvernance traditionnelle de l'IA se concentre sur le risque lié aux modèles : exactitude, biais et explicabilité.
Ces préoccupations restent importantes, mais elles ne suffisent plus.
L'IA agentielle introduit un risque opérationnel. L'attention se porte désormais sur des questions telles que :
- Quelles actions l'agent a-t-il entreprises ?
- Avec quels systèmes a-t-il interagi ?
- Quelles données ont été consultées ou exposées ?
- Ces actions étaient-elles autorisées ?
De nombreux programmes de gouvernance existants sont bien adaptés à l'évaluation des modèles, mais pas à la surveillance ni au contrôle des actions menées à l'échelle des systèmes. Cette évolution est essentielle pour mettre en place des pratiques d'IA responsables à grande échelle.
Gouvernance traditionnelle vs. Gouvernance de l'IA agentique : une comparaison directe
| Dimension de la gouvernance | IA traditionnelle | IA agentique | Lacune en matière de gouvernance
|
| Autonomie décisionnelle | Initié par l'humain, réponse du modèle | Initié par un agent, en plusieurs étapes | Aucun mécanisme d'approbation par étape |
| étendue de l'accès aux données | Données d'entraînement uniquement | Systèmes en direct, API, bases de données | Aucune surveillance d'accès en temps réel |
| Modèle d'autorisation | Statique, au niveau du modèle | Dynamique et axé sur les résultats | Application du principe du moindre privilège manquante |
| Piste d'audit | Journaux d'entrée/sortie | Chaîne d'action complète requise | Les journaux existants ne capturent pas les actions des agents |
| Type de risque | Risque du modèle | Risque opérationnel | Nécessite de nouveaux contrôles et processus |
Élaboration d'un programme de gouvernance de l'IA agentique
Les organisations qui déploient déjà des agents ont besoin d'un programme de gouvernance qui corresponde à ce que ces agents font réellement.
Pour rendre ces capacités opérationnelles, les organisations doivent suivre les étapes suivantes :
- Découvrez les données auxquelles vos agents IA peuvent accéder. Associez chaque agent à ses sources de données connectées, notamment le stockage cloud, les bases de données, les outils SaaS et les API. L'IA fantôme représente un véritable problème. Les agents déployés hors de la visibilité du service informatique présentent les mêmes risques que ceux autorisés.
- Définir les limites des permissions minimales. Chaque agent ne devrait avoir accès qu'aux sources de données et aux systèmes nécessaires à l'exécution de ses tâches spécifiques. Des autorisations trop larges, accordées par commodité, constituent un risque pour la gouvernance.
- Mettre en œuvre un enregistrement des actions en temps réel. Les journaux d'entrée/sortie traditionnels ne permettent pas d'enregistrer les actions d'un agent entre la réception d'un objectif et la production d'un résultat. Il est nécessaire de disposer d'un historique complet de chaque interaction avec le système.
- Appliquer les cadres réglementaires au comportement des agents. Les exigences du NIST AI RMF et de l'article 10 de la loi européenne sur l'IA ne disparaissent pas avec l'IA agentielle ; elles s'étendent. Le suivi de la lignée et les contrôles de qualité des données s'appliquent à l'accès des agents aux données pendant l'inférence, et non plus seulement aux données d'entraînement. Les programmes de gouvernance doivent explicitement aligner le comportement des agents sur ces exigences.
- Automatiser la correction. La vérification manuelle ne sera plus viable lorsque les agents exécutent des milliers d'actions par jour. Les programmes de gouvernance nécessitent des contrôles automatisés capables de signaler et de corriger les violations d'accès, les fuites de données sensibles et les infractions aux politiques de sécurité, sans intervention humaine.
Gouverner les actions, pas seulement le renseignement
Le passage d'une gouvernance traditionnelle à une gouvernance de l'IA par agents consiste à passer d'une gouvernance axée sur les résultats à une gouvernance axée sur les actions. Votre programme de gouvernance actuel peut vous indiquer ce qu'un modèle a déclaré, mais pas ce qu'un agent a fait, à quelles données il a accédé, ni s'il était autorisé à y accéder.
Une gouvernance efficace repose désormais sur la visibilité et le contrôle tout au long du cycle de vie de l'activité des agents, de l'accès aux données à l'exécution des actions et à leurs résultats.
À mesure que l'adoption de l'IA agentielle s'accélère, les programmes de gouvernance doivent évoluer pour suivre le rythme des systèmes de plus en plus autonomes opérant dans des environnements de données complexes.
Nous aidons les organisations à mettre en œuvre cette transition en leur fournissant une visibilité unifiée sur les données, les accès et l'utilisation, ainsi que les contrôles nécessaires pour appliquer les politiques et réduire les risques.
Découvrez comment BigID peut vous aider à obtenir une visibilité et un contrôle accrus sur les actions des agents (et pas seulement sur les résultats des modèles) et à garder une longueur d'avance sur les risques émergents liés à l'IA.
Foire aux questions sur la gouvernance de l'IA agentique
En quoi la gouvernance d'un agent d'IA diffère-t-elle de la gouvernance d'un modèle d'apprentissage automatique ?
Un modèle d'apprentissage automatique réagit à des entrées et produit des sorties. La gouvernance porte sur la précision, la correction des biais et l'explicabilité. Un agent d'IA poursuit des objectifs de manière autonome, accédant aux systèmes et exécutant des actions sans intervention humaine à chaque étape. Gouverner un agent signifie contrôler ses droits d'accès, ses autorisations d'action et conserver une trace complète de chacune de ses actions.
À quelles autorisations les agents d'IA devraient-ils avoir accès ?
Les agents doivent opérer selon le principe du moindre privilège, n'ayant accès qu'aux sources de données et aux systèmes nécessaires à leurs tâches spécifiques. Des autorisations trop larges, accordées par souci de flexibilité, créent un risque d'exposition des données que les équipes de gouvernance ne peuvent ni détecter ni corriger facilement a posteriori.
Comment puis-je auditer les actions d'un agent d'IA ?
Vous avez besoin d'une journalisation détaillée des actions qui enregistre chaque interaction système dans le flux de travail d'un agent, et pas seulement le résultat final. Cela implique d'enregistrer les sources de données auxquelles l'agent a accédé, les données lues ou écrites, ainsi que les décisions prises tout au long de son exécution. Les journaux d'entrée/sortie standard ne permettent pas d'atteindre ce niveau de détail.
Quels cadres de conformité s'appliquent à la gouvernance de l'IA agentielle ?
Le cadre de référence NIST pour l'IA (RMF) et l'article 10 de la loi européenne sur l'IA s'appliquent, bien qu'ils aient été conçus pour des modèles statiques. Pour l'IA agentielle, les exigences de traçabilité et de qualité des données de ces cadres s'étendent aux données consultées lors de l'inférence et de l'exécution, et non plus seulement aux données d'entraînement. Les programmes de gouvernance doivent explicitement aligner le comportement des agents sur ces exigences.
Quel est le principal problème de gouvernance que rencontrent aujourd'hui la plupart des organisations avec l'IA agentielle ?
Visibilité des autorisations et des accès aux données. La plupart des organisations n'ont pas une vision complète des données accessibles à leurs agents, des agents disposant d'un accès excessif ni des informations sensibles traitées lors de l'exécution de tâches autonomes. C'est par là que les programmes de gouvernance doivent commencer.
Auteur
