Les agents d'IA se comportent différemment des applications d'IA ou logicielles traditionnelles. Ils enchaînent les actions, élèvent leurs privilèges et interagissent avec des systèmes externes, souvent de manière autonome. Les considérer comme de simples utilisateurs ou des services statiques peut conduire à une mauvaise évaluation des risques, exposant ainsi les organisations à des dangers liés aux agents d'IA, tels que l'injection de code malveillant, l'empoisonnement ou la compromission de données.
La personnalisation des définitions de risque des agents implique de se concentrer sur leurs capacités d'action au fil du temps, leur autonomie et leur comportement. Cela inclut :
- Évaluer les risques au fil des séquences d'actions, et non des demandes isolées.
- Prise en compte des changements dynamiques de privilèges et de l'utilisation des outils
- Modéliser l'impact cumulatif plutôt que le seul accès initial
L’objectif est de redéfinir le risque en termes de comportement de l’IA agentive, d’interactions système et d’effets en aval, afin de créer une visibilité sur les risques de sécurité potentiels et l’exposition d’informations sensibles.
Points clés à retenir : Définitions des risques liés aux agents
- Les agents d'IA nécessitent des définitions de risque personnalisées car ils enchaînent les actions, élèvent leurs privilèges et interagissent de manière autonome avec les systèmes externes ; les modèles de notation génériques ne prennent pas en compte la manière dont le risque émerge tout au long des flux de travail des agents et conduisent à des erreurs de classification.
- Quatre critères doivent être évalués pour chaque agent : l’accès aux données sensibles, les niveaux de privilèges, les intégrations externes et les actions autonomes. Le risque résulte de la combinaison de ces facteurs, et non d’un seul.
- Les agents à haut risque répondent à au moins deux des quatre critères : un agent qui accède à des informations de santé protégées et appelle un service de liaison de données externes est considéré à haut risque même s’il ne fait que consulter des données, car l’appel externe crée une voie de sortie incontrôlée pour les informations réglementées.
- La classification des risques sans seuils de politique n'est qu'une étiquette ; les seuils doivent définir les conditions dans lesquelles l'accès des agents est signalé, restreint ou révoqué, et non pas seulement surveillé.
- L'application du principe du moindre privilège au niveau de l'agent est essentielle ; même les agents fonctionnant sous des comptes de service à accès étendu doivent avoir des autorisations limitées à leur tâche spécifique afin de limiter l'exposition.
- La découverte de l'IA parallèle est une condition préalable à la gouvernance des risques : les acteurs non autorisés opérant en dehors du champ de la connaissance informatique ne peuvent être classés, surveillés ni contrôlés dans le cadre d'aucun système de gestion des risques.
Pourquoi les définitions du risque des agents ne peuvent pas être génériques
Les définitions de risque des agents classent le potentiel de nuisance d'un agent d'IA en fonction de son comportement, de son accès aux données et de ses autorisations. Contrairement aux scores de risque utilisateur, les définitions de risque des agents doivent prendre en compte les chaînes d'actions autonomes, et non l'accès à une seule session.
Les définitions efficaces sont liées à des données d'entrée mesurables telles que :
- Types de données consultées (par exemple, données sensibles ou réglementées)
- Outils et systèmes externes invoqués
- Actions effectuées au cours des séquences (lecture, transformation, écriture)
Les modèles de notation génériques ne prennent souvent pas en compte la manière dont le risque émerge dans les flux de travail des agents, ce qui entraîne des erreurs de classification et des contrôles insuffisants. Les cadres de conformité comme RMF de l'IA du NIST et Article 10 de la loi européenne sur l'IA Mettre l'accent sur la gouvernance de l'IA en fonction de ses capacités réelles et des interactions avec les données.
Critères clés d'évaluation des agents d'IA
Chaque agent doit être évalué selon ces quatre critères avant qu'un niveau de risque lui soit attribué ou que des seuils soient fixés :
- Accès aux données sensibles : Lit, écrit ou déplace des données réglementées, par exemple des informations personnelles identifiables (IPI), des informations de santé protégées (ISP), des informations de carte de paiement (PCI), des identifiants, des secrets.
- Niveaux de privilège : Fonctionne sous des autorisations élevées ou des comptes à accès étendu.
- Intégrations externes : Fait appel à des API tierces, à des modèles d'IA externes ou à des systèmes situés en dehors de votre périmètre de sécurité.
- Actions autonomes : Effectue des opérations sans intervention humaine, telles que la suppression d'enregistrements ou la modification de configurations.
Cartographier vos agents d'IA par rapport à ces critères améliore la visibilité sur leur comportement, leur autonomie et leur potentiel d'exploitation, contribuant ainsi à atténuer les risques liés à l'IA avant son déploiement.
La plupart des équipes de sécurité identifient au moins un agent susceptible de divulguer de manière inattendue des informations sensibles ou d'interagir avec des systèmes externes sans surveillance.
Définition des niveaux de risque
Les niveaux de risque ne sont efficaces que si les définitions sont suffisamment précises pour permettre des décisions de classification cohérentes. Voici une approche pratique que votre équipe peut appliquer dès aujourd'hui.
Agents à haut risque
Un agent est considéré comme présentant un risque élevé lorsqu'il remplit au moins deux des quatre critères suivants : il accède à des données réglementées, détient des privilèges élevés, fait appel à des systèmes externes ou exécute des actions autonomes sans contrôle.
Cette combinaison est importante. Un agent qui accède à des informations de santé protégées et appelle un LLM externe présente un risque élevé, même s'il ne fait que lire des données sans jamais en écrire, car l'appel externe crée une voie de sortie incontrôlée pour les informations réglementées.
Agents à risque moyen
Les agents à risque moyen accèdent à des données internes non réglementées, fonctionnent avec des autorisations utilisateur standard et disposent d'intégrations externes limitées ou inexistantes.
Ces systèmes peuvent prendre des mesures automatisées, mais celles-ci sont limitées et réversibles. La principale différence avec les systèmes à haut risque réside dans l'absence d'exposition de données réglementées et d'appels à des systèmes externes.
Agents à faible risque
Les agents à faible risque ont un accès en lecture seule aux informations non sensibles, n'effectuent aucun appel externe et nécessitent une vérification humaine avant toute action sur leurs résultats.
Ce niveau réduit l'exposition aux vulnérabilités ou aux compromissions tout en maintenant une autonomie utile.
Seuils politiques d'accès restreint aux données
La classification des risques sans seuils de politique n'est qu'une étiquette. Les seuils définissent les conditions dans lesquelles l'accès d'un agent est signalé, restreint ou révoqué, et non pas seulement surveillé.
Lier les seuils à la classification des données
Les seuils doivent être directement liés à la classification des informations sensibles. Par exemple, l'accès à un volume de données personnelles dépassant le volume défini lors d'une même session déclenche des alertes, une suspension d'accès ou des mesures correctives. Les risques liés à l'IA peuvent être atténués par l'application de seuils qui s'adaptent dynamiquement aux changements dans les ensembles de données ou au comportement des systèmes d'IA.
Appliquer le principe du moindre privilège au niveau de l'agent
Les agents ne doivent disposer que des autorisations nécessaires à leur tâche. Même si un agent s'exécute sous un compte de service à accès étendu, l'application du principe du moindre privilège réduit la vulnérabilité et limite les risques de compromission. Les mises à jour automatiques garantissent l'adéquation des seuils à mesure que les systèmes d'IA évoluent ou que de nouveaux déploiements sont effectués.
Comment BigID permet une gouvernance des risques d'agents axée sur les politiques
BigID relie directement les définitions de risques à l'application automatisée des mesures, éliminant ainsi les vérifications manuelles. Il détecte les agents, les modèles, les ensembles de données et les invites dans votre environnement (y compris l'IA fantôme) et associe chacun aux données et aux autorisations auxquelles il accède.
Les agents sont évalués automatiquement et les seuils de politique déclenchent des mesures correctives immédiates en cas de dépassement. Ces mesures comprennent l'ajustement des autorisations, l'isolation des données, la suppression des informations confidentielles ou la délégation de tâches, le tout étant consigné à des fins d'audit et de conformité.
Un suivi continu permet de garantir que les scores de risque et les politiques restent à jour à mesure que les agents évoluent ou que les classifications de données changent.
Découvrez comment BigID peut vous aider à appliquer automatiquement des politiques de gestion des risques liés aux agents et à garder une longueur d'avance sur l'évolution des menaces pesant sur les données.Commencez votre évaluation dès aujourd'hui.
Questions fréquentes concernant les définitions des risques liés aux agents
Qu’est-ce qui rend un agent IA à haut risque ?
Un agent présente un risque élevé lorsqu'il remplit au moins deux critères : accès à des informations sensibles, privilèges élevés, appels à des systèmes externes via une API ou exécution d'actions autonomes. Le risque lié à l'IA résulte de la combinaison de ces facteurs, et non d'un critère isolé.
Comment définir des seuils de risque pour les agents d'IA ?
Les seuils doivent être liés aux niveaux de classification des données et tenir compte des risques potentiels de compromission, d'injection ou d'empoisonnement. Les actions entreprises doivent déclencher des mesures d'atténuation, et non une simple surveillance.
Quelles données les agents d'IA ne devraient-ils jamais consulter ?
Les agents ne doivent accéder qu'aux données nécessaires à l'exécution de leurs tâches. Les informations sensibles telles que les données personnelles, les données de santé, les données de sécurité des systèmes d'information, les identifiants ou les secrets doivent être strictement contrôlées afin de réduire leur exposition et les vulnérabilités des systèmes d'IA.
Comment puis-je contrôler des agents d'IA fantômes dont j'ignore l'existence ?
La détection est essentielle. Les systèmes automatisés comme BigID cartographient les agents non autorisés, appliquent votre cadre de gestion des risques et atténuent les risques de compromission avant le déploiement.
Comment le principe du moindre privilège s'applique-t-il aux agents d'IA ?
Limiter l'autonomie des agents aux autorisations minimales requises réduit les risques liés à l'IA, empêche l'empoisonnement ou l'injection rapide et atténue les risques de sécurité lors des déploiements.
Auteur
