À Sommet sur l'infrastructure IA de BigID, Des responsables de la sécurité et de l'IA ont exploré les conditions nécessaires au déploiement, à la sécurisation et à la gouvernance des agents d'IA à l'échelle de l'entreprise. Dans son discours d'ouverture, Enza Iannopollo, vice-présidente et analyste principale chez Forrester, ont examiné comment l'IA agentive redéfinit l'IA responsable et pourquoi les approches traditionnelles de surveillance doivent évoluer à mesure que les systèmes d'IA acquièrent une plus grande autonomie.
L'IA responsable s'est traditionnellement concentrée sur une question cruciale : Peut-on faire confiance à ce système d'IA ?
Les organisations ont élaboré des cadres d'évaluation des modèles afin de déterminer leur équité, leur transparence, leur exactitude et leur sécurité. Ces garanties demeurent essentielles, mais l'IA agentielle renforce encore les enjeux.
Les agents d'IA ne se contentent pas de générer des réponses. Ils peuvent accéder à des informations sensibles, interagir avec les systèmes d'entreprise et agir, parfois sans intervention humaine.
Cela soulève une autre question : Peut-on faire confiance à ce que fait l'agent, avec quelles données et dans quel but ?
Pour les responsables de la sécurité des données, cette évolution a des conséquences immédiates. Une IA responsable doit désormais aller au-delà de la simple évaluation des systèmes avant leur déploiement et englober la gouvernance de leur comportement en cours d'exécution.
L'IA responsable ne peut s'arrêter au déploiement.
Les pratiques traditionnelles en matière d'IA responsable se sont fortement concentrées sur l'évaluation des systèmes avant leur mise en service.
Mais le risque encouru par un agent ne s'arrête pas à son déploiement. Il peut évoluer en fonction des informations auxquelles il a accès, des outils qu'il utilise et des actions qu'il entreprend.
Imaginez un agent IA assistant une équipe de service client. Il pourrait avoir besoin d'accéder aux dossiers clients pour résoudre un problème. Mais cet accès devrait-il s'étendre à des informations sensibles sans lien avec le problème ? L'agent devrait-il pouvoir modifier les dossiers ou initier des transactions sans autorisation ?
L'évaluation d'un modèle ne peut pas répondre à toutes les questions qui se posent lors d'un flux de travail en direct.
L'IA responsable doit aller au-delà de l'évaluation des systèmes pour régissant leur comportement.
Cela signifie savoir à quoi les agents ont accès, ce qu'ils sont autorisés à faire et quand leurs actions nécessitent une intervention.
Trois principes pour une IA agentive responsable
Iannopollo a mis en lumière trois principes qui deviennent particulièrement importants à mesure que les systèmes d'IA gagnent en autonomie.
1. Agence la moins puissante
Le principe du moindre privilège limite ce à quoi un système peut accéder. Le principe du moindre mandat limite ce qu'un agent IA peut faire.
Un agent peut avoir besoin de consulter le dossier d'un client sans autorisation pour le modifier. Il peut également préparer une transaction sans être autorisé à l'exécuter.
L'objectif est de donner aux agents suffisamment d'autonomie pour être utiles, et non une liberté d'action sans restriction.
2. Gestion continue des risques
L’IA responsable ne peut pas se limiter à une approbation ponctuelle.
Le risque encouru par un agent peut augmenter lorsqu'il accède à des informations sensibles, interagit avec des systèmes supplémentaires ou tente une action ayant des conséquences importantes.
Les organisations ont besoin de visibilité sur le comportement des agents et de contrôles capables de réagir à l'évolution des risques.
Pour les équipes de sécurité, cela signifie passer d'évaluations statiques à surveillance et intervention pendant l'opération.
3. Sécuriser l'intention
Un agent peut être autorisé à accomplir une action sans avoir de raison légitime de le faire.
Par exemple, un agent autorisé à effectuer des recherches dans un référentiel de documents ne devrait pas automatiquement récupérer des fichiers confidentiels sans rapport avec le sujet simplement parce que ses identifiants lui permettent d'y accéder.
La notion d'autorisation définit ce qu'un agent peut faire. L'intention, quant à elle, détermine ce qu'il doit faire.
Cette distinction est fondamentale pour la gouvernance des systèmes autonomes.
Pourquoi la sécurité des données est le point de départ
L'IA responsable englobe l'équité, la redevabilité, la transparence, la sécurité, la supervision humaine et le respect de la vie privée. Tous ces éléments demeurent essentiels dans un environnement où l'IA est automatisée.
Mais les responsables de la sécurité sont confrontés à un défi immédiat : ils ne peuvent pas contrôler l'utilisation par un agent d'informations sensibles s'ils ne comprennent pas quelles informations cet agent peut consulter.
Iannopollo l'a exprimé clairement :
“ Les bonnes pratiques en matière de confidentialité et de sécurité des données constituent la meilleure et la plus sûre façon de commencer à mettre en place une pratique responsable de l'IA. ”
Cela signifie découverte et classification des données, visibilité de l'accès et contrôles appropriés Il ne s'agit pas simplement de fonctionnalités de soutien. Elles sont essentielles à une IA responsable en pratique.
Les équipes de sécurité devraient pouvoir répondre à quatre questions :
- Quelles données sensibles nos agents peuvent-ils accéder ?
- Quelles actions peuvent-ils entreprendre avec ces données ?
- Peut-on détecter un comportement en dehors de la tâche prévue ?
- Peut-on intervenir avant qu'une action inappropriée ne cause du tort ?
Sans ces réponses, l'IA responsable risque de rester un engagement politique plutôt qu'une capacité opérationnelle.
Le prochain chapitre de l'IA responsable se déroule lors de l'exécution.
L'IA agentique ne rend pas obsolètes les principes existants de l'IA responsable. Elle rehausse les exigences relatives à leur mise en œuvre.
L'équité et la transparence restent essentielles. La responsabilité et le contrôle humain le sont tout autant.
Mais lorsque les systèmes d'IA peuvent agir, les organisations doivent contrôler bien plus que les résultats des modèles. Elles doivent contrôler l'accès, l'autonomie, les intentions et le comportement des systèmes pendant leur exécution.
L'IA responsable ne peut plus s'arrêter à la mise en service d'un agent. C'est à ce moment-là que commence une partie de son travail le plus important.
Questions fréquemment posées
Qu’est-ce qu’une IA agentive responsable ?
L’IA agentive responsable implique l’application de principes tels que la responsabilité, la sécurité, la confidentialité et la supervision humaine aux systèmes d’IA capables d’accéder de manière autonome à l’information et d’agir.
Qu'est-ce que le moindre pouvoir d'action ?
Le principe de moindre autonomie limite les capacités et l'autonomie d'un agent d'IA à ce qui est nécessaire pour la tâche qui lui est assignée. Il va au-delà du principe de moindre privilège, qui se concentre sur les permissions d'accès.
Pourquoi l'IA agentielle nécessite-t-elle une gouvernance en temps réel ?
Le risque associé à un agent peut évoluer en fonction de son accès aux données, de l'utilisation des outils et des actions qu'il effectue. Les organisations ont donc besoin de contrôles qui restent efficaces après leur déploiement.
