L'adoption de l'IA s'accélère à un rythme sans précédent. Gouvernance de l'IA — les cadres, les politiques et les contrôles opérationnels que les organisations utilisent pour gérer la manière dont les systèmes d'IA accèdent aux données de l'entreprise, les traitent et agissent sur celles-ci — peinent à suivre le rythme.
Points clés à retenir : Ce que les responsables de la sécurité de l’IA doivent savoir
- La gouvernance de l'IA doit être opérationnelle, et non pas seulement une politique. Le plus grand défi de l'IA n'est pas la technologie elle-même, mais la manière dont les systèmes d'IA interagissent avec les données d'entreprise en temps réel.
- Le problème des risques liés à l'IA est un problème de données. La plupart des défaillances en matière de gouvernance de l'IA sont dues à un accès incontrôlé aux données, et non à des défauts des modèles. La visibilité des données est le fondement de toute stratégie de sécurité en IA.
- L'IA agentive nécessite une gouvernance des identités. Les agents d'IA autonomes ont besoin des mêmes contrôles d'accès que les employés humains : identité centralisée, principe du moindre privilège et surveillance continue.
- La sécurité de l'IA couvre l'intégralité du cycle de vie du ML. L'intégrité des données d'entraînement, la surveillance du comportement des modèles et la sécurité de l'interface utilisateur font partie intégrante de la sécurité de l'IA d'entreprise, et pas seulement de l'API de production.
- La surconfiance dans les cadres existants constitue un risque pour l'IA. De nombreuses organisations pensent que leurs programmes actuels de confidentialité et de sécurité couvrent l'IA. La plupart se trompent. Une gouvernance de l'IA continue et transversale est indispensable.
- Le leadership en matière de sécurité de l'IA commence par une simple question : connaissez-vous vos données ? Sans visibilité des données, gouverner l'IA est quasiment impossible.
Qu’est-ce que la gouvernance de l’IA ?
La gouvernance de l'IA désigne les cadres opérationnels, les contrôles et les structures de responsabilisation utilisés par les organisations pour gérer l'interaction des systèmes d'IA avec les données, les personnes et les processus de l'entreprise. Une gouvernance efficace de l'IA englobe la visibilité des données, gestion des identités, la surveillance de la sécurité et la conformité réglementaire — et doivent être intégrées en permanence à tous les niveaux Cycle de vie de l'IA, et pas seulement les documents de politique initiaux.
Ce décalage entre ce que les organisations attendent de l'IA et ce qu'elles sont prêtes à gouverner était au cœur du Forum sur le leadership en matière de gouvernance de l'IA, où des responsables de la sécurité, de la protection de la vie privée et de la sécurité de l'IA se sont réunis pour discuter de ce à quoi ressemble une IA responsable dans le monde réel.
Lors de la conférence inaugurale et des deux tables rondes d'experts, un constat s'est imposé à maintes reprises : la gouvernance de l'IA ne peut plus se limiter à des documents de politique générale. Elle doit être opérationnelle. Et les organisations qui maîtrisent la gouvernance de l'IA ne se contenteront pas d'être les plus rapides ; elles seront les plus efficaces.
Voyons comment ces idées se traduisent concrètement.
Sécurité de l'IA dans une entreprise pilotée par agents : gouvernance et risques
Conférence principale : Francis Odum, fondateur et PDG de Software Analyst Cyber Research
La sécurité de l'IA représente un tournant décisif pour la gouvernance d'entreprise. Les organisations adoptent l'IA à un rythme soutenu, souvent sous la pression de conseils d'administration et de dirigeants désireux d'accélérer le processus. Or, les cadres de sécurité nécessaires pour gérer cette croissance peinent encore à se développer.
L'adoption de l'IA s'accélère car les conseils d'administration et les PDG la préconisent, mais la sécurité reste à la traîne.
— Francis Odum, fondateur et PDG, analyste logiciel chez Cyber Research
L'essor de l'IA agentive et ses implications pour la sécurité
Ce changement ne concerne pas seulement IA générative Les entreprises se tournent désormais vers d'autres outils. systèmes d'IA agents — des agents autonomes capables de raisonner, d'interagir avec des systèmes et d'accomplir des tâches avec une supervision humaine minimale. Cela modifie radicalement l'équation de la gouvernance et des risques liés à l'IA.
Ces agents interagissent avec les systèmes d'entreprise de la même manière que les employés : ils se connectent aux fichiers, aux API, aux systèmes CRM, à la documentation interne et aux dossiers clients. Autrement dit, le risque lié à l'IA n'est plus théorique, il est bien réel.
Le problème des risques liés à l'IA est en réalité un problème de données
Gestion des risques liés à l'IA Il est impératif de commencer par les données. Si de nombreuses organisations se concentrent sur la sécurité des modèles, le risque majeur réside dans l'accès aux données. Les systèmes d'IA se connectent de plus en plus à des sources de données d'entreprise sensibles, ce qui accroît considérablement la surface d'attaque.
La plupart des défaillances de gouvernance ne proviendront pas des pondérations des modèles, mais du contexte connecté : fichiers, courriels, données clients et code source.
— Francis Odum
Obtenez une visibilité sur l'accès aux données d'IA, leur identité et les risques associés dans votre environnement.
Un cadre pour le leadership en matière de sécurité de l'IA
Aussi avancée que devienne l'IA, la problématique reste avant tout une problématique de données. Odum a défini trois priorités pour un leadership en matière de sécurité de l'IA à l'ère des agents :
- Converger la gouvernance des données, de l'identité et de l'IA
- Gérez les agents IA comme des employés numériques avec identité centralisée et contrôle d'accès
- Commencez par la visibilité des données : avant de déployer l’IA, les organisations doivent comprendre quelles données existent et où elles sont stockées.
J'ai été très impressionné par l'initiative de BigID en matière de gouvernance des identités automatisées, qui étend la visibilité des identités jusqu'à la couche de données. À mesure que les identités non humaines prennent une place de plus en plus importante, il est crucial de comprendre comment elles interagissent avec les données sensibles.
— Francis Odum
Gouvernance de l'IA pour la protection de la vie privée : concevoir pour des systèmes imprévisibles
Panel : Aaron Weller (HP), Chantra Stevenson (Alaska Airlines), Mae-Beth Magno (Boeing)
Les cadres traditionnels de protection de la vie privée dès la conception supposaient que les systèmes se comportaient de manière déterministe. L'IA générative remet en cause ce modèle. Cette session a abordé un défi fondamental en matière de gouvernance de l'IA : comment les cadres de protection de la vie privée doivent évoluer pour les systèmes d'IA qui ne se comportent pas de manière prévisible.
La gouvernance de l'IA doit devenir continue
Les systèmes d'IA apprennent, évoluent et peuvent parfois avoir des comportements imprévisibles. Par conséquent, la gouvernance de l'IA doit passer d'examens statiques à une surveillance continue. Les organisations ont désormais besoin de :
- Surveillance comportementale continue
- Détection de dérive et alertes d'anomalies
- Tests du comportement du modèle après déploiement
- Examens de gouvernance de l'IA après déploiement
Le principe traditionnel de protection de la vie privée dès la conception supposait que nous connaissions précisément le fonctionnement d'un système. Avec l'IA générative, nous concevons des systèmes susceptibles de nous surprendre.
— Aaron Weller, HP
La surconfiance est un risque croissant pour l'IA
Un constat essentiel du panel : de nombreuses organisations pensent que leurs cadres de protection de la vie privée actuels couvrent déjà l’IA. Cette supposition constitue en elle-même un risque lié à l’IA.
De nombreuses organisations font preuve d'un excès de confiance quant à leur préparation en matière de protection de la vie privée face à l'IA générative.
— Chantra Stevenson, Alaska Airlines
Les nouveaux risques liés à l'IA — de l'injection de paquets à la fuite de données d'entraînement — exigent des approches de gouvernance de l'IA qui aillent au-delà des programmes de protection de la vie privée traditionnels.
La gouvernance de l'IA exige une collaboration interfonctionnelle
Il ne s'agit plus d'un processus d'accès, mais d'une infrastructure.
— Mae-Beth Magno, Boeing
La conformité en matière d'IA et la gouvernance de la confidentialité ne peuvent être mises en œuvre isolément. Elles doivent être intégrées directement au développement produit, en collaboration avec les équipes d'ingénierie, de produit et de gouvernance des données. L'objectif n'est pas de freiner l'innovation, mais de mettre en place des garde-fous évolutifs.
Sécurisation des systèmes d'IA, de l'entraînement à la production
Panel : Sabna Sainudeen (Carlsberg), Samaresh Singh (HP), Marissa Palmer (TrueCar)
La sécurisation des systèmes d'IA exige une approche fondamentalement différente de celle de la sécurité des infrastructures traditionnelles. Elle doit couvrir l'intégralité du cycle de vie de l'apprentissage automatique, depuis l'intégrité des données d'entraînement jusqu'au déploiement et à l'inférence des modèles.
L'IA étend la surface de sécurité des entreprises
Les systèmes d'IA soulèvent des problématiques de sécurité inédites. Les organisations doivent désormais sécuriser :
- ensembles de données d'entraînement et pipelines de données
- Artefacts et poids du modèle
- pipelines d'inférence et API
- Interfaces d'invite et points d'accès des agents
La sécurité doit être intégrée à l'ensemble du cycle de vie de l'apprentissage automatique, et pas seulement à l'API ou à la couche de production.
— Samaresh Singh, HP
Intégrité des données d'entraînement : la couche la plus critique
L'une des principales failles de sécurité de l'IA réside au tout début de son cycle de vie : l'intégrité des données d'entraînement. Si ces données sont compromises, le comportement du modèle risque de devenir imprévisible, et le problème peut ne se manifester que bien plus tard.
Si les données d'entraînement sont manipulées dès le début, le comportement du modèle risque de ne révéler le problème que bien plus tard.
— Samaresh Singh, HP
La sécurité de l'IA exige une surveillance comportementale
Les systèmes d'IA transforment le mode de fonctionnement des équipes de sécurité. Au lieu de se concentrer uniquement sur les alertes d'infrastructure, ces équipes doivent désormais surveiller le comportement des modèles et les anomalies.
Nous devons rechercher les anomalies comportementales, car l'IA ne dysfonctionne pas toujours de manière évidente.
— Marissa Palmer, TrueCar
La sécurité de l'IA s'appuie sur des fondations existantes, mais nécessite de nouvelles couches.
Malgré la complexité accrue, de nombreux principes de sécurité traditionnels restent applicables. Les organisations peuvent réutiliser la sécurité des pipelines CI/CD, l'analyse des dépendances et la surveillance de l'infrastructure, mais doivent étendre leurs actions à la gouvernance des données, à la surveillance des modèles et à la détection des menaces spécifiques à l'IA.
Nous pouvons réutiliser bon nombre de nos pratiques de sécurité existantes, mais la couche de données et le comportement du modèle introduisent des défis entièrement nouveaux.
— Sabna Sainudeen, Groupe Carlsberg
Le tournant stratégique : de l’adoption de l’IA à la gouvernance de l’IA
Au cours des trois sessions, un constat s'est imposé : le principal défi posé par l'IA ne réside pas dans la technologie elle-même, mais dans la gouvernance de son interaction avec les données d'entreprise. Les systèmes d'IA amplifient les risques existants liés à l'accès aux données, à la gestion des identités, à la surveillance de la sécurité et à la conformité réglementaire.
Les organisations qui réussiront avec l'IA ne se contenteront pas d'être les plus rapides ; elles la gouverneront avec le plus d'intelligence. Et la gouvernance de l'IA commence par une question simple :
Connaissez-vous réellement vos données ?
Car sans cette visibilité, gouverner l'IA — et gérer les risques liés à l'IA — devient quasiment impossible.
Questions fréquentes sur la gouvernance et la sécurité de l'IA
Qu’est-ce que la gouvernance de l’IA et pourquoi est-elle importante pour la sécurité des entreprises ?
La gouvernance de l'IA désigne l'ensemble des cadres opérationnels, des politiques et des contrôles utilisés par les organisations pour gérer l'accès aux données, la prise de décision et le fonctionnement des systèmes d'IA au sein des environnements d'entreprise. Elle est essentielle à la sécurité de l'IA en entreprise, car une IA non gouvernée accroît considérablement la surface d'attaque : elle peut se connecter à des fichiers sensibles, aux dossiers clients, aux API et au code source sans supervision adéquate.
Quels sont les principaux risques liés à l'IA pour les entreprises en 2025 ?
Les principaux risques liés à l'IA pour les entreprises sont les suivants : accès incontrôlé aux données par les agents d'IA, manipulation des données d'entraînement, attaques par injection de code, fuite de données d'entraînement, confiance excessive dans les cadres de protection de la vie privée existants et absence de surveillance comportementale après le déploiement. Les experts en sécurité de l'IA insistent régulièrement sur le fait que la gestion des risques liés à l'IA doit commencer par la visibilité des données.
En quoi l'IA agentielle diffère-t-elle des défis traditionnels de gouvernance de l'IA ?
Les systèmes d'IA agentiques sont des agents autonomes capables de raisonner, d'agir et d'interagir avec les systèmes d'entreprise (fichiers, API, plateformes CRM et documentation interne) sans supervision humaine constante. De ce fait, la gouvernance de l'IA agentique est nettement plus complexe que celle de l'IA traditionnelle, car ces agents se comportent davantage comme des employés numériques et nécessitent des contrôles d'identité et d'accès adaptés.
À quoi ressemble concrètement un leadership en matière de sécurité de l'IA ?
Le leadership en matière de sécurité de l'IA implique la mise en œuvre opérationnelle de la gouvernance de l'IA à travers les données, l'identité et les fonctions de sécurité. Cela suppose de faire converger la gouvernance des données et la gestion des identités, de considérer les agents d'IA comme des identités numériques gérées, de sécuriser l'intégralité du cycle de vie du ML, des données d'entraînement à l'inférence, et d'intégrer une surveillance continue aux déploiements d'IA plutôt que de s'appuyer sur des analyses ponctuelles.
Comment les organisations doivent-elles construire un cadre de gouvernance de l'IA ?
Un cadre de gouvernance de l'IA efficace devrait : (1) établir la visibilité des données comme base, (2) intégrer les contrôles d'identité et d'accès pour les agents humains et les agents IA, (3) intégrer des examens de sécurité et de confidentialité en continu tout au long du cycle de vie de l'IA, (4) inclure la surveillance comportementale et la détection des dérives après le déploiement, et (5) aligner les équipes interfonctionnelles, y compris la sécurité, la confidentialité, l'ingénierie et le juridique, autour de la responsabilité partagée des risques liés à l'IA.
Quel est le lien entre la gouvernance des données et la sécurité de l'IA ?
La gouvernance des données et la sécurité de l'IA sont indissociables. Les systèmes d'IA ne peuvent être sécurisés que si les organisations comprennent au préalable quelles données existent, où elles sont stockées et qui (ou quoi) peut y accéder. La gouvernance des données constitue le fondement de la sécurité de l'IA en permettant aux organisations de contrôler les données d'entraînement utilisées, de limiter l'accès des agents d'IA aux données sensibles et de détecter les schémas d'accès aux données anormaux.
Regardez l'enregistrement complet du forum
Découvrez comment BigID aide les organisations à découvrir, sécuriser et gouverner les données pour l'IA, de la formation à la production.
