Sécurité des données de l'IA : risques, bonnes pratiques et comment sécuriser l'IA d'entreprise

La sécurité de l'IA commence par une question fondamentale :

Quelles sont les données sensibles auxquelles vos systèmes d'IA peuvent accéder, et que deviennent ces données lorsque l'IA les utilise ?

Il est devenu plus difficile de répondre à cette question à mesure que l'IA d'entreprise s'étend au-delà des modèles autonomes.

Les organisations utilisent désormais des copilotes, des applications d'IA générative, la génération augmentée par la récupération (RAG), des bases de données vectorielles, des agents d'IA, des API, des modèles tiers et des flux de travail autonomes. Ces systèmes peuvent interroger les référentiels d'entreprise, extraire des informations sensibles, appeler des applications, déclencher des actions et interagir avec les données via des identités humaines et non humaines.

Cela change la donne en matière de sécurité de l'IA.

Les organisations doivent toujours protéger leurs modèles et leurs infrastructures, mais elles doivent aussi comprendre Quelles sont les données qui alimentent l'IA, qui ou quoi peut y accéder, où elles circulent, comment l'IA les utilise, quelles politiques s'appliquent et où les données sensibles créent des risques.

Sécurité des données de l'IA applique des contrôles de sécurité, de gouvernance, de confidentialité, d'accès et de risques aux données sensibles utilisées tout au long du cycle de vie de l'IA, y compris l'entraînement, le réglage, la récupération, l'incitation, l'inférence, les actions des agents et les flux de travail en aval.

Qu’est-ce que la sécurité des données en IA ?

La sécurité des données d'IA consiste à protéger les données sensibles, réglementées, confidentielles, exclusives et critiques pour l'entreprise utilisées par les systèmes d'intelligence artificielle tout au long du cycle de vie de l'IA.

Il applique des contrôles de sécurité aux données utilisées pour :

• Modèle de formation
• Réglage fin
• Génération augmentée par récupération (RAG)
• Bases de données vectorielles et plongements lexicaux
• Questions et réponses
• Inférence
• Agents d'IA et flux de travail autonomes
• Copilotes et assistants
• API et intégrations d'applications
• Résultats et actions de l'IA en aval

La sécurité des données de l'IA doit répondre à des questions telles que :

• Quels systèmes d'IA sont utilisés au sein de l'organisation ?
• À quelles données d'entreprise peuvent-ils accéder ?
• Ces données contiennent-elles des informations sensibles ou réglementées ?
• Qui ou quoi peut accéder au système d'IA et à ses données sous-jacentes ?
• Comment les données circulent-elles dans les pipelines d'IA ?
• Les informations sensibles peuvent-elles apparaître dans les invites ou les réponses ?
• Les agents IA ont-ils autorisations excessives?
• Les employés utilisent-ils des applications d'IA non approuvées ?
• Quels risques liés aux données d'IA nécessitent une correction en priorité ?

L’objectif n’est pas simplement de sécuriser un modèle d’IA. Il s’agit de protéger les données sensibles partout où l’IA les découvre, les extrait, les traite, les génère, les partage ou agit sur elles.

Pourquoi la sécurité des données de l'IA est importante

La sécurité des données traditionnelle se concentre généralement sur la protection des référentiels, des applications, des utilisateurs et des mouvements de données.

L'IA crée de nouvelles voies entre les données sensibles et les systèmes qui les utilisent.

Un copilote peut récupérer des informations depuis les référentiels de l'entreprise. Une application RAG peut faire remonter des documents confidentiels grâce à la recherche vectorielle. Un agent d'IA peut appeler des API ou des applications en utilisant des autorisations héritées. Un employé peut coller des informations client dans un outil d'IA générative non autorisé.

Chaque scénario crée un problème de sécurité différent, mais ils partagent la même exigence sous-jacente :

Les équipes de sécurité doivent comprendre les données sous-jacentes à l'IA et les voies par lesquelles celle-ci peut y accéder.

L'IA élargit l'accès aux données sensibles

Les applications d'IA se connectent souvent simultanément à plusieurs sources de données d'entreprise.

Cela peut donner à l'IA accès à des informations provenant de bases de données, de systèmes de fichiers, d'applications SaaS, de plateformes de collaboration, de lacs de données, d'entrepôts de données, de stockage cloud et d'API.

Plus l'IA devient connectée, plus elle est importante découverte et classification des données devient.

L'IA introduit de nouvelles identités non humaines

Les agents d'IA ne se contentent pas de générer du texte.

Ils peuvent extraire des données, utiliser des outils, interagir avec des applications, appeler des API, exécuter des flux de travail et agir au nom des utilisateurs.

Cela rend gouvernance de l'accès à l'IA une composante de plus en plus importante de la sécurité de l'IA.

L'IA peut amplifier l'exposition aux données existantes.

L'IA n'a pas besoin de créer une nouvelle vulnérabilité pour générer des risques.

Si des données sensibles d'entreprise sont déjà largement accessibles, la connexion d'un système d'IA à ces données peut faciliter la découverte, la récupération, la synthèse, la combinaison ou la distribution de cette exposition existante.

L'IA peut transformer un problème d'accès existant en un problème d'exposition des données à l'échelle de l'IA.

Comment l'IA utilise les données d'entreprise

L'IA interagit avec les données tout au long d'un cycle de vie beaucoup plus large que le simple entraînement des modèles traditionnels.

Quels sont les principaux risques liés à la sécurité des données en IA ?

L'IA introduit de nouveaux risques tout en amplifiant des problèmes de sécurité des données déjà connus.

1. Exposition de données sensibles

Les systèmes d'IA peuvent extraire ou traiter PII, les données de santé protégées, les données financières, la propriété intellectuelle, les titres de compétences, les secrets, les documents confidentiels, le code source ou toute autre information sensible.

L’exposition peut se produire via des ensembles de données d’entraînement, des invites, des réponses, des systèmes RAG, des API, des bases de données vectorielles, des actions d’agents, des journaux ou des applications en aval.

2. IA de l'ombre

IA de l'ombre désigne les outils, modèles, agents, applications ou flux de travail d'IA fonctionnant en dehors des processus de sécurité et de gouvernance approuvés.

Les employés peuvent utiliser des services d'IA externes sans comprendre comment ces services traitent les données de l'entreprise. Les équipes de développement peuvent déployer des modèles ou des agents sans les enregistrer. Les fonctionnalités d'IA peuvent également s'intégrer à l'entreprise via des applications SaaS existantes.

Si les équipes de sécurité ne peuvent pas observer l'utilisation de l'IA, elles ne peuvent pas contrôler de manière fiable les données qui y affluent.

3. Accès excessif à l'IA

Un système d'IA peut hériter d'un accès via :

• Autorisations de l'utilisateur
• Comptes de service
• identités de l'application
• étendues OAuth
• Rôles cloud
• Identifiants API
• Identités des machines
• Autorisations déléguées

Un agent d'IA disposant d'un accès excessif peut récupérer des données sensibles bien au-delà de ce que requiert sa tâche initiale.

4. Fuite de données : réponse rapide et efficace

Les utilisateurs peuvent placer intentionnellement ou accidentellement des informations sensibles dans invites.

Les systèmes d'IA peuvent également exposer des données sensibles dans les réponses lorsque la récupération, l'autorisation, le filtrage ou les contrôles de politique ne tiennent pas compte de la sensibilité des informations sous-jacentes.

5. Exposition des bases de données RAG et Vector

Les systèmes RAG mettent les données d'entreprise à la disposition de l'IA générative au moment de l'inférence.

Cela améliore la pertinence, mais soulève une question de sécurité cruciale :

L'IA peut-elle récupérer des informations que l'identité requérante ne devrait pas voir ?

Les équipes de sécurité ont besoin de visibilité sur les données sources, les intégrations, les magasins de vecteurs, les autorisations de récupération, les identités et les réponses en aval.

6. Empoisonnement des données

Des attaquants ou des processus compromis peuvent introduire des informations manipulées dans les ensembles de données d'entraînement, de réglage, de récupération ou autres ensembles de données d'IA.

Cela peut affecter le comportement du modèle, sa précision, sa fiabilité et les décisions qui en découlent.

7. Injection rapide

Injection rapide tentatives de manipulation d'un système d'IA pour qu'il ignore les instructions prévues ou qu'il effectue des actions non prévues.

Le risque devient plus important lorsque l'IA se connecte à des données sensibles, à des outils externes, à des API ou à des actions autonomes.

8. Divulgation d'informations sensibles

Les modèles et les applications d'IA peuvent divulguer des informations confidentielles via les réponses, les journaux, les intégrations, les processus de récupération ou un contexte mal géré.

Les contrôles de sécurité doivent donc prendre en compte à la fois ce qui entre dans l'IA et ce qui en sort.

9. Utilisation abusive des agents d'IA

IA agentique introduit un niveau de risque différent car les agents peuvent agir.

Un agent disposant de privilèges excessifs ne se contente pas de révéler des informations sensibles. Il peut les partager, les modifier, les déplacer, les supprimer ou déclencher des actions à leur encontre, selon les outils et les privilèges dont il dispose.

10. Traçabilité des données d'IA peu claire

Les organisations peuvent avoir du mal à déterminer l'origine des données d'IA, la manière dont les équipes les ont transformées, les modèles ou agents qui les utilisent et le flux des informations qui en résultent.

Traçabilité des données d'IA contribue à responsabiliser les participants tout au long des phases de formation, de réglage, de récupération, d'incitation, d'inférence et d'utilisation en aval.

Sécurité des données IA vs. Sécurité des données traditionnelle

La sécurité des données basée sur l'IA s'appuie sur la sécurité des données traditionnelle plutôt que de la remplacer.

Comment sécuriser les données utilisées par l'IA

Un programme moderne de sécurité des données d'IA doit protéger les données tout au long du cycle de vie de l'IA plutôt que de s'appuyer sur un seul contrôle.

1. Découvrir l'IA et l'IA fantôme

Commencez par identifier les ressources d'IA déployées au sein de l'organisation.

Inventaire pertinent :

• Modèles
• Agents
• Copilotes
• applications d'IA
• Invites
• Ensembles de données
• Bases de données vectorielles
• Pipelines
• Services d'IA tiers

Les équipes de sécurité ne peuvent pas protéger les systèmes d'IA dont elles ignorent l'existence.

2. Découvrir et classer les données sous-jacentes à l'IA

Identifiez les données sensibles, réglementées, confidentielles, exclusives, personnelles et critiques pour l'entreprise que les systèmes d'IA utilisent ou auxquelles ils peuvent accéder.

Cela permet d'établir le contexte de données nécessaire pour hiérarchiser les risques liés à l'IA.

3. Cartographier la lignée des données d'IA

Comprendre d'où viennent les données, comment les équipes les transforment, quels systèmes d'IA les utilisent et où elles circulent ensuite.

La traçabilité revêt une importance particulière dans les ensembles de données d'entraînement, les pipelines RAG, les magasins de vecteurs, les flux de travail des modèles et les applications en aval.

4. Gouverner l'accès à l'IA

Connectez les systèmes d'IA aux identités, aux autorisations, aux comptes de service, aux applications, aux API, aux rôles et aux autres voies d'accès.

Appliquer moindre privilège Ainsi, un système d'IA ne peut accéder qu'aux données requises par son objectif commercial approuvé.

5. Protéger les invites et les réponses de l'IA

Surveiller les interactions avec l'IA afin de détecter les données sensibles et appliquer des politiques visant à réduire les divulgations inappropriées grâce à des invites et des réponses.

La mise en place rapide de mesures de sécurité est particulièrement importante lorsque les applications d'IA interagissent avec des données d'entreprise ou des fournisseurs de modèles externes.

6. Sécuriser les pipelines de données de l'IA

La sécurité de l'IA doit s'étendre en amont, jusqu'aux ensembles de données et aux pipelines qui alimentent l'IA.

Les organisations peuvent identifier les données sensibles, réduire les informations inutiles, traiter les problèmes de qualité et d'hygiène, appliquer des politiques et vérifier si les ensembles de données restent appropriés à l'utilisation prévue de l'IA.

7. Surveiller l'activité des données

Les autorisations indiquent ce qu'est un système d'identité ou d'IA peut accéder.

Surveillance de l'activité des données ajoute du contexte sur ce qui se passe réellement.

Les équipes peuvent utiliser le contexte d'activité pour identifier les accès inhabituels, les interactions inattendues avec l'IA ou les accès qui ne correspondent plus aux objectifs de l'entreprise.

8. Prioriser les risques liés à l'IA

Toutes les découvertes en matière d'IA ne présentent pas le même niveau de risque.

La priorisation doit prendre en compte :

• Sensibilité des données
• Système d'IA ou cas d'utilisation
• Identité et autorisations
• Exposition
• Activité
• Lignée
• Possession
• Violations du règlement
• Impact potentiel sur l'entreprise

9. Remédier aux risques liés aux données d'IA

La visibilité doit déboucher sur des mesures correctives.

Les équipes pourraient avoir besoin de :

• Supprimer les informations sensibles des ensembles de données d'IA
• Réduire les autorisations excessives
• Bloquer l'accès inapproprié à l'IA
• Données exposées à l'adresse
• Attribuer les propriétaires
• Corriger les violations de politique
• Nettoyer ou organiser les ensembles de données d'IA
• Enquêter sur les activités suspectes
• Exceptions documentaires

flux de travail de remédiation aider les équipes à transformer les résultats de l'IA en actions concrètes et responsables.

Cadres et normes de sécurité des données d'IA

Les organisations n'ont pas besoin de développer leurs programmes de sécurité en IA sans directives établies.

Cadre de gestion des risques liés à l'IA du NIST

Le Cadre de gestion des risques liés à l'IA du NIST fournit des orientations pour la gestion des risques liés à l'IA et la promotion d'une IA fiable.

Le profil d'IA générative du NIST prolonge ces travaux en y intégrant des considérations spécifiques à l'IA générative.

Recommandations de l'OWASP pour l'IA générative

Projet de sécurité de l'IA générative d'OWASP fournit des conseils de sécurité pour les LLM et les applications d'IA générative, y compris les risques liés à l'injection rapide, à la divulgation d'informations sensibles, aux chaînes d'approvisionnement, à l'empoisonnement des données et des modèles, à l'agence excessive et à d'autres problèmes de sécurité spécifiques à l'IA.

AI TRiSM

Gestion de la confiance, des risques et de la sécurité de l'IA (AI TRiSM) rassemble la gouvernance de l'IA, la confiance, les risques, la sécurité, les données, l'accès et les contrôles opérationnels.

Pour les équipes d'entreprise, le changement important consiste à passer des principes et des inventaires d'IA aux contrôles qui opèrent sur les systèmes d'IA réels et les données qui les sous-tendent.

Sécurité et confidentialité des données IA

La sécurité et la confidentialité de l'IA se chevauchent de plus en plus car les systèmes d'IA peuvent traiter de grands volumes d'informations personnelles et réglementées.

Les organisations doivent comprendre :

• Quelles données personnelles l'IA utilise-t-elle ?
• L'objectif de cette utilisation
• D'où proviennent les données
• Les équipes ont-elles besoin de toutes ces informations ?
• Combien de temps l'organisation le conserve-t-elle ?
• Qui ou quoi peut y accéder
• Qu'il se déplace d'une juridiction à l'autre
• Quels tiers le reçoivent

Évaluations d'impact sur la vie privée et l'IA peut aider les organisations à évaluer les cas d'utilisation de l'IA et à documenter les risques associés en matière de confidentialité et de données.

Des mécanismes de contrôle tels que la minimisation, la suppression, la gouvernance des accès, le masquage, l'application des politiques et la conservation peuvent réduire l'exposition inutile tout en permettant la poursuite de l'utilisation approuvée de l'IA.

Sécurité des données en matière d'IA et loi européenne sur l'IA

La sécurité de l'IA s'inscrit désormais dans un ensemble croissant d'exigences en matière de gouvernance et de réglementation de l'IA.

Le Loi européenne sur l'IA établit des obligations fondées sur les risques liés à l'IA et crée des exigences de gouvernance pour les organisations qui développent ou déploient des systèmes d'IA concernés.

Les organisations devront peut-être également prendre en compte les lois sur la protection de la vie privée telles que le RGPD et les lois étatiques américaines applicables en matière de protection de la vie privée lorsque l'IA traite des informations personnelles.

L’exigence pratique en matière de sécurité reste la même : les organisations doivent fournir des preuves démontrant quels systèmes d’IA existent, quelles données ils utilisent, qui en sont les propriétaires, quels risques et politiques s’appliquent et quels contrôles l’organisation a mis en œuvre.

Liste de contrôle des meilleures pratiques en matière de sécurité des données d'IA

Comment BigID aborde la sécurité des données d'IA

BigID aborde la sécurité de l'IA en partant des données.

La plupart des entreprises ne partent pas de zéro pour construire leurs modèles d'infrastructure. Elles adoptent des solutions d'IA commerciales, des copilotes, des architectures RAG, des bases de données vectorielles, des applications d'IA et des agents qui se connectent directement aux données de l'entreprise.

Cela rend la relation entre données, identité, accès et IA élément central de la sécurité de l'IA en entreprise.

BigID aide les organisations :

• Découvrez les ressources en IA : Identifier les modèles, les agents, les copilotes, les invites, les ensembles de données, les magasins de vecteurs, les pipelines, l'IA tierce et l'IA fantôme.
• Découvrir et classer les données d'IA : Identifier les données sensibles, réglementées, confidentielles, exclusives, personnelles et autres données de grande valeur utilisées par l'IA ou accessibles à celle-ci.
• Traçabilité des données de l'IA cartographique : Suivre les données tout au long des processus d'entraînement, de réglage, de récupération, d'incitation, d'inférence et des flux de travail en aval.
• Accès à l'IA de gouvernance : Relier les systèmes d'IA, les agents, les identités, les autorisations et les voies d'accès aux données sensibles qui les sous-tendent.
• Protéger les invites et les réponses : Identifier les données sensibles dans les interactions avec l'IA et appliquer des politiques visant à réduire les expositions inappropriées.
• Sécuriser les pipelines d'IA : Découvrir, classer, organiser et gouverner les données utilisées pour l'entraînement, le réglage, la récupération et l'inférence de l'IA.
• Ajouter le contexte de l'activité : Comprendre comment les données sensibles sont consultées et utilisées.
• Évaluer les risques liés à l'IA : Hiérarchiser les risques en fonction de la sensibilité des données, de l'accès, de l'utilisation, de la provenance, de la propriété, de l'exposition, des politiques et du contexte commercial.
• Remise en état du lecteur : Attribuer la responsabilité, orchestrer les flux de travail, appliquer les politiques et suivre les actions correctives.
• Opérationnaliser l'IA TRiSM : Connecter la confiance, les risques, la sécurité, la gouvernance, les politiques et les preuves d'audit de l'IA tout au long de son cycle de vie.

Il en résulte une sécurité de l'IA fondée sur les données que l'IA utilise réellement, les identités qui peuvent y accéder et les actions nécessaires pour réduire les risques significatifs.

FAQ sur la sécurité des données de l'IA

Qu’est-ce que la sécurité des données en IA ?

La sécurité des données d'IA consiste à protéger les informations sensibles, réglementées, confidentielles, exclusives et critiques pour l'entreprise utilisées par les systèmes d'IA tout au long des phases d'entraînement, de réglage, de récupération, d'incitation, d'inférence, d'agents, d'applications et de flux de travail en aval.

Pourquoi la sécurité des données de l'IA est-elle importante ?

Les systèmes d'IA peuvent accéder à de vastes quantités de données d'entreprise et les traiter via des modèles, des copilotes, des systèmes RAG, des bases de données vectorielles, des API, des applications et des agents. La sécurité des données d'IA aide les organisations à identifier les points d'entrée des données sensibles dans ces systèmes, les personnes ou les entités pouvant y accéder et les risques liés à leur utilisation.

Quels sont les principaux risques liés à la sécurité des données en IA ?

Les principaux risques comprennent l'exposition de données sensibles, l'IA fantôme, l'accès excessif à l'IA, les fuites de données rapides et de réponses, les stockages RAG et vectoriels non sécurisés, l'empoisonnement des données, l'injection rapide, la divulgation d'informations sensibles, la mauvaise utilisation des agents et la traçabilité incomplète des données d'IA.

En quoi la sécurité des données IA diffère-t-elle de la sécurité des données traditionnelle ?

La sécurité des données traditionnelle protège les informations d'entreprise à travers les référentiels, les applications, les identités et les mouvements de données. La sécurité des données IA étend ces contrôles aux modèles, agents, copilotes, invites, bases de données vectorielles, systèmes RAG, pipelines d'IA et actions autonomes impliquant les données d'entreprise.

Comment les organisations peuvent-elles sécuriser les données utilisées par l'IA ?

Les organisations peuvent découvrir les actifs d'IA et l'IA fantôme, classifier les données sensibles, cartographier la lignée des données d'IA, gérer les identités et les autorisations, protéger les invites et les réponses, sécuriser les pipelines d'IA, surveiller l'activité, appliquer les politiques, hiérarchiser les risques et remédier à une exposition inappropriée.

Qu'est-ce que l'IA fantôme ?

L'IA fantôme désigne les outils, modèles, agents, applications ou flux de travail d'IA fonctionnant en dehors des processus de sécurité et de gouvernance approuvés. L'IA fantôme peut engendrer des risques pour les données lorsque des employés ou des applications exposent des informations sensibles de l'entreprise à l'IA sans visibilité ni contrôles appropriés.

Comment le RAG crée-t-il un risque pour la sécurité des données ?

La génération augmentée par la récupération de données connecte l'IA générative à des sources de données externes. Si les autorisations de récupération ou les contrôles des données sont trop permissifs, une application d'IA risque de récupérer des informations sensibles que l'utilisateur ou le système demandeur ne devrait pas recevoir.

Comment les agents d'IA modifient-ils la sécurité des données ?

Les agents d'IA peuvent extraire des informations, interroger des API, utiliser des applications, exécuter des flux de travail et entreprendre des actions grâce à des autorisations humaines ou machine. Les organisations doivent donc comprendre l'identité de ces agents, leurs droits d'accès effectifs, les risques d'exposition de données sensibles, leurs activités et leurs finalités.

Qu'est-ce que l'IA TRiSM ?

La gestion de la confiance, des risques et de la sécurité liés à l'IA centralise la gouvernance, la sécurité, la gestion des risques, la confiance, les politiques et les contrôles opérationnels tout au long du cycle de vie de l'IA. Elle aide les organisations à passer d'une simple visibilité de l'IA à un contrôle et à une traçabilité continus.

Comment BigID prend-il en charge la sécurité des données d'IA ?

BigID découvre les actifs d'IA et l'IA fantôme, identifie et classe les données d'IA sensibles, cartographie la lignée, relie les identités et les autorisations d'IA aux données, fournit un contexte d'activité, identifie les risques liés à l'IA, applique les politiques, coordonne la remédiation et prend en charge les preuves prêtes pour l'audit à travers les modèles, les agents, les copilotes, les invites, les ensembles de données, les magasins de vecteurs et les pipelines.