KI-Agenten schaffen Wert, weil sie auf Daten zugreifen und darauf reagieren können.
Sie können Kundendatensätze abrufen, Unternehmensdokumente durchsuchen, Datenbanken abfragen, APIs aufrufen, Nachrichten senden, Anwendungen aktualisieren, Dateien erstellen, Workflows auslösen und mit anderen Agenten interagieren.
Diese Fähigkeiten schaffen auch einen direkten Weg für sensible Daten die beabsichtigte Grenze zu verlassen.
Ein Agent muss nicht immer eine Sicherheitskontrolle umgehen, um diese Gefährdung herzustellen.
Es könnte bereits über legitimen Zugriff verfügen.
Das Problem beginnt, wenn dieser Zugriff mit einem unsicheren Ziel, einer unangemessenen Handlung, einer kompromittierten Anweisung, einer übermäßigen Berechtigung oder einem Geschäftszweck einhergeht, der nicht mehr mit den aktuellen Tätigkeiten des Agenten übereinstimmt.
Das ist das Kernproblem dahinter Datenexfiltration von KI-Agenten.
Datenexfiltration durch KI-Agenten tritt auf, wenn ein autonomes oder halbautonomes KI-System überträgt, legt offen, sendet, offenbart oder stellt auf andere Weise sensible Daten außerhalb ihres autorisierten Ziels, Benutzers, Arbeitsablaufs oder Geschäftszwecks zur Verfügung.
Die Daten können über eine Antwort ausgegeben werden.
Es kann über einen API-Aufruf ausgegeben werden.
Es kann in einer E-Mail, einer Slack-Nachricht, einem Ticket, einer Datei, einem Protokoll, einer Browseranfrage, einem KI-Dienst eines Drittanbieters, einem anderen Agenten oder einer externen Anwendung erscheinen.
Und weil KI-Agenten mehrere einzeln legitime Aktionen miteinander verknüpfen können, ähnelt der Abflussweg möglicherweise überhaupt nicht einem herkömmlichen Datenleck.
Datenexfiltration durch KI-Agenten: Wichtigste Erkenntnisse
- KI-Agenten müssen keine Zugriffskontrollen umgehen, um Daten durchsickern zu lassen. Legitimer Zugriff in Kombination mit einem nicht autorisierten Ziel kann zu Datenexfiltration führen.
- Datenexfiltration ist etwas anderes als unberechtigter Zugriff. Der Zugriff bestimmt, worauf ein Agent zugreifen kann. Die Exfiltration beschreibt, wohin sensible Informationen anschließend gelangen.
- Jeder Agentenausgangspfad kann zu einem Ausgangspfad werden. Antworten, APIs, Nachrichten, Dateien, Speicher, Protokolle, Tool-Aufrufe, Browser-Anfragen und die Kommunikation zwischen Agenten können alle sensible Informationen übertragen.
- Eine sofortige Injektion kann eine Exfiltration auslösen. Bösartige Anweisungen können einen Agenten dazu verleiten, autorisierte Daten abzurufen und an ein vom Angreifer kontrolliertes Ziel zu senden.
- Das Prinzip der minimalen Berechtigungen begrenzt den Wirkungsradius. Ein Agent kann keine sensiblen Informationen exfiltrieren, zu denen er gar keinen Zugriff hat.
- BigID verbindet KI-Zugriff mit den Daten und den Bewegungen hinter dem Risiko. BigID hilft Organisationen dabei, sensible Daten zu erkennen, den Zugriff auf KI-Systeme zu steuern, Aktivitäten zu überwachen, Eingabeaufforderungen und Antworten zu schützen, Richtlinien anzuwenden und Korrekturmaßnahmen einzuleiten.
Was ist die Datenexfiltration durch KI-Agenten?
Unter Datenexfiltration durch KI-Agenten versteht man die unbefugte Übertragung oder Offenlegung sensibler Informationen über Ausgaben, Tools, Anwendungen, APIs, Netzwerkanfragen, Dateien, Nachrichten, Speicher oder nachgelagerte Arbeitsabläufe eines KI-Agenten.
Der Agent kann Daten absichtlich offenlegen, weil ein Angreifer diese manipuliert hat.
Es kann versehentlich Daten offenlegen, weil seine Anweisungen, Berechtigungen, Tools oder Zielsteuerungen zu weit gefasst sind.
Oder es funktioniert genau wie geplant, während die Governance des Unternehmens in Bezug auf diesen Arbeitsablauf unzureichend bleibt.
Zu den sensiblen Daten können gehören:
- Persönlich identifizierbare Informationen (PII)
- Geschützte Gesundheitsinformationen (PHI)
- Zahlungsinformationen
- Zugangsdaten und Geheimnisse
- API-Schlüssel und Tokens
- Finanzunterlagen
- Quellcode
- Geistiges Eigentum
- Kunden- und Mitarbeiterdatensätze
- Rechtsdokumente
- Vertrauliche Mitteilungen
- Andere regulierte oder geschäftskritische Informationen
Die entscheidende Frage lautet nicht einfach:
“Konnte der Agent die Daten lesen?”
Es ist:
“Sind die Daten an einen anderen Ort gelangt oder für jemanden sichtbar geworden, der nicht dem genehmigten Zweck oder Bereich zugeordnet ist?”
Schützen Sie die Daten hinter KI-Agenten
Erkennen Sie die Reichweite der KI, bevor sie zu einem Datenabfluss wird.
Verknüpfen Sie Agenten, Copiloten, Maschinenidentitäten, sensible Daten, Berechtigungen, Eingabeaufforderungen, Aktivitäten, Ziele und Richtlinien, um festzustellen, wo KI-gesteuerter Zugriff ein Risiko darstellt.
KI-Datenexfiltration vs. Datenleck vs. übermäßiger Zugriff
Diese Konzepte überschneiden sich zwar, Sicherheitsteams sollten sie aber nicht als austauschbar betrachten.
| Risiko | Was es bedeutet | Beispiel |
|---|---|---|
| Unbefugter Zugriff | Der Agent greift auf Daten zu, zu denen er niemals hätte Zugang erhalten dürfen. | Eine Personalassistentin beschafft sich Vergütungsunterlagen von Führungskräften außerhalb ihres Aufgabenbereichs. |
| Übermäßiger Zugriff | Der Agent verfügt über gültige Berechtigungen, jedoch über mehr, als für seine genehmigte Aufgabe erforderlich sind. | Ein Supportmitarbeiter kann jedes Kundenkonto abfragen, benötigt dazu aber nur zugewiesene Fälle. |
| Datenmissbrauch | Der Agent verwendet autorisierte Daten für einen unzulässigen oder nicht genehmigten Zweck. | Ein Agent nutzt Unterstützungsnachweise, um eine fachfremde Stellenempfehlung auszusprechen. |
| Datenleck | Sensible Informationen werden unbeabsichtigt offengelegt. | Ein Chatbot fügt die Kontonummer eines Kunden in eine Antwort ein, die dem falschen Benutzer angezeigt wird. |
| Datenexfiltration | Sensible Informationen gelangen an einen nicht autorisierten Akteur, ein nicht autorisiertes Ziel, ein nicht autorisiertes System oder eine nicht autorisierte Vertrauensgrenze. | Ein manipulierter Agent sendet abgerufene Kundendaten an einen externen Webhook. |
Ein KI-Agent kann legitimen Zugriff haben und dennoch zu einem Einfallstor für Datenexfiltration werden.
Diese Unterscheidung macht datenorientierte Governance unerlässlich.
Der Exfiltrationspfad des KI-Agenten
Exfiltrationspfad des KI-Agenten
Die Datenexfiltration beginnt, wenn autorisierter Zugriff auf ein nicht autorisiertes Ziel trifft.
Sensible Quelle
PII, Geheimnisse, geistiges Eigentum, Finanzdaten oder regulierte Daten
KI-Identität
Der Agent erhält eine rechtmäßige oder übermäßige Genehmigung
Anweisung
Benutzeraufgabe, Eingabeaufforderung, Workflow oder Agentenentscheidung
Agentenausgabe
API, Nachricht, Antwort, Datei, URL, Speicher oder Werkzeug
Unsicheres Reiseziel
Externer Akteur, Dritter, unbefugter Benutzer oder System
Der Agent hat möglicherweise die Berechtigung, die Daten zu lesen. Das bedeutet jedoch nicht, dass er die Berechtigung hat, die Daten überallhin zu senden, wo er kommunizieren kann.
Wie können KI-Agenten Daten exfiltrieren?
KI-Agenten schaffen mehr potenzielle Ausstiegsmöglichkeiten als herkömmliche dialogbasierte KI, da sie mit externen Systemen und Tools interagieren können.
Gängige Wege sind:
1. Leckage der KI-Reaktion
Ein Agent beschafft sich sensible Informationen und fügt diese einer Antwort bei, die einem nicht autorisierten Benutzer angezeigt wird.
Dies kann durch eine schwache Abrufberechtigung geschehen., übermäßige Agentenberechtigungen, falscher Benutzerkontext oder ungeeignete Ausgabegenerierung.
2. Schnelle Einspeisung in externes Ziel
Ein Angreifer platziert bösartige Anweisungen in Inhalten, die der Agent liest.
Der Agent befolgt diese Anweisungen, ruft sensible Daten ab, auf die er rechtmäßig Zugriff hat, und sendet die Informationen über eine URL, eine API-Anfrage, ein Formular, eine Nachricht oder ein anderes Tool.
Die Richtlinien von OpenAI zur Agentensicherheit identifizieren explizit sofortige Injektion als ein Pfad, der dazu führen kann, dass Agenten Daten von verbundenen Anwendungen oder angemeldeten Diensten preisgeben.
3. API-basierte Datenexfiltration
Ein Agent ruft sensible Daten aus einem System ab und übermittelt sie an eine externe API.
Einzeln betrachtet mögen beide Vorgänge legitim erscheinen:
Kundendatensatz lesen → API aufrufen
Das Sicherheitsproblem tritt erst dann auf, wenn Teams Daten, Ziel, Zweck und Arbeitsablauf gemeinsam bewerten.
4. SaaS- und Kollaborationstools
Agenten können sensible Informationen über folgende Wege übermitteln:
- Locker
- Microsoft Teams
- Ticketsysteme
- CRM-Datensätze
- Gemeinsame Dokumente
- Wissensdatenbanken
Das Ziel kann zwar innerhalb des Unternehmens liegen, aber dennoch die autorisierte Zielgruppe überschreiten.
5. KI-Dienste von Drittanbietern
Ein Unternehmensagent kann Daten an ein externes Modell, Plugin, eine SaaS-Plattform, eine API oder einen KI-Dienst senden.
Teams müssen Folgendes verstehen:
- Welche Daten verlassen das Unternehmen?
- Welcher Dienst empfängt es?
- Warum die Übertragung stattfindet
- Welche vertraglichen und politischen Kontrollmechanismen gelten
- Ob der Anbieter es behält oder wiederverwendet
6. Belichtung nach Ampelsystem
Ein RAG-fähiger Agent kann sensible Inhalte aus Unternehmensquellen abrufen und in Eingabeaufforderungen, Antworten oder nachgelagerte Arbeitsabläufe einfügen.
Der Abruf war möglicherweise technisch erfolgreich, verletzte aber die vom Benutzer beabsichtigte Autorisierungsgrenze.
RAG-Sicherheit Daher muss die semantische Suche mit Identitäts- und Zugriffskontrollen verknüpft werden.
7. Exfiltration von Agent zu Agent
Ein Agent kann sensible Informationen an einen anderen Agenten weitergeben.
Der Empfangsbeauftragte kann sich in einem anderen Gebäude befinden:
- Anwendung
- Verkäufer
- Wolke
- Vertrauensdomäne
- Berechtigungsmodell
Agent-zu-Agent-Sicherheit wird deshalb kritisch, weil delegierte Aufgaben unbemerkt sowohl Autorität als auch sensible Kontexte über Grenzen hinweg verschieben können.
8. Speicher und persistenter Kontext
Ein Agent könnte sensible Inhalte in Folgendes eingeben:
- Langzeitgedächtnis
- Gesprächsverlauf
- Agentenstaat
- Protokolle
- Cache
- Gemeinsamer Kontext
Dies kann zu einer verzögerten Offenlegung führen, wenn ein anderer Benutzer, Workflow, Agent oder Administrator die gespeicherten Daten später abruft.
Die aktuellen Sicherheitsrichtlinien von AWS für Agenten weisen darauf hin, dass Benutzerantworten nicht der einzige Kanal für Datenexfiltration sind. Auch Nachrichten zwischen Agenten, Speicherschreibvorgänge und Audit-Logs können personenbezogene Daten, Anmeldeinformationen und andere sensible Inhalte offenlegen.
9. URL- und Netzwerk-Exfiltration
Ein Agent kann sensible Informationen in einer URL, einem Abfrageparameter, einem Anfragetext, einem Datei-Upload oder einem ausgehenden Netzwerkaufruf kodieren.
OpenAI beschränkt nun in einigen Hochsicherheitskonfigurationen gezielt die ausgehende Konnektivität, um die durch Prompt-Injection ausgelöste Datenexfiltration zu reduzieren.
Datenexfiltration durch KI-Agenten ist nicht immer ein Angriff
Das Wort Exfiltration deutet oft auf einen böswilligen Angreifer hin.
KI verändert diese Annahme.
Ein Agent kann sensible Informationen aus folgenden Gründen über ihren vorgesehenen Bereich hinaus verschieben:
- Sofortige Injektion
- Kompromittierte Anmeldeinformationen
- Übermäßige Berechtigungen
- Falsche Richtlinie
- Schlecht dimensionierte Werkzeuge
- Unsichere Automatisierung
- Falsch konfiguriertes RAG
- Unangemessene Geschäftslogik
- Agentenfehler
- Unbeabsichtigte Weitergabe an Dritte
- zu weit gefasster Kontext
Das Ergebnis kann dennoch die gleichen Auswirkungen auf Sicherheit und Compliance haben.
Sicherheitsteams sollten nicht nur böswillige Absichten, sondern auch unautorisierte Datenbewegungen bewerten.
Warum legitimer KI-Zugriff ein neues DLP-Problem schafft
Traditionelle DLP-Lösungen konzentrieren sich oft auf erkennbare Bewegungskanäle wie E-Mail, Endgeräte, Dateiübertragungen, Uploads und SaaS-Anwendungen.
KI-Agenten können eine komplexere Kette erzeugen:
Autorisierter Datenzugriff → KI-gestützte Schlussfolgerungen → Werkzeugauswahl → Datentransformation → Externe Maßnahmen
Der Agent kann:
- Vertrauliche Informationen sollten zusammengefasst und nicht wortwörtlich kopiert werden.
- Strukturierte Daten in natürliche Sprache umwandeln
- Kombinieren Sie mehrere Quellen, bevor Sie eine Ausgabe senden.
- Informationen werden über eine API anstatt über eine Datei übertragen.
- Nur ausgewählte sensible Felder senden
- Informationen an einen anderen KI-Agenten weitergeben
Das macht es schwieriger, die Daten mit rein kanalbezogenen Kontrollmechanismen zu schützen.
DLP in der Wolke wird effektiver, wenn Sicherheitsteams Bewegungen mit dem Kontext sensibler Daten, Identität, Zugriff, Eigentum, Aktivität, Richtlinien und KI-Kontext kombinieren können.
Schnelle Injektion und Datenexfiltration stellen unterschiedliche Risiken dar.
Eine sofortige Injektion kann zu Datenexfiltration führen, die Begriffe sollten jedoch nicht synonym verwendet werden.
Sofortige Injektion beschreibt, wie bösartige Anweisungen versuchen, das Verhalten von KI zu manipulieren.
Datenexfiltration beschreibt die Übermittlung oder Weitergabe sensibler Informationen an einen nicht autorisierten Empfänger.
Die Angriffskette könnte wie folgt aussehen:
Schaddokument → Prompt-Injection → Agentenmanipulation → Abruf sensibler Daten → Externes Tool → Datenexfiltration
Eine Exfiltration kann jedoch auch ohne sofortige Injektion erfolgen.
Ein Agent mit schlecht abgestimmter Automatisierung sendet möglicherweise Informationen an den falschen Ort.
Ebenso kann eine sofortige Dateneinspeisung erfolgreich sein, ohne dass es zu Datenverlusten kommt.
Diese Unterscheidung ist wichtig, da die Verhinderung einer sofortigen Dateneinschleusung allein das Risiko der Datenexfiltration nicht beseitigt.
Was bestimmt das Risiko der Datenexfiltration durch KI-Agenten?
Risiko für datenbewusste Agenten
Das Risiko der Datenexfiltration hängt davon ab, was der Agent lesen und wohin er es senden kann.
Empfindlichkeit
Wie sensibel sind die zugänglichen Daten?
Zugang
Wie viele Informationen kann der Agent abrufen?
Ausgang
Welche externen Kanäle kann es nutzen?
Autonomie
Kann es Daten ohne Genehmigung senden?
Ziel
Wer oder was erhält die Informationen?
Hochwertige Daten + breiter Zugriff + uneingeschränkter Datenabfluss + autonomes Handeln schaffen das höchste Risiko der Datenexfiltration.
Dies ist keine mathematische Formel.
Es handelt sich um ein Priorisierungsmodell, das Sicherheitsteams dabei hilft, einen Assistenten mit Zugriff auf öffentliche Dokumente von einem Agenten zu unterscheiden, der Kundendatensätze abrufen und beliebige externe Anfragen senden kann.
Wie KI-Identitäten das Risiko der Datenexfiltration beeinflussen
KI-Agenten agieren selten über eine einzige, einfache Identität.
Sie können über folgende Wege auf Unternehmensressourcen zugreifen:
- Servicekonten
- Anwendungsidentitäten
- API-Tokens
- OAuth-Berechtigungen
- Cloud-Rollen
- Maschinenidentitäten
- Delegierter Benutzerzugriff
- Andere KI-Agenten
Das kann die Untersuchung von Datenexfiltrationen erschweren.
Im Sicherheitsprotokoll kann ersichtlich sein, dass ein Dienstkonto Daten heruntergeladen hat.
Die Teams müssen aber trotzdem Folgendes wissen:
- Welcher KI-Agent hat die Anfrage initiiert?
- Welcher Benutzer oder Workflow hat den Agenten ausgelöst?
- Warum wurden die Daten abgerufen?
- Auf welche sensiblen Informationen wurde zugegriffen?
- An welchen Bestimmungsort wurde es empfangen?
- Entsprach das Reiseziel dem genehmigten Zweck?
AI Access Governance hilft dabei, KI-Identitäten und maschinengesteuerte Berechtigungen mit den sensiblen Daten hinter diesem Zugriff zu verknüpfen.
Wie man den Datenabfluss von KI-Agenten verhindert
Keine einzelne Kontrollmaßnahme kann den durch Agenten verursachten Datenverlust vollständig verhindern.
Organisationen benötigen mehrschichtige Kontrollmechanismen für Daten, Zugriff, Identität, Tools, Ergebnisse, Bewegung und Laufzeitverhalten.
1. Sensible Daten erkennen, bevor Agenten darauf zugreifen
Beginnen Sie mit einer genauen Bestandsaufnahme sensibler und geschäftskritischer Informationen.
Datenermittlung und -klassifizierung Teams dabei unterstützen, zu identifizieren, auf welche personenbezogenen Daten (PII), Gesundheitsdaten (PHI), Zugangsdaten, Geheimnisse, Finanzunterlagen, Quellcodes, geistigen Eigentumsrechte und andere sensible Informationen KI-Systeme zugreifen können.
2. KI-Agenten das Prinzip der minimalen Berechtigungen zuweisen
Beschränken Sie die Zugriffsrechte der Agenten auf das für ihren Geschäftszweck erforderliche Minimum an Daten und Berechtigungen.
Ein Agent kann keine Daten exfiltrieren, auf die er keinen Zugriff hat.
Minimale Privilegien für KI-Agenten sollte direkte, vererbte, delegierte, Anwendungs-, API-, Dienstkonto- und Maschinenidentitätsberechtigungen berücksichtigen.
3. Leseberechtigung von Sendeberechtigung trennen.
Die Erlaubnis zum Abrufen sensibler Informationen sollte nicht automatisch die Erlaubnis zur externen Weitergabe dieser Informationen beinhalten.
Behandeln:
- Lesen Sie
- Export
- Schicken
- Hochladen
- Veröffentlichen
- Schreiben
als separate Behörden.
4. Agentenausgang einschränken
Beschränken Sie, welche Ziele, Domänen, APIs, Tools und externen Dienste ein Agent kontaktieren darf.
Eine standardmäßige Verweigerung oder ein eng begrenzter ausgehender Zugriff kann die Anzahl der für die Datenexfiltration verfügbaren Ziele reduzieren.
Sowohl OpenAI als auch NVIDIA haben die Kontrolle ausgehender Netzwerkverbindungen als wichtige Ebene zur Reduzierung des agentenbasierten Datenabflusses hervorgehoben.
5. Eingabeaufforderungen und Antworten schützen
Sensible Informationen können über dialogbasierte Arbeitsabläufe in KI gelangen oder diese verlassen.
KI-gestützter Sofortschutz Hilft dabei, sensible Werte in Eingabeaufforderungen und Antworten zu identifizieren, Richtlinien anzuwenden, riskante Informationen zu schwärzen, Verstöße zu überwachen und Beweismaterial für Ermittlungen zu erstellen.
6. Überprüfen Sie jeden Ausgabepfad
Schützen Sie nicht nur die dem Benutzer angezeigte Endantwort.
Agentenausgaben können auch Folgendes enthalten:
- APIs
- Dateien
- Nachrichten
- Protokolle
- Erinnerung
- Andere Agenten
- Anwendungen
- Netzwerkanfragen
AWS empfiehlt ausdrücklich, die Kontrollen für sensible Informationen einheitlich auf alle Agentenausgaben anzuwenden und nicht nur auf die Antworten, die dem Benutzer angezeigt werden.
7. Autorisierung im Ampelsystem beibehalten
RAG sollte nicht dafür sorgen, dass alle indizierten Inhalte universell auffindbar sind.
Die Identität und die Zugriffskontrollen müssen so gewahrt werden, dass Benutzer und KI-Systeme nur die Informationen erhalten, die ihr legitimer Zweck erlaubt.
8. Minimierung des Interagentenkontexts
Wenn ein Agent eine Aufgabe an einen anderen delegiert, senden Sie nur die für diese Aufgabe erforderlichen Daten.
Leiten Sie nicht automatisch ganze Gesprächsverläufe, Kundendatensätze, abgerufene Dokumente, Anmeldeinformationen oder sensible Speicherdaten weiter.
9. Genehmigungspflicht für risikoreiche Überweisungen
Eine menschliche Bestätigung kann in folgenden Fällen sinnvoll sein:
- Versenden sensibler Daten nach außen
- Dateien hochladen
- Übermittlung von Datensätzen an ein Drittsystem
- Veröffentlichungsinformationen
- Weitergabe regulierter Daten
10. Überwachung sensibler Datenaktivitäten
Berechtigungen zeigen an, worauf ein Agent zugreifen kann.
Die Aktivitätsanzeige zeigt, worauf tatsächlich zugegriffen und was verschoben wurde.
Überwachung der Datenaktivität Fügt Kontextinformationen zu Zugriff, Downloads, Weitergabe, Verschiebung, Änderungen und anderen Verhaltensweisen im Zusammenhang mit sensiblen Informationen hinzu.
11. Datenbasierte DLP anwenden
DLP-Steuerelemente werden nützlicher, wenn sie Folgendes verstehen:
- Was die Daten enthalten
- Wer oder was hat darauf zugegriffen?
- Wohin es sich bewegt
- Welche Richtlinie gilt?
- Ob das Reiseziel angemessen ist
BigID Cloud DLP hilft dabei, sensible Dateninformationen mit Bewegungs-, Zugriffs-, Eigentums-, Aktivitäts- und politischen Kontexten zu verknüpfen.
12. Schnelle Lösungswege entwickeln
Wenn Teams riskante KI-Datenbewegungen feststellen, müssen sie möglicherweise Folgendes tun:
- Agentenzugriff widerrufen
- Ein Werkzeug deaktivieren
- Blockieren Sie ein Ziel
- Überflüssige Berechtigungen entfernen
- Sensible Daten schwärzen
- Quarantänedateien
- Agenten deaktivieren
- Anmeldeinformationen rotieren
- Eine Richtlinie ändern
- Untersuchen Sie die betroffenen Datensätze
Sanierungsabläufe helfen, Erkenntnisse in nachvollziehbare Korrekturmaßnahmen umzusetzen.
Kontrollieren Sie, was die KI erreichen und wohin sie gehen kann.
Verringern Sie den Wirkungsradius sensibler Daten hinter autonomen Agenten
Verknüpfen Sie Agenten, Maschinenidentitäten, Berechtigungen, sensible Daten, Aktivitäten und Ziele, um übermäßigen Zugriff zu erkennen und unsichere Datenbewegungen zu reduzieren.
Was Sicherheitsteams oft bei der KI-Datenexfiltration übersehen
Genehmigter Zugriff kann dennoch zu unautorisierten Bewegungen führen.
Ein Beauftragter kann über alle erforderlichen Berechtigungen verfügen, um sensible Daten abzurufen.
Die Gefährdung erfolgt später, wenn der Agent die Nachricht an ein ungeeignetes Ziel sendet.
Das Ziel ist genauso wichtig wie der Ausgangspunkt.
Sicherheitsteams fragen sich oft, welche Daten ein Agent lesen kann.
Sie sollten auch fragen:
Wohin kann der Agent es senden?
Transformation beseitigt nicht die Sensibilität
Ein Beauftragter kann sensible Informationen zusammenfassen, übersetzen, umstrukturieren, aggregieren oder daraus Rückschlüsse ziehen, bevor er sie an Dritte weiterleitet.
Die Ausgabe stimmt möglicherweise nicht mehr mit dem Originaldatensatz überein, gibt aber dennoch geschützte Informationen preis.
Interne Bewegung kann dennoch eine Exfiltration sein.
Daten müssen das Unternehmen nicht verlassen, um eine unbefugte Grenze zu überschreiten.
Auch wenn sensible Personalakten dem falschen internen Benutzer, der falschen Geschäftseinheit, dem falschen Beauftragten oder der falschen Anwendung zugänglich gemacht werden, kann dies ein erhebliches Risiko darstellen.
Agentenketten verbergen das endgültige Ziel
Agent A kann die Daten abrufen.
Agent B kann es zusammenfassen.
Agent C könnte es senden.
Sicherheitsteams benötigen Transparenz über die gesamte Kette hinweg und nicht nur über die Identität, die mit der letzten Aktion verbunden ist.
Protokollierung ohne Datenkontext erzeugt Rauschen
Die Tatsache, dass ein API-Aufruf stattgefunden hat, sagt den Teams nichts darüber aus, ob dabei eine öffentliche Produktbeschreibung oder Tausende von Kundendatensätzen übermittelt wurden.
Die Erkennung von Datenexfiltration wird wesentlich nützlicher, wenn die Aktivitäten einen Kontext sensibler Daten beinhalten.
Checkliste zur Vorbereitung auf Datenexfiltration durch KI-Agenten
Bereitschaft des Agenten zur Datenexfiltration
Kann Ihr Sicherheitsteam diese Fragen beantworten?
✓ Welche KI-Agenten, Copiloten, Assistenten und autonomen Arbeitsabläufe gibt es?
✓ Auf welche sensiblen Daten kann jedes KI-System zugreifen?
✓ Welche Identitäten und Berechtigungen ermöglichen diesen Zugriff?
✓ Welche Agenten verfügen über übermäßige Berechtigungen?
✓ Welche Outbound-Tools und -Ziele kann jeder Agent nutzen?
✓ Können Agenten Informationen per E-Mail, APIs, Dateien, URLs, Messenger oder Anwendungen von Drittanbietern senden?
✓ Können sensible Daten in Eingabeaufforderungen gelangen oder in Antworten erscheinen?
✓ Erhalten RAG-Systeme die Autorisierung beim Abruf aufrecht?
✓ Kann ein Agent sensible Daten an einen anderen Agenten weitergeben?
✓ Können im Agentenspeicher oder in den Protokollen sensible Informationen gespeichert werden?
✓ Unterscheiden wir zwischen Leseberechtigung und Sende- bzw. Exportberechtigung?
✓ Können wir die Bewegung sensibler Daten durch KI-Identitäten überwachen?
✓ Können wir feststellen, welches Ziel sensible Informationen erhalten hat?
✓ Können wir den Agentenzugriff schnell widerrufen oder ein Ziel sperren?
✓ Können wir den gesamten Datenzugriffs- und Exfiltrationspfad nach einem Vorfall rekonstruieren?
Wie BigID dazu beiträgt, das Risiko des Datenabflusses durch KI-Agenten zu reduzieren
BigID geht bei der Datenexfiltration von KI-Agenten vom Daten-nach-außen-Prinzip aus.
Sicherheitsteams können das Risiko der Datenexfiltration nicht allein durch die Betrachtung des Agenten beurteilen.
Sie müssen es wissen Auf welche sensiblen Daten der Agent zugreifen kann, welche Identitäten und Berechtigungen diesen Zugriff ermöglichen, wohin die Daten übertragen werden, welches Ziel sie empfängt, welche Richtlinien gelten und wie Teams das Risiko minimieren können, wenn es auftritt.
BigID unterstützt Organisationen:
- Sensible KI-Daten entdecken und klassifizieren: Identifizieren Sie PII, PHI, PCI, Anmeldeinformationen, Geheimnisse, geistiges Eigentum, Finanzinformationen, vertrauliche Aufzeichnungen und andere sensible Daten, die KI-Agenten zur Verfügung stehen.
- KI-Zugang steuern: Verknüpfen Sie Agenten, Copiloten, Anwendungen, Servicekonten, Maschinenidentitäten, APIs, Berechtigungen und sensible Daten, um festzustellen, wo der Zugriff über den legitimen Geschäftsbedarf hinausgeht.
- Überflüssige Berechtigungen reduzieren: Wenden Sie das Prinzip der datenbewussten minimalen Berechtigungen an, damit Agenten nicht auf mehr sensible Informationen zugreifen können, als ihr genehmigter Zweck erfordert.
- Eingabeaufforderungen und Antworten schützen: Sensible Werte in KI-Konversationen erkennen, riskante Informationen schwärzen, gezielte Richtlinien anwenden, Verstöße überwachen und Ermittlungen unterstützen.
- Überwachung der Aktivitäten mit sensiblen Daten: Verstehen Sie, wie sensible Informationen von Unternehmensidentitäten abgerufen, verschoben, weitergegeben, heruntergeladen, geändert oder gelöscht werden.
- Stärkung der Datenverlustprävention: Ergänzen Sie die Übertragung sensibler Daten in Cloud-, SaaS- und KI-Umgebungen um Klassifizierung, Identität, Zugriff, Eigentum, Aktivität und Risikokontext.
- KI-Systeme steuern: Verknüpfen Sie Agenten, Modelle, Eingabeaufforderungen, Daten, Herkunft, Eigentumsverhältnisse, Richtlinien, Zugriffsrechte, Risiken, Überwachung und Governance-Nachweise über den gesamten KI-Lebenszyklus hinweg.
- Laufwerksbereinigung: Zugriffe einschränken, Richtlinien durchsetzen, Zuständigkeiten zuweisen, Ergebnisse untersuchen und Korrekturmaßnahmen koordinieren, wenn es zu einer Offenlegung von KI-gesteuerten Daten kommt.
Die Datenexfiltration durch KI-Agenten ist nicht einfach ein Netzwerkproblem oder ein Problem der sofortigen Sicherheit. Es handelt sich um ein Problem, das Daten, Identität, Zugriff, Bewegung, Ziel und Richtlinien betrifft und den gesamten KI-Workflow im Kontext betrachten muss.
BigID hilft Teams dabei, diese Zusammenhänge zu erkennen, damit sie feststellen können, welche Agenten Zugriff auf sensible Daten haben, wohin diese Informationen fließen können und was behoben werden muss, bevor ein Agent zum Sicherheitsrisiko wird.
Die Punkte zwischen Daten und KI verbinden
Verhindern Sie, dass sensible Daten KI in unzulässige Bereiche folgen.
Erfahren Sie, wie BigID Teams dabei unterstützt, sensible KI-Daten aufzudecken, den Agentenzugriff zu steuern, Aktivitäten zu überwachen, KI-Konversationen zu schützen, DLP zu stärken und die Datenexposition im gesamten Unternehmen zu reduzieren.
Häufig gestellte Fragen zur KI-Agent-Datenexfiltration
Was ist die Datenexfiltration durch KI-Agenten?
Datenexfiltration durch KI-Agenten liegt vor, wenn ein autonomes oder halbautonomes KI-System sensible Daten an ein nicht autorisiertes Ziel, einen nicht autorisierten Benutzer, ein nicht autorisiertes System, eine nicht autorisierte Anwendung, einen nicht autorisierten Agenten oder einen nicht autorisierten Dritten überträgt, offenlegt, sendet oder zugänglich macht.
Wie können KI-Agenten Daten exfiltrieren?
KI-Agenten können Daten über generierte Antworten, APIs, externe Netzwerkanfragen, E-Mails, Messaging-Plattformen, Dateien, SaaS-Anwendungen, RAG-Workflows, Agent-zu-Agent-Kommunikation, Protokolle, Speicher, Tool-Aufrufe oder KI-Dienste von Drittanbietern offenlegen.
Benötigt ein KI-Agent unbefugten Zugriff, um Daten zu exfiltrieren?
Nein. Ein Beauftragter kann legitimen Zugriff auf sensible Daten haben und diese dennoch gefährden, indem er die Informationen an einen nicht autorisierten Empfänger weiterleitet oder sie außerhalb des genehmigten Geschäftszwecks verwendet.
Worin besteht der Unterschied zwischen Datenlecks und Datenexfiltration im Bereich KI?
Datenleck bezeichnet allgemein die unbeabsichtigte Offenlegung sensibler Informationen. Datenexfiltration hingegen beschreibt den Transfer sensibler Informationen an unbefugte Empfänger oder Akteure. Ein Ereignis kann beides umfassen.
In welchem Zusammenhang steht übermäßiger KI-Zugriff mit Datenexfiltration?
Zu viel Zugriff erhöht die Menge an sensiblen Informationen, auf die ein KI-Agent zugreifen kann. Wird der Agent kompromittiert, manipuliert oder falsch konfiguriert, können erweiterte Berechtigungen das Ausmaß und die Schwere potenzieller Datenexfiltration erhöhen.
Kann eine sofortige Injektion zur Exfiltration von KI-Daten führen?
Ja. Durch Prompt Injection kann ein KI-Agent dazu gebracht werden, Daten abzurufen, auf die er rechtmäßig zugreifen kann, und diese Informationen dann über ein Tool, eine API, eine URL, eine Nachricht, eine Antwort oder einen anderen externen Kanal zu senden oder offenzulegen.
Wie birgt RAG das Risiko der Datenexfiltration im KI-Bereich?
RAG verbindet KI-Systeme mit Unternehmensinformationen zum Zeitpunkt der Inferenz. Eine schwache Abrufberechtigung oder übermäßige RAG-Berechtigungen können sensible Daten durch KI-Antworten, Eingabeaufforderungen, nachgelagerte Aktionen oder externe Tools offenlegen.
Wie können KI-Agenten Daten durch andere Agenten exfiltrieren?
Ein Agent kann sensible Kontextinformationen, abgerufene Daten, Dateien, Zusammenfassungen oder strukturierte Nutzdaten an einen anderen Agenten senden. Befindet sich der empfangende Agent außerhalb des genehmigten Vertrauensbereichs oder verfügt er über andere Berechtigungen und Richtlinien, kann diese Übergabe ein Sicherheitsrisiko darstellen.
Wie können Organisationen den Datenabfluss von KI-Agenten verhindern?
Organisationen können das Risiko reduzieren, indem sie sensible Daten aufdecken, das Prinzip der minimalen Berechtigungen anwenden, Lese- und Sendeberechtigungen trennen, ausgehende Ziele einschränken, Eingabeaufforderungen und Antworten schützen, die RAG-Autorisierung beibehalten, den Kontext zwischen Agenten minimieren, Agentenausgaben überprüfen, die Datenaktivität überwachen, die DLP stärken und eine schnelle Behebung unterstützen.
Warum ist das Prinzip der minimalen Berechtigungen bei der Datenexfiltration durch KI-Systeme relevant?
Das Prinzip der minimalen Berechtigungen beschränkt die einem KI-Agenten zur Verfügung stehenden sensiblen Informationen. Wird ein Agent kompromittiert oder manipuliert, verringert ein eingeschränkter Zugriff die Menge der Daten, die er potenziell preisgeben kann.
Wie lässt sich DLP auf KI-Agenten anwenden?
DLP kann sensible Informationen überprüfen, während Agenten diese über Antworten, APIs, Dateien, SaaS-Anwendungen, Nachrichten und andere Workflows übertragen oder offenlegen. Datenbasiertes DLP ist besonders effektiv, wenn es die Bewegung von Daten mit Identität, Zugriff, Sensibilität, Eigentümerschaft, Ziel und Aktivitätskontext kombiniert.
Wie trägt BigID dazu bei, das Risiko des Datenabflusses durch KI-Agenten zu reduzieren?
BigID unterstützt Unternehmen bei der Erkennung und Klassifizierung sensibler KI-Daten, der Zuordnung von KI-Identitäten und Berechtigungen zu Daten, der Identifizierung übermäßiger Zugriffe, dem Schutz von Eingabeaufforderungen und Antworten, der Überwachung von Aktivitäten mit sensiblen Daten, der Stärkung der Datenverlustprävention, der Durchsetzung von KI-Governance-Richtlinien und der Behebung von Problemen in unternehmensweiten KI-Umgebungen.

