Zum Inhalt springen

Datenexfiltration durch KI-Agenten: Wie autonome KI sensible Daten offenlegen kann

KI-Agenten schaffen Wert, weil sie auf Daten zugreifen und darauf reagieren können.

Sie können Kundendatensätze abrufen, Unternehmensdokumente durchsuchen, Datenbanken abfragen, APIs aufrufen, Nachrichten senden, Anwendungen aktualisieren, Dateien erstellen, Workflows auslösen und mit anderen Agenten interagieren.

Diese Fähigkeiten schaffen auch einen direkten Weg für sensible Daten die beabsichtigte Grenze zu verlassen.

Ein Agent muss nicht immer eine Sicherheitskontrolle umgehen, um diese Gefährdung herzustellen.

Es könnte bereits über legitimen Zugriff verfügen.

Das Problem beginnt, wenn dieser Zugriff mit einem unsicheren Ziel, einer unangemessenen Handlung, einer kompromittierten Anweisung, einer übermäßigen Berechtigung oder einem Geschäftszweck einhergeht, der nicht mehr mit den aktuellen Tätigkeiten des Agenten übereinstimmt.

Das ist das Kernproblem dahinter Datenexfiltration von KI-Agenten.

Datenexfiltration durch KI-Agenten tritt auf, wenn ein autonomes oder halbautonomes KI-System überträgt, legt offen, sendet, offenbart oder stellt auf andere Weise sensible Daten außerhalb ihres autorisierten Ziels, Benutzers, Arbeitsablaufs oder Geschäftszwecks zur Verfügung.

Die Daten können über eine Antwort ausgegeben werden.

Es kann über einen API-Aufruf ausgegeben werden.

Es kann in einer E-Mail, einer Slack-Nachricht, einem Ticket, einer Datei, einem Protokoll, einer Browseranfrage, einem KI-Dienst eines Drittanbieters, einem anderen Agenten oder einer externen Anwendung erscheinen.

Und weil KI-Agenten mehrere einzeln legitime Aktionen miteinander verknüpfen können, ähnelt der Abflussweg möglicherweise überhaupt nicht einem herkömmlichen Datenleck.

Datenexfiltration durch KI-Agenten: Wichtigste Erkenntnisse

- KI-Agenten müssen keine Zugriffskontrollen umgehen, um Daten durchsickern zu lassen. Legitimer Zugriff in Kombination mit einem nicht autorisierten Ziel kann zu Datenexfiltration führen.

- Datenexfiltration ist etwas anderes als unberechtigter Zugriff. Der Zugriff bestimmt, worauf ein Agent zugreifen kann. Die Exfiltration beschreibt, wohin sensible Informationen anschließend gelangen.

- Jeder Agentenausgangspfad kann zu einem Ausgangspfad werden. Antworten, APIs, Nachrichten, Dateien, Speicher, Protokolle, Tool-Aufrufe, Browser-Anfragen und die Kommunikation zwischen Agenten können alle sensible Informationen übertragen.

- Eine sofortige Injektion kann eine Exfiltration auslösen. Bösartige Anweisungen können einen Agenten dazu verleiten, autorisierte Daten abzurufen und an ein vom Angreifer kontrolliertes Ziel zu senden.

- Das Prinzip der minimalen Berechtigungen begrenzt den Wirkungsradius. Ein Agent kann keine sensiblen Informationen exfiltrieren, zu denen er gar keinen Zugriff hat.

- BigID verbindet KI-Zugriff mit den Daten und den Bewegungen hinter dem Risiko. BigID hilft Organisationen dabei, sensible Daten zu erkennen, den Zugriff auf KI-Systeme zu steuern, Aktivitäten zu überwachen, Eingabeaufforderungen und Antworten zu schützen, Richtlinien anzuwenden und Korrekturmaßnahmen einzuleiten.

Was ist die Datenexfiltration durch KI-Agenten?

Unter Datenexfiltration durch KI-Agenten versteht man die unbefugte Übertragung oder Offenlegung sensibler Informationen über Ausgaben, Tools, Anwendungen, APIs, Netzwerkanfragen, Dateien, Nachrichten, Speicher oder nachgelagerte Arbeitsabläufe eines KI-Agenten.

Der Agent kann Daten absichtlich offenlegen, weil ein Angreifer diese manipuliert hat.

Es kann versehentlich Daten offenlegen, weil seine Anweisungen, Berechtigungen, Tools oder Zielsteuerungen zu weit gefasst sind.

Oder es funktioniert genau wie geplant, während die Governance des Unternehmens in Bezug auf diesen Arbeitsablauf unzureichend bleibt.

Zu den sensiblen Daten können gehören:

  • Persönlich identifizierbare Informationen (PII)
  • Geschützte Gesundheitsinformationen (PHI)
  • Zahlungsinformationen
  • Zugangsdaten und Geheimnisse
  • API-Schlüssel und Tokens
  • Finanzunterlagen
  • Quellcode
  • Geistiges Eigentum
  • Kunden- und Mitarbeiterdatensätze
  • Rechtsdokumente
  • Vertrauliche Mitteilungen
  • Andere regulierte oder geschäftskritische Informationen

Die entscheidende Frage lautet nicht einfach:

“Konnte der Agent die Daten lesen?”

Es ist:

“Sind die Daten an einen anderen Ort gelangt oder für jemanden sichtbar geworden, der nicht dem genehmigten Zweck oder Bereich zugeordnet ist?”

Schützen Sie die Daten hinter KI-Agenten

Erkennen Sie die Reichweite der KI, bevor sie zu einem Datenabfluss wird.

Verknüpfen Sie Agenten, Copiloten, Maschinenidentitäten, sensible Daten, Berechtigungen, Eingabeaufforderungen, Aktivitäten, Ziele und Richtlinien, um festzustellen, wo KI-gesteuerter Zugriff ein Risiko darstellt.

Mehr über KI-Sicherheit und -Governance erfahren →

KI-Datenexfiltration vs. Datenleck vs. übermäßiger Zugriff

Diese Konzepte überschneiden sich zwar, Sicherheitsteams sollten sie aber nicht als austauschbar betrachten.

Risiko Was es bedeutet Beispiel
Unbefugter Zugriff Der Agent greift auf Daten zu, zu denen er niemals hätte Zugang erhalten dürfen. Eine Personalassistentin beschafft sich Vergütungsunterlagen von Führungskräften außerhalb ihres Aufgabenbereichs.
Übermäßiger Zugriff Der Agent verfügt über gültige Berechtigungen, jedoch über mehr, als für seine genehmigte Aufgabe erforderlich sind. Ein Supportmitarbeiter kann jedes Kundenkonto abfragen, benötigt dazu aber nur zugewiesene Fälle.
Datenmissbrauch Der Agent verwendet autorisierte Daten für einen unzulässigen oder nicht genehmigten Zweck. Ein Agent nutzt Unterstützungsnachweise, um eine fachfremde Stellenempfehlung auszusprechen.
Datenleck Sensible Informationen werden unbeabsichtigt offengelegt. Ein Chatbot fügt die Kontonummer eines Kunden in eine Antwort ein, die dem falschen Benutzer angezeigt wird.
Datenexfiltration Sensible Informationen gelangen an einen nicht autorisierten Akteur, ein nicht autorisiertes Ziel, ein nicht autorisiertes System oder eine nicht autorisierte Vertrauensgrenze. Ein manipulierter Agent sendet abgerufene Kundendaten an einen externen Webhook.

Ein KI-Agent kann legitimen Zugriff haben und dennoch zu einem Einfallstor für Datenexfiltration werden.

Diese Unterscheidung macht datenorientierte Governance unerlässlich.

Der Exfiltrationspfad des KI-Agenten

Exfiltrationspfad des KI-Agenten

Die Datenexfiltration beginnt, wenn autorisierter Zugriff auf ein nicht autorisiertes Ziel trifft.

1. DATEN
Sensible Quelle

PII, Geheimnisse, geistiges Eigentum, Finanzdaten oder regulierte Daten

2. ZUGANG
KI-Identität

Der Agent erhält eine rechtmäßige oder übermäßige Genehmigung

3. Auslöser
Anweisung

Benutzeraufgabe, Eingabeaufforderung, Workflow oder Agentenentscheidung

4. BEWEGUNG
Agentenausgabe

API, Nachricht, Antwort, Datei, URL, Speicher oder Werkzeug

5. EXPOSITION
Unsicheres Reiseziel

Externer Akteur, Dritter, unbefugter Benutzer oder System

Der Agent hat möglicherweise die Berechtigung, die Daten zu lesen. Das bedeutet jedoch nicht, dass er die Berechtigung hat, die Daten überallhin zu senden, wo er kommunizieren kann.

Wie können KI-Agenten Daten exfiltrieren?

KI-Agenten schaffen mehr potenzielle Ausstiegsmöglichkeiten als herkömmliche dialogbasierte KI, da sie mit externen Systemen und Tools interagieren können.

Gängige Wege sind:

1. Leckage der KI-Reaktion

Ein Agent beschafft sich sensible Informationen und fügt diese einer Antwort bei, die einem nicht autorisierten Benutzer angezeigt wird.

Dies kann durch eine schwache Abrufberechtigung geschehen., übermäßige Agentenberechtigungen, falscher Benutzerkontext oder ungeeignete Ausgabegenerierung.

2. Schnelle Einspeisung in externes Ziel

Ein Angreifer platziert bösartige Anweisungen in Inhalten, die der Agent liest.

Der Agent befolgt diese Anweisungen, ruft sensible Daten ab, auf die er rechtmäßig Zugriff hat, und sendet die Informationen über eine URL, eine API-Anfrage, ein Formular, eine Nachricht oder ein anderes Tool.

Die Richtlinien von OpenAI zur Agentensicherheit identifizieren explizit sofortige Injektion als ein Pfad, der dazu führen kann, dass Agenten Daten von verbundenen Anwendungen oder angemeldeten Diensten preisgeben.

3. API-basierte Datenexfiltration

Ein Agent ruft sensible Daten aus einem System ab und übermittelt sie an eine externe API.

Einzeln betrachtet mögen beide Vorgänge legitim erscheinen:

Kundendatensatz lesen → API aufrufen

Das Sicherheitsproblem tritt erst dann auf, wenn Teams Daten, Ziel, Zweck und Arbeitsablauf gemeinsam bewerten.

4. SaaS- und Kollaborationstools

Agenten können sensible Informationen über folgende Wege übermitteln:

  • E-Mail
  • Locker
  • Microsoft Teams
  • Ticketsysteme
  • CRM-Datensätze
  • Gemeinsame Dokumente
  • Wissensdatenbanken

Das Ziel kann zwar innerhalb des Unternehmens liegen, aber dennoch die autorisierte Zielgruppe überschreiten.

5. KI-Dienste von Drittanbietern

Ein Unternehmensagent kann Daten an ein externes Modell, Plugin, eine SaaS-Plattform, eine API oder einen KI-Dienst senden.

Teams müssen Folgendes verstehen:

  • Welche Daten verlassen das Unternehmen?
  • Welcher Dienst empfängt es?
  • Warum die Übertragung stattfindet
  • Welche vertraglichen und politischen Kontrollmechanismen gelten
  • Ob der Anbieter es behält oder wiederverwendet

6. Belichtung nach Ampelsystem

Ein RAG-fähiger Agent kann sensible Inhalte aus Unternehmensquellen abrufen und in Eingabeaufforderungen, Antworten oder nachgelagerte Arbeitsabläufe einfügen.

Der Abruf war möglicherweise technisch erfolgreich, verletzte aber die vom Benutzer beabsichtigte Autorisierungsgrenze.

RAG-Sicherheit Daher muss die semantische Suche mit Identitäts- und Zugriffskontrollen verknüpft werden.

7. Exfiltration von Agent zu Agent

Ein Agent kann sensible Informationen an einen anderen Agenten weitergeben.

Der Empfangsbeauftragte kann sich in einem anderen Gebäude befinden:

  • Anwendung
  • Verkäufer
  • Wolke
  • Vertrauensdomäne
  • Berechtigungsmodell

Agent-zu-Agent-Sicherheit wird deshalb kritisch, weil delegierte Aufgaben unbemerkt sowohl Autorität als auch sensible Kontexte über Grenzen hinweg verschieben können.

8. Speicher und persistenter Kontext

Ein Agent könnte sensible Inhalte in Folgendes eingeben:

  • Langzeitgedächtnis
  • Gesprächsverlauf
  • Agentenstaat
  • Protokolle
  • Cache
  • Gemeinsamer Kontext

Dies kann zu einer verzögerten Offenlegung führen, wenn ein anderer Benutzer, Workflow, Agent oder Administrator die gespeicherten Daten später abruft.

Die aktuellen Sicherheitsrichtlinien von AWS für Agenten weisen darauf hin, dass Benutzerantworten nicht der einzige Kanal für Datenexfiltration sind. Auch Nachrichten zwischen Agenten, Speicherschreibvorgänge und Audit-Logs können personenbezogene Daten, Anmeldeinformationen und andere sensible Inhalte offenlegen.

9. URL- und Netzwerk-Exfiltration

Ein Agent kann sensible Informationen in einer URL, einem Abfrageparameter, einem Anfragetext, einem Datei-Upload oder einem ausgehenden Netzwerkaufruf kodieren.

OpenAI beschränkt nun in einigen Hochsicherheitskonfigurationen gezielt die ausgehende Konnektivität, um die durch Prompt-Injection ausgelöste Datenexfiltration zu reduzieren.

Datenexfiltration durch KI-Agenten ist nicht immer ein Angriff

Das Wort Exfiltration deutet oft auf einen böswilligen Angreifer hin.

KI verändert diese Annahme.

Ein Agent kann sensible Informationen aus folgenden Gründen über ihren vorgesehenen Bereich hinaus verschieben:

  • Sofortige Injektion
  • Kompromittierte Anmeldeinformationen
  • Übermäßige Berechtigungen
  • Falsche Richtlinie
  • Schlecht dimensionierte Werkzeuge
  • Unsichere Automatisierung
  • Falsch konfiguriertes RAG
  • Unangemessene Geschäftslogik
  • Agentenfehler
  • Unbeabsichtigte Weitergabe an Dritte
  • zu weit gefasster Kontext

Das Ergebnis kann dennoch die gleichen Auswirkungen auf Sicherheit und Compliance haben.

Sicherheitsteams sollten nicht nur böswillige Absichten, sondern auch unautorisierte Datenbewegungen bewerten.

Warum legitimer KI-Zugriff ein neues DLP-Problem schafft

Traditionelle DLP-Lösungen konzentrieren sich oft auf erkennbare Bewegungskanäle wie E-Mail, Endgeräte, Dateiübertragungen, Uploads und SaaS-Anwendungen.

KI-Agenten können eine komplexere Kette erzeugen:

Autorisierter Datenzugriff → KI-gestützte Schlussfolgerungen → Werkzeugauswahl → Datentransformation → Externe Maßnahmen

Der Agent kann:

  • Vertrauliche Informationen sollten zusammengefasst und nicht wortwörtlich kopiert werden.
  • Strukturierte Daten in natürliche Sprache umwandeln
  • Kombinieren Sie mehrere Quellen, bevor Sie eine Ausgabe senden.
  • Informationen werden über eine API anstatt über eine Datei übertragen.
  • Nur ausgewählte sensible Felder senden
  • Informationen an einen anderen KI-Agenten weitergeben

Das macht es schwieriger, die Daten mit rein kanalbezogenen Kontrollmechanismen zu schützen.

DLP in der Wolke wird effektiver, wenn Sicherheitsteams Bewegungen mit dem Kontext sensibler Daten, Identität, Zugriff, Eigentum, Aktivität, Richtlinien und KI-Kontext kombinieren können.

Schnelle Injektion und Datenexfiltration stellen unterschiedliche Risiken dar.

Eine sofortige Injektion kann zu Datenexfiltration führen, die Begriffe sollten jedoch nicht synonym verwendet werden.

Sofortige Injektion beschreibt, wie bösartige Anweisungen versuchen, das Verhalten von KI zu manipulieren.

Datenexfiltration beschreibt die Übermittlung oder Weitergabe sensibler Informationen an einen nicht autorisierten Empfänger.

Die Angriffskette könnte wie folgt aussehen:

Schaddokument → Prompt-Injection → Agentenmanipulation → Abruf sensibler Daten → Externes Tool → Datenexfiltration

Eine Exfiltration kann jedoch auch ohne sofortige Injektion erfolgen.

Ein Agent mit schlecht abgestimmter Automatisierung sendet möglicherweise Informationen an den falschen Ort.

Ebenso kann eine sofortige Dateneinspeisung erfolgreich sein, ohne dass es zu Datenverlusten kommt.

Diese Unterscheidung ist wichtig, da die Verhinderung einer sofortigen Dateneinschleusung allein das Risiko der Datenexfiltration nicht beseitigt.

Was bestimmt das Risiko der Datenexfiltration durch KI-Agenten?

Risiko für datenbewusste Agenten

Das Risiko der Datenexfiltration hängt davon ab, was der Agent lesen und wohin er es senden kann.

Empfindlichkeit

Wie sensibel sind die zugänglichen Daten?

Zugang

Wie viele Informationen kann der Agent abrufen?

Ausgang

Welche externen Kanäle kann es nutzen?

Autonomie

Kann es Daten ohne Genehmigung senden?

Ziel

Wer oder was erhält die Informationen?

Hochwertige Daten + breiter Zugriff + uneingeschränkter Datenabfluss + autonomes Handeln schaffen das höchste Risiko der Datenexfiltration.

Dies ist keine mathematische Formel.

Es handelt sich um ein Priorisierungsmodell, das Sicherheitsteams dabei hilft, einen Assistenten mit Zugriff auf öffentliche Dokumente von einem Agenten zu unterscheiden, der Kundendatensätze abrufen und beliebige externe Anfragen senden kann.

Wie KI-Identitäten das Risiko der Datenexfiltration beeinflussen

KI-Agenten agieren selten über eine einzige, einfache Identität.

Sie können über folgende Wege auf Unternehmensressourcen zugreifen:

Das kann die Untersuchung von Datenexfiltrationen erschweren.

Im Sicherheitsprotokoll kann ersichtlich sein, dass ein Dienstkonto Daten heruntergeladen hat.

Die Teams müssen aber trotzdem Folgendes wissen:

  • Welcher KI-Agent hat die Anfrage initiiert?
  • Welcher Benutzer oder Workflow hat den Agenten ausgelöst?
  • Warum wurden die Daten abgerufen?
  • Auf welche sensiblen Informationen wurde zugegriffen?
  • An welchen Bestimmungsort wurde es empfangen?
  • Entsprach das Reiseziel dem genehmigten Zweck?

AI Access Governance hilft dabei, KI-Identitäten und maschinengesteuerte Berechtigungen mit den sensiblen Daten hinter diesem Zugriff zu verknüpfen.

Wie man den Datenabfluss von KI-Agenten verhindert

Keine einzelne Kontrollmaßnahme kann den durch Agenten verursachten Datenverlust vollständig verhindern.

Organisationen benötigen mehrschichtige Kontrollmechanismen für Daten, Zugriff, Identität, Tools, Ergebnisse, Bewegung und Laufzeitverhalten.

1. Sensible Daten erkennen, bevor Agenten darauf zugreifen

Beginnen Sie mit einer genauen Bestandsaufnahme sensibler und geschäftskritischer Informationen.

Datenermittlung und -klassifizierung Teams dabei unterstützen, zu identifizieren, auf welche personenbezogenen Daten (PII), Gesundheitsdaten (PHI), Zugangsdaten, Geheimnisse, Finanzunterlagen, Quellcodes, geistigen Eigentumsrechte und andere sensible Informationen KI-Systeme zugreifen können.

2. KI-Agenten das Prinzip der minimalen Berechtigungen zuweisen

Beschränken Sie die Zugriffsrechte der Agenten auf das für ihren Geschäftszweck erforderliche Minimum an Daten und Berechtigungen.

Ein Agent kann keine Daten exfiltrieren, auf die er keinen Zugriff hat.

Minimale Privilegien für KI-Agenten sollte direkte, vererbte, delegierte, Anwendungs-, API-, Dienstkonto- und Maschinenidentitätsberechtigungen berücksichtigen.

3. Leseberechtigung von Sendeberechtigung trennen.

Die Erlaubnis zum Abrufen sensibler Informationen sollte nicht automatisch die Erlaubnis zur externen Weitergabe dieser Informationen beinhalten.

Behandeln:

  • Lesen Sie
  • Export
  • Schicken
  • Hochladen
  • Veröffentlichen
  • Schreiben

als separate Behörden.

4. Agentenausgang einschränken

Beschränken Sie, welche Ziele, Domänen, APIs, Tools und externen Dienste ein Agent kontaktieren darf.

Eine standardmäßige Verweigerung oder ein eng begrenzter ausgehender Zugriff kann die Anzahl der für die Datenexfiltration verfügbaren Ziele reduzieren.

Sowohl OpenAI als auch NVIDIA haben die Kontrolle ausgehender Netzwerkverbindungen als wichtige Ebene zur Reduzierung des agentenbasierten Datenabflusses hervorgehoben.

5. Eingabeaufforderungen und Antworten schützen

Sensible Informationen können über dialogbasierte Arbeitsabläufe in KI gelangen oder diese verlassen.

KI-gestützter Sofortschutz Hilft dabei, sensible Werte in Eingabeaufforderungen und Antworten zu identifizieren, Richtlinien anzuwenden, riskante Informationen zu schwärzen, Verstöße zu überwachen und Beweismaterial für Ermittlungen zu erstellen.

6. Überprüfen Sie jeden Ausgabepfad

Schützen Sie nicht nur die dem Benutzer angezeigte Endantwort.

Agentenausgaben können auch Folgendes enthalten:

  • APIs
  • Dateien
  • Nachrichten
  • Protokolle
  • Erinnerung
  • Andere Agenten
  • Anwendungen
  • Netzwerkanfragen

AWS empfiehlt ausdrücklich, die Kontrollen für sensible Informationen einheitlich auf alle Agentenausgaben anzuwenden und nicht nur auf die Antworten, die dem Benutzer angezeigt werden.

7. Autorisierung im Ampelsystem beibehalten

RAG sollte nicht dafür sorgen, dass alle indizierten Inhalte universell auffindbar sind.

Die Identität und die Zugriffskontrollen müssen so gewahrt werden, dass Benutzer und KI-Systeme nur die Informationen erhalten, die ihr legitimer Zweck erlaubt.

8. Minimierung des Interagentenkontexts

Wenn ein Agent eine Aufgabe an einen anderen delegiert, senden Sie nur die für diese Aufgabe erforderlichen Daten.

Leiten Sie nicht automatisch ganze Gesprächsverläufe, Kundendatensätze, abgerufene Dokumente, Anmeldeinformationen oder sensible Speicherdaten weiter.

9. Genehmigungspflicht für risikoreiche Überweisungen

Eine menschliche Bestätigung kann in folgenden Fällen sinnvoll sein:

  • Versenden sensibler Daten nach außen
  • Dateien hochladen
  • Übermittlung von Datensätzen an ein Drittsystem
  • Veröffentlichungsinformationen
  • Weitergabe regulierter Daten

10. Überwachung sensibler Datenaktivitäten

Berechtigungen zeigen an, worauf ein Agent zugreifen kann.

Die Aktivitätsanzeige zeigt, worauf tatsächlich zugegriffen und was verschoben wurde.

Überwachung der Datenaktivität Fügt Kontextinformationen zu Zugriff, Downloads, Weitergabe, Verschiebung, Änderungen und anderen Verhaltensweisen im Zusammenhang mit sensiblen Informationen hinzu.

11. Datenbasierte DLP anwenden

DLP-Steuerelemente werden nützlicher, wenn sie Folgendes verstehen:

  • Was die Daten enthalten
  • Wer oder was hat darauf zugegriffen?
  • Wohin es sich bewegt
  • Welche Richtlinie gilt?
  • Ob das Reiseziel angemessen ist

BigID Cloud DLP hilft dabei, sensible Dateninformationen mit Bewegungs-, Zugriffs-, Eigentums-, Aktivitäts- und politischen Kontexten zu verknüpfen.

12. Schnelle Lösungswege entwickeln

Wenn Teams riskante KI-Datenbewegungen feststellen, müssen sie möglicherweise Folgendes tun:

  • Agentenzugriff widerrufen
  • Ein Werkzeug deaktivieren
  • Blockieren Sie ein Ziel
  • Überflüssige Berechtigungen entfernen
  • Sensible Daten schwärzen
  • Quarantänedateien
  • Agenten deaktivieren
  • Anmeldeinformationen rotieren
  • Eine Richtlinie ändern
  • Untersuchen Sie die betroffenen Datensätze

Sanierungsabläufe helfen, Erkenntnisse in nachvollziehbare Korrekturmaßnahmen umzusetzen.

Kontrollieren Sie, was die KI erreichen und wohin sie gehen kann.

Verringern Sie den Wirkungsradius sensibler Daten hinter autonomen Agenten

Verknüpfen Sie Agenten, Maschinenidentitäten, Berechtigungen, sensible Daten, Aktivitäten und Ziele, um übermäßigen Zugriff zu erkennen und unsichere Datenbewegungen zu reduzieren.

Mehr über KI-Zugriffsverwaltung erfahren →

Was Sicherheitsteams oft bei der KI-Datenexfiltration übersehen

Genehmigter Zugriff kann dennoch zu unautorisierten Bewegungen führen.

Ein Beauftragter kann über alle erforderlichen Berechtigungen verfügen, um sensible Daten abzurufen.

Die Gefährdung erfolgt später, wenn der Agent die Nachricht an ein ungeeignetes Ziel sendet.

Das Ziel ist genauso wichtig wie der Ausgangspunkt.

Sicherheitsteams fragen sich oft, welche Daten ein Agent lesen kann.

Sie sollten auch fragen:

Wohin kann der Agent es senden?

Transformation beseitigt nicht die Sensibilität

Ein Beauftragter kann sensible Informationen zusammenfassen, übersetzen, umstrukturieren, aggregieren oder daraus Rückschlüsse ziehen, bevor er sie an Dritte weiterleitet.

Die Ausgabe stimmt möglicherweise nicht mehr mit dem Originaldatensatz überein, gibt aber dennoch geschützte Informationen preis.

Interne Bewegung kann dennoch eine Exfiltration sein.

Daten müssen das Unternehmen nicht verlassen, um eine unbefugte Grenze zu überschreiten.

Auch wenn sensible Personalakten dem falschen internen Benutzer, der falschen Geschäftseinheit, dem falschen Beauftragten oder der falschen Anwendung zugänglich gemacht werden, kann dies ein erhebliches Risiko darstellen.

Agentenketten verbergen das endgültige Ziel

Agent A kann die Daten abrufen.

Agent B kann es zusammenfassen.

Agent C könnte es senden.

Sicherheitsteams benötigen Transparenz über die gesamte Kette hinweg und nicht nur über die Identität, die mit der letzten Aktion verbunden ist.

Protokollierung ohne Datenkontext erzeugt Rauschen

Die Tatsache, dass ein API-Aufruf stattgefunden hat, sagt den Teams nichts darüber aus, ob dabei eine öffentliche Produktbeschreibung oder Tausende von Kundendatensätzen übermittelt wurden.

Die Erkennung von Datenexfiltration wird wesentlich nützlicher, wenn die Aktivitäten einen Kontext sensibler Daten beinhalten.

Checkliste zur Vorbereitung auf Datenexfiltration durch KI-Agenten

Bereitschaft des Agenten zur Datenexfiltration

Kann Ihr Sicherheitsteam diese Fragen beantworten?

✓ Welche KI-Agenten, Copiloten, Assistenten und autonomen Arbeitsabläufe gibt es?

✓ Auf welche sensiblen Daten kann jedes KI-System zugreifen?

✓ Welche Identitäten und Berechtigungen ermöglichen diesen Zugriff?

✓ Welche Agenten verfügen über übermäßige Berechtigungen?

✓ Welche Outbound-Tools und -Ziele kann jeder Agent nutzen?

✓ Können Agenten Informationen per E-Mail, APIs, Dateien, URLs, Messenger oder Anwendungen von Drittanbietern senden?

✓ Können sensible Daten in Eingabeaufforderungen gelangen oder in Antworten erscheinen?

✓ Erhalten RAG-Systeme die Autorisierung beim Abruf aufrecht?

✓ Kann ein Agent sensible Daten an einen anderen Agenten weitergeben?

✓ Können im Agentenspeicher oder in den Protokollen sensible Informationen gespeichert werden?

✓ Unterscheiden wir zwischen Leseberechtigung und Sende- bzw. Exportberechtigung?

✓ Können wir die Bewegung sensibler Daten durch KI-Identitäten überwachen?

✓ Können wir feststellen, welches Ziel sensible Informationen erhalten hat?

✓ Können wir den Agentenzugriff schnell widerrufen oder ein Ziel sperren?

✓ Können wir den gesamten Datenzugriffs- und Exfiltrationspfad nach einem Vorfall rekonstruieren?

Wie BigID dazu beiträgt, das Risiko des Datenabflusses durch KI-Agenten zu reduzieren

BigID geht bei der Datenexfiltration von KI-Agenten vom Daten-nach-außen-Prinzip aus.

Sicherheitsteams können das Risiko der Datenexfiltration nicht allein durch die Betrachtung des Agenten beurteilen.

Sie müssen es wissen Auf welche sensiblen Daten der Agent zugreifen kann, welche Identitäten und Berechtigungen diesen Zugriff ermöglichen, wohin die Daten übertragen werden, welches Ziel sie empfängt, welche Richtlinien gelten und wie Teams das Risiko minimieren können, wenn es auftritt.

BigID unterstützt Organisationen:

  • Sensible KI-Daten entdecken und klassifizieren: Identifizieren Sie PII, PHI, PCI, Anmeldeinformationen, Geheimnisse, geistiges Eigentum, Finanzinformationen, vertrauliche Aufzeichnungen und andere sensible Daten, die KI-Agenten zur Verfügung stehen.
  • KI-Zugang steuern: Verknüpfen Sie Agenten, Copiloten, Anwendungen, Servicekonten, Maschinenidentitäten, APIs, Berechtigungen und sensible Daten, um festzustellen, wo der Zugriff über den legitimen Geschäftsbedarf hinausgeht.
  • Überflüssige Berechtigungen reduzieren: Wenden Sie das Prinzip der datenbewussten minimalen Berechtigungen an, damit Agenten nicht auf mehr sensible Informationen zugreifen können, als ihr genehmigter Zweck erfordert.
  • Eingabeaufforderungen und Antworten schützen: Sensible Werte in KI-Konversationen erkennen, riskante Informationen schwärzen, gezielte Richtlinien anwenden, Verstöße überwachen und Ermittlungen unterstützen.
  • Überwachung der Aktivitäten mit sensiblen Daten: Verstehen Sie, wie sensible Informationen von Unternehmensidentitäten abgerufen, verschoben, weitergegeben, heruntergeladen, geändert oder gelöscht werden.
  • Stärkung der Datenverlustprävention: Ergänzen Sie die Übertragung sensibler Daten in Cloud-, SaaS- und KI-Umgebungen um Klassifizierung, Identität, Zugriff, Eigentum, Aktivität und Risikokontext.
  • KI-Systeme steuern: Verknüpfen Sie Agenten, Modelle, Eingabeaufforderungen, Daten, Herkunft, Eigentumsverhältnisse, Richtlinien, Zugriffsrechte, Risiken, Überwachung und Governance-Nachweise über den gesamten KI-Lebenszyklus hinweg.
  • Laufwerksbereinigung: Zugriffe einschränken, Richtlinien durchsetzen, Zuständigkeiten zuweisen, Ergebnisse untersuchen und Korrekturmaßnahmen koordinieren, wenn es zu einer Offenlegung von KI-gesteuerten Daten kommt.

Die Datenexfiltration durch KI-Agenten ist nicht einfach ein Netzwerkproblem oder ein Problem der sofortigen Sicherheit. Es handelt sich um ein Problem, das Daten, Identität, Zugriff, Bewegung, Ziel und Richtlinien betrifft und den gesamten KI-Workflow im Kontext betrachten muss.

BigID hilft Teams dabei, diese Zusammenhänge zu erkennen, damit sie feststellen können, welche Agenten Zugriff auf sensible Daten haben, wohin diese Informationen fließen können und was behoben werden muss, bevor ein Agent zum Sicherheitsrisiko wird.

Die Punkte zwischen Daten und KI verbinden

Verhindern Sie, dass sensible Daten KI in unzulässige Bereiche folgen.

Erfahren Sie, wie BigID Teams dabei unterstützt, sensible KI-Daten aufzudecken, den Agentenzugriff zu steuern, Aktivitäten zu überwachen, KI-Konversationen zu schützen, DLP zu stärken und die Datenexposition im gesamten Unternehmen zu reduzieren.

Siehe BigID AI Security in Aktion →

Häufig gestellte Fragen zur KI-Agent-Datenexfiltration

Was ist die Datenexfiltration durch KI-Agenten?

Datenexfiltration durch KI-Agenten liegt vor, wenn ein autonomes oder halbautonomes KI-System sensible Daten an ein nicht autorisiertes Ziel, einen nicht autorisierten Benutzer, ein nicht autorisiertes System, eine nicht autorisierte Anwendung, einen nicht autorisierten Agenten oder einen nicht autorisierten Dritten überträgt, offenlegt, sendet oder zugänglich macht.

Wie können KI-Agenten Daten exfiltrieren?

KI-Agenten können Daten über generierte Antworten, APIs, externe Netzwerkanfragen, E-Mails, Messaging-Plattformen, Dateien, SaaS-Anwendungen, RAG-Workflows, Agent-zu-Agent-Kommunikation, Protokolle, Speicher, Tool-Aufrufe oder KI-Dienste von Drittanbietern offenlegen.

Benötigt ein KI-Agent unbefugten Zugriff, um Daten zu exfiltrieren?

Nein. Ein Beauftragter kann legitimen Zugriff auf sensible Daten haben und diese dennoch gefährden, indem er die Informationen an einen nicht autorisierten Empfänger weiterleitet oder sie außerhalb des genehmigten Geschäftszwecks verwendet.

Worin besteht der Unterschied zwischen Datenlecks und Datenexfiltration im Bereich KI?

Datenleck bezeichnet allgemein die unbeabsichtigte Offenlegung sensibler Informationen. Datenexfiltration hingegen beschreibt den Transfer sensibler Informationen an unbefugte Empfänger oder Akteure. Ein Ereignis kann beides umfassen.

Zu viel Zugriff erhöht die Menge an sensiblen Informationen, auf die ein KI-Agent zugreifen kann. Wird der Agent kompromittiert, manipuliert oder falsch konfiguriert, können erweiterte Berechtigungen das Ausmaß und die Schwere potenzieller Datenexfiltration erhöhen.

Kann eine sofortige Injektion zur Exfiltration von KI-Daten führen?

Ja. Durch Prompt Injection kann ein KI-Agent dazu gebracht werden, Daten abzurufen, auf die er rechtmäßig zugreifen kann, und diese Informationen dann über ein Tool, eine API, eine URL, eine Nachricht, eine Antwort oder einen anderen externen Kanal zu senden oder offenzulegen.

Wie birgt RAG das Risiko der Datenexfiltration im KI-Bereich?

RAG verbindet KI-Systeme mit Unternehmensinformationen zum Zeitpunkt der Inferenz. Eine schwache Abrufberechtigung oder übermäßige RAG-Berechtigungen können sensible Daten durch KI-Antworten, Eingabeaufforderungen, nachgelagerte Aktionen oder externe Tools offenlegen.

Wie können KI-Agenten Daten durch andere Agenten exfiltrieren?

Ein Agent kann sensible Kontextinformationen, abgerufene Daten, Dateien, Zusammenfassungen oder strukturierte Nutzdaten an einen anderen Agenten senden. Befindet sich der empfangende Agent außerhalb des genehmigten Vertrauensbereichs oder verfügt er über andere Berechtigungen und Richtlinien, kann diese Übergabe ein Sicherheitsrisiko darstellen.

Wie können Organisationen den Datenabfluss von KI-Agenten verhindern?

Organisationen können das Risiko reduzieren, indem sie sensible Daten aufdecken, das Prinzip der minimalen Berechtigungen anwenden, Lese- und Sendeberechtigungen trennen, ausgehende Ziele einschränken, Eingabeaufforderungen und Antworten schützen, die RAG-Autorisierung beibehalten, den Kontext zwischen Agenten minimieren, Agentenausgaben überprüfen, die Datenaktivität überwachen, die DLP stärken und eine schnelle Behebung unterstützen.

Warum ist das Prinzip der minimalen Berechtigungen bei der Datenexfiltration durch KI-Systeme relevant?

Das Prinzip der minimalen Berechtigungen beschränkt die einem KI-Agenten zur Verfügung stehenden sensiblen Informationen. Wird ein Agent kompromittiert oder manipuliert, verringert ein eingeschränkter Zugriff die Menge der Daten, die er potenziell preisgeben kann.

Wie lässt sich DLP auf KI-Agenten anwenden?

DLP kann sensible Informationen überprüfen, während Agenten diese über Antworten, APIs, Dateien, SaaS-Anwendungen, Nachrichten und andere Workflows übertragen oder offenlegen. Datenbasiertes DLP ist besonders effektiv, wenn es die Bewegung von Daten mit Identität, Zugriff, Sensibilität, Eigentümerschaft, Ziel und Aktivitätskontext kombiniert.

Wie trägt BigID dazu bei, das Risiko des Datenabflusses durch KI-Agenten zu reduzieren?

BigID unterstützt Unternehmen bei der Erkennung und Klassifizierung sensibler KI-Daten, der Zuordnung von KI-Identitäten und Berechtigungen zu Daten, der Identifizierung übermäßiger Zugriffe, dem Schutz von Eingabeaufforderungen und Antworten, der Überwachung von Aktivitäten mit sensiblen Daten, der Stärkung der Datenverlustprävention, der Durchsetzung von KI-Governance-Richtlinien und der Behebung von Problemen in unternehmensweiten KI-Umgebungen.

Inhalt

Decorative image for a BigID blog titled AI Governance Audit

Datenzugriffsverwaltung neu gedacht für das KI-Zeitalter

Laden Sie das Whitepaper herunter, um zu erfahren, was ein integrierter DAG im Zeitalter der KI tatsächlich erfordert – und wie man dorthin gelangt.

Laden Sie das Whitepaper herunter