Ein KI-Agent ist ein System, das autonom Daten abrufen, Entscheidungen treffen und systemübergreifend Aktionen ausführen kann. Governance ist in jeder Phase des Lebenszyklus des KI-Agenten relevant: Trainingsdaten, Agentenkonfiguration und Berechtigungen, Datenzugriff zur Laufzeit, Entscheidungsausführung sowie Überwachung und Prüfung.
Jede Phase birgt eigene Risiken, regulatorische Verpflichtungen und Kontrollmechanismen, die vor Beginn der nächsten Phase implementiert sein müssen. Wenn Sie als Leiter der Daten-Governance, CDO oder CISO KI-Systeme im Unternehmen einsetzen und Ihre Agenten bereits produktiv im Einsatz sind, ist dies die detaillierte Phasenübersicht, die Ihr Programm benötigt.
Die meisten Programme zur Steuerung und zum Lebenszyklusmanagement von KI behandeln KI-Agenten so, wie Unternehmen früher mit Cloud-Infrastrukturen umgingen: erst bereitstellen, dann steuern.
Dieser Ansatz ist so lange gültig, bis ein Prüfer nachfragt, welche Daten für das Training Ihres Modells verwendet wurden, oder ein Sicherheitsvorfall auf einen Agenten mit nicht dokumentierten Berechtigungen zurückgeführt werden kann. Die Lücken treten nicht auf Richtlinienebene auf, sondern auf Datenebene, wo die Agenten tatsächlich agieren.
Wichtigste Erkenntnisse: Steuerung des Lebenszyklus von KI-Agenten
- Governance beginnt nicht erst mit der Implementierung, sondern bereits bei den Daten. Organisationen, die Governance erst nach der Implementierung einführen, managen bereits Risiken, die sie nicht eingeplant haben.
- Alle fünf Phasen des Lebenszyklus erfordern unterschiedliche Governance-Kontrollen: Trainingsdaten, Agentenkonfiguration und -berechtigungen, Laufzeitdatenzugriff, Entscheidungsausführung sowie Überwachung und Prüfung – jede dieser Phasen bringt ihre eigenen regulatorischen Verpflichtungen mit sich.
- Die Verwaltung von Trainingsdaten ist eine gesetzliche Anforderung und nicht nur eine bewährte Vorgehensweise – Artikel 10 des EU-KI-Gesetzes schreibt die Dokumentation der Trainingsdaten für jedes Modell vor, und unrechtmäßig erhobene Daten führen zu Haftungsansprüchen, die bis in die Produktion hineinreichen.
- Nicht dokumentierte Agentenintegrationen erzeugen Schattenzugriffspfade, die bestehende Kontrollen umgehen und die Überprüfung nach einem Vorfall nahezu unmöglich machen.
- Der Zugriff auf Laufzeitdaten birgt das höchste regulatorische Risiko – Agenten interagieren mit Live-Produktionsdaten in Maschinengeschwindigkeit und lösen damit DSGVO- und HIPAA-Pflichten aus, sofern personenbezogene oder Gesundheitsdaten betroffen sind.
- Die Datenebene ist die einzige Steuerungsoberfläche, die alle Compliance-Rahmenwerke durchdringt – jede Vorschrift befasst sich letztendlich damit, welche Daten der Agent verarbeitet und was er mit diesen Daten tut.
Governance beginnt nicht erst mit der Implementierung – sie beginnt bei den Daten.
Die Datenschicht verbindet alle Phasen des Lebenszyklus eines KI-Agenten. Welche Daten den Agenten trainiert haben, auf welche Daten er zur Laufzeit zugreift und welche Daten seine Entscheidungen generieren, sind allesamt Governance-Fragen, nicht nur technische. Organisationen, die Governance erst bei der Implementierung implementieren, managen bereits Risiken, die sie nicht eingeplant haben.
In der Praxis bedeutet dies, dass Governance-Entscheidungen von den Daten abhängen, mit denen ein Agent arbeitet, und nicht nur vom Modell selbst.
Eine schrittweise Übersicht darüber, wie Governance über den gesamten Lebenszyklus hinweg aussieht:
- Governance von Trainingsdaten: Daten vor Beginn des Trainings klassifizieren, überprüfen und bereinigen.
- Agentenkonfiguration und Berechtigungen: Umfang und Dokumentenzugriff vor der Bereitstellung festlegen.
- Laufzeitdatenzugriff: Kontrollmechanismen während des laufenden Betriebs durchsetzen.
- Ausführung der Agentenentscheidung: Aktionen protokollieren und validieren, sobald Entscheidungen getroffen werden.
- Überwachung und Auditierung: Das Verhalten nach und während aller Aktivitäten verfolgen und auswerten.
Phase 1: Schulung zur Daten-Governance
Artikel 10 des EU-Gesetzes zur künstlichen Intelligenz (EU-KI-Gesetz) schreibt vor, dass Trainingsdaten auf Relevanz, Repräsentativität und Fehlerfreiheit geprüft werden müssen. Organisationen müssen dokumentieren, mit welchen Daten jedes Modell trainiert wurde. Diese Dokumentationspflicht ist streng durchsetzbar – ihre Nichterfüllung stellt keine technische Lücke, sondern einen Verstoß gegen geltendes Recht dar.
Das Risiko ist offensichtlich. Wenn sensible, regulierte oder unrechtmäßig erhobene Daten in eine Trainingspipeline gelangen, entsteht eine Haftung, die nicht verschwindet, wenn das Modell in Produktion geht.
Ein Modell, das mit personenbezogenen Daten (PII) trainiert wurde, die es nicht hätte einsehen dürfen, wird diese Offenlegung in seinen Ausgaben, seinen Einbettungen und seinem Verhalten offenbaren. Ein Problem mit den Trainingsdaten lässt sich nach der Bereitstellung nicht mehr beheben.
Governance bedeutet in dieser Phase, Trainingsdaten vor der Verarbeitung nach Sensibilität zu klassifizieren, die Rechtmäßigkeit der Datenerhebung zu überprüfen und schädliche Eingabedaten zu entfernen. Dies ist grundlegend für das Lebenszyklusmanagement und gewährleistet, dass jedes KI-System mit konformen Eingabedaten arbeitet.
Für Fachleute im Finanzdienstleistungs- und Gesundheitswesen bringt diese Phase auch Verpflichtungen gemäß der Datenschutz-Grundverordnung (DSGVO) und Beschränkungen des Health Insurance Portability and Accountability Act (HIPAA) hinsichtlich der Gesundheitsdaten mit sich, die in ein Modell einfließen dürfen. Die Frage lautet nicht nur: “Womit haben wir trainiert?”, sondern auch: “Durften wir damit trainieren?”
Phase 2: Agentenkonfiguration und Berechtigungen
Bevor ein Agent live geht, müssen alle seine Berechtigungen auf den minimal erforderlichen Datenzugriff für seine Funktion beschränkt werden. Das Prinzip der minimalen Berechtigungen gilt für Agenten genauso wie für menschliche Benutzer. Agentenidentitäten und Zugriffskontrollen sind unerlässlich, und jeder KI-Agent benötigt klar definierte, rollenspezifische Berechtigungen.
Undokumentierte Integrationen zwischen Agenten und Unternehmenssystemen bilden die Quelle für inoffizielle Zugriffspfade. Ein Agent, der über drei separate, nie formal erfasste Integrationen mit einer Vektordatenbank, einem CRM-System und einem Dokumentenspeicher verbunden ist, erscheint nicht in Ihren Zugriffskontrollberichten. Er funktioniert einfach.
Governance bedeutet in dieser Phase, jede Datenquelle, auf die der Agent zugreift, zu inventarisieren, diese Quellen Sensibilitätsklassen zuzuordnen und Zugriffsrichtlinien durchzusetzen, bevor die erste Abfrage ausgeführt wird. Diese Überwachung ist zentral für jedes skalierbare Governance-Framework.
Phase 3: Laufzeitdatenzugriff
Zur Laufzeit fragen Agenten Live-Datenspeicher ab, rufen Kontextinformationen aus Vektordatenbanken ab und leiten Informationen durch RAG-Workflows (Retrieval-Augmented Generation). Jede Interaktion birgt das Potenzial, Daten offenzulegen. Ohne Kontrollen auf der Datenebene kann ein Agent regulierte Daten, darunter personenbezogene Daten (PII), geschützte Gesundheitsdaten (PHI) und Finanzdaten, abrufen und ausgeben, die niemals für seine Ausgabe bestimmt waren.
Sowohl die DSGVO als auch HIPAA gelten überall dort, wo ein Agent auf personenbezogene Daten oder Gesundheitsdaten zugreift. Der Zugriff zur Laufzeit birgt das höchste regulatorische Risiko aller Lebenszyklusphasen, da Agenten hier mit Live-Produktionsdaten in Maschinengeschwindigkeit interagieren.
Phase 4: Umsetzung der Agentenentscheidung
Wenn ein Agent eine Entscheidung trifft, eine Nachricht sendet, einen Datensatz ändert und einen nachfolgenden Workflow auslöst, muss diese Aktion den Daten und Berechtigungen zugeordnet werden können, die sie autorisiert haben. Hier wird Governance zu einer Frage der Verantwortlichkeit und nicht nur der Kontrolle.
Kaskadenartige Fehler aufgrund unkontrollierter Agentenentscheidungen sind schwerer zu beheben als menschliche Fehler. Agenten agieren in Maschinengeschwindigkeit gleichzeitig in mehreren Systemen. Eine einzige falsch konfigurierte Berechtigung oder eine unkontrollierte Dateneingabe kann Dutzende nachgelagerte Aktionen auslösen, bevor es jemand bemerkt.
Governance bedeutet in dieser Phase, dass bei risikoreichen Aktionen Kontrollpunkte mit menschlicher Beteiligung erforderlich sind, jede Entscheidung mit ihren Eingabedaten protokolliert und Richtlinien für die Handlungsbefugnisse des Agenten durchgesetzt werden. Die Funktionen „Govern“ und „Manage“ des NIST AI Risk Management Framework (AI RMF) finden hier Anwendung. Organisationen müssen die Verantwortlichkeit für Agentenentscheidungen dokumentieren und die Möglichkeit gewährleisten, diese zu überschreiben oder die Ausführung zu stoppen.
Phase 5: Überwachung und Prüfung
Die Überwachung nach der Bereitstellung ist der Moment, in dem sich die Governance entweder bewährt oder ihre Schwächen offenbart. Wenn Sie nicht rekonstruieren können, was ein Agent getan hat, auf welche Daten er zugegriffen hat und warum, werden Sie eine Prüfung nicht bestehen können.
Die kontinuierliche Überwachung muss die Datenherkunft von der Erfassung bis zur Auswertung, Zugriffsmuster im Vergleich zum Basisverhalten und jegliche Abweichung von genehmigten Nutzungsrichtlinien umfassen.
Für eine erfolgreiche Auditvorbereitung reichen Protokolle allein nicht aus. Es bedarf der Fähigkeit, jede Agentenaktion einer spezifischen Richtlinie zuzuordnen, die diese autorisiert oder hätte blockieren sollen. Organisationen, die diese Lücke erst während eines Audits entdecken, anstatt vorher, müssen mit monatelangen, nicht nur tagelangen Korrekturmaßnahmen rechnen.
Wo Compliance-Rahmenwerke dem Lebenszyklus zugeordnet werden können
Artikel 10 des EU-KI-Gesetzes regelt die Qualität der Trainingsdaten und deren Dokumentation.
Dies ist eine Verpflichtung der Stufe 1. Die Funktionen „Government“, „Mapping“, „Measure“ und „Manage“ des NIST AI RMF decken den gesamten Lebenszyklus ab, konzentrieren sich aber auf die Konfigurations-, Laufzeit- und Überwachungsphasen. DSGVO und HIPAA gelten überall dort, wo ein Agent auf personenbezogene Daten oder Gesundheitsdaten zugreift, was bedeutet, dass der Zugriff zur Laufzeit und die Entscheidungsausführung das höchste regulatorische Risiko bergen.
Organisationen, die unter mehreren Frameworks arbeiten, benötigen Governance-Kontrollen, die alle geltenden Anforderungen gleichzeitig erfüllen. Die Datenebene ist die einzige Governance-Oberfläche, die alle Frameworks umfasst, da jedes Framework letztendlich darauf achtet, welche Daten ein Agent verarbeitet und wie er diese Daten nutzt.
In der Praxis bedeutet dies, dass Organisationen die Kontrollen über den gesamten Lebenszyklus an die spezifischen regulatorischen Verpflichtungen anpassen müssen, die in jeder Phase ausgelöst werden.
Mit BigID die Datenebene in jeder Phase steuern
Der gemeinsame Nenner aller fünf Lebenszyklusphasen sind Daten. Dazu gehören die Trainingsdaten des Agenten, die von ihm abgerufenen Daten und die durch seine Entscheidungen generierten Daten. Auf der Datenebene werden Richtlinien tatsächlich durchgesetzt – durch Zugriffskontrollen, Klassifizierung und Überwachung. Governance-Programme, die lediglich auf Modell- oder Richtlinienebene operieren, vernachlässigen die Kontrollen auf der Datenebene, die darüber entscheiden, ob diese Richtlinien in der Praxis tatsächlich umgesetzt werden.
Das AI Trust, Risk, and Security Management (AI TRiSM) Framework von BigID steuert die Datenebene über den gesamten Lebenszyklus des KI-Agenten hinweg, von den Trainingsdaten über den Zugriff zur Laufzeit, die Entscheidungsausführung bis hin zur Prüfung, auf einer einzigen Plattform.
Die Frage ist nicht, ob Ihre Agenten in jeder Lebenszyklusphase Governance benötigen. Das ist der Fall. Die Frage ist vielmehr, ob Ihr Governance-Programm die Datenebene erreicht, auf der die Agenten tatsächlich arbeiten, oder ob es bei den Richtliniendokumenten endet.
Erfahren Sie, wie Sie KI-Governance in jeder Phase des Agentenlebenszyklus anwenden können.
Häufig gestellte Fragen
Was ist die Steuerung von KI-Agenten?
Die Governance von KI-Agenten umfasst die Richtlinien, Kontrollen und Verantwortlichkeitsstrukturen, die festlegen, auf welche Daten ein KI-Agent zugreifen kann, welche Aktionen er ausführen darf und wie sein Verhalten überwacht und geprüft wird. Eine effektive Governance ist in jeder Phase des Agentenlebenszyklus erforderlich – von den Trainingsdaten bis zur Laufzeit – und nicht nur zum Zeitpunkt der Bereitstellung.
In welchen Phasen des Lebenszyklus von KI-Agenten sind Kontrollmechanismen erforderlich?
Alle diese Aspekte – Trainingsdaten, Agentenkonfiguration und -berechtigungen, Laufzeitdatenzugriff, Entscheidungsausführung sowie Überwachung und Prüfung – bergen jeweils spezifische Risiken und regulatorische Verpflichtungen. Wird Governance nur in einer Phase angewendet, entstehen Lücken, die sich in den anderen Phasen verstärken.
Wie steuert man KI-Agenten zur Laufzeit?
Die Laufzeitsteuerung erfordert die Durchsetzung von Datenzugriffskontrollen für laufende Abfragen, das Filtern sensibler Eingabeaufforderungen, bevor diese den Agenten erreichen, und von Ausgaben, bevor diese zurückgegeben werden. Richtlinien allein steuern das Laufzeitverhalten nicht. Technische Kontrollen auf der Datenebene sind dafür notwendig.
Welche Kontrollmechanismen für die Datenverwaltung sind für KI-Trainingsdaten erforderlich?
Die Verwaltung von Trainingsdaten erfordert die Klassifizierung von Daten nach Sensibilität, bevor diese in Trainingsprozesse gelangen, die Überprüfung der Rechtmäßigkeit der Datenerhebung gemäß geltenden Vorschriften, die Entfernung schädlicher oder regulierter Eingabedaten sowie die Dokumentation der Trainingsdaten für jedes Modell. Artikel 10 des EU-KI-Gesetzes schreibt diese Dokumentation für risikoreiche KI-Systeme gesetzlich vor.
Wie können Agentenberechtigungen Governance-Risiken verursachen?
Agenten mit übermäßigen Berechtigungen können auf sensible Daten zugreifen, die weit über das für ihre Funktion Notwendige hinausgehen. Wenn diese Berechtigungen nicht dem Prinzip der minimalen Rechtevergabe folgen und nicht an dokumentierte Datenquellen gebunden sind, entstehen Schattenzugriffspfade, die bestehende Kontrollen umgehen und die Überprüfung nach einem Vorfall nahezu unmöglich machen.
Autor
