Agentische KI-Governance unterscheidet sich in vier grundlegenden Punkten von traditioneller KI-Governance: autonome Entscheidungsüberwachung, Systemzugriffskontrolle, Überwachung der Workflow-Ausführungund Risiko der Datenoffenlegung.
Traditionelle Governance-Modelle wurden für Modelle entwickelt, die auf Vorgaben reagieren.
Agentic AI wartet nicht auf Eingabeaufforderungen.
Es verfolgt Ziele, wählt Werkzeuge aus, greift auf Daten zu und ergreift Maßnahmen in Ihren Systemen, ohne dass jeder Schritt von einem Menschen genehmigt werden muss. Diese Unterscheidung verändert jede Annahme, auf der Ihr aktuelles Governance-Programm basiert.
Da Unternehmen von der experimentellen Nutzung von KI zur praktischen Anwendung übergehen, hat dieser Wandel unmittelbare Auswirkungen auf Risiko, Compliance und Kontrolle.
Wichtigste Erkenntnisse: Agentische KI-Governance vs. Traditionelle KI-Governance
- Die traditionelle KI-Governance wurde für Modelle entwickelt, die auf Eingaben reagieren – agentenbasierte KI verfolgt Ziele, wählt Werkzeuge aus, greift auf Daten zu und handelt systemübergreifend, ohne dass in jedem Schritt eine menschliche Genehmigung erforderlich ist, wodurch bestehende Rahmenwerke unzureichend werden.
- Der Übergang von der traditionellen zur agentenbasierten KI-Governance bedeutet eine Verlagerung von der Steuerung von Ergebnissen hin zur Steuerung von Handlungen – daraus ergeben sich vier neue Anforderungen: autonome Entscheidungsüberwachung, Systemzugriffskontrolle, Überwachung der Workflow-Ausführung und Datenverlustrisiko
- Berechtigungen stellen die unmittelbarste Governance-Lücke dar – Agenten mit weitreichenden Zugriffsrechten werden diese auch nutzen, und ohne Durchsetzung des Prinzips der minimalen Berechtigungen steigt das Risiko der Datenoffenlegung mit jeder neuen Implementierung.
- Herkömmliche Eingabe-/Ausgabeprotokolle sind für agentenbasierte KI unzureichend – ein vollständiger Prüfpfad muss jede Systeminteraktion, jeden Datenzugriff und jede Entscheidung im gesamten mehrstufigen Workflow erfassen.
- Agentenbasierte KI birgt nicht nur Modellrisiken, sondern auch operationelle Risiken – Governance-Teams müssen ihren Fokus von Genauigkeit und Verzerrungen darauf verlagern, welche Aktionen die Agenten durchgeführt haben, auf welche Daten sie zugegriffen haben und ob diese Aktionen autorisiert waren.
- Schatten-KI-Agenten bergen das gleiche Risiko wie genehmigte Agenten – Agenten, die außerhalb der IT-Transparenz eingesetzt werden, können nicht kontrolliert werden, und ihr Datenzugriff birgt ein Compliance-Risiko, unabhängig davon, ob das Unternehmen von ihrer Existenz wusste.
Wozu wurde traditionelle KI-Governance ursprünglich entwickelt?
Die traditionelle KI-Governance basiert auf drei Säulen: Überwachung der Modellleistung, Erkennung von Trainingsverzerrungen und Erklärbarkeit der Ergebnisse.
Das mentale Modell ist einfach. Ein Mensch sendet eine Anfrage, das Modell antwortet, und die Interaktion ist beendet. Governance-Teams überprüfen die Ergebnisse, auditieren die Trainingsdaten und verfolgen, ob sich das Modell im Laufe der Zeit verändert.
Rahmenwerke wie das NIST AI Risk Management Framework (AI RMF) und frühe Leitlinien im Zusammenhang mit dem EU-KI-Gesetz wurden mit diesem statischen, auf schnelle Reaktionen ausgerichteten Modell entwickelt. Artikel 10 des EU-KI-Gesetzes legt beispielsweise großen Wert auf die Qualität und Dokumentation der Trainingsdaten – eine modellzentrierte Sichtweise des Risikos, die die ursprüngliche Implementierung von KI-Systemen widerspiegelt.
Diese Herangehensweise funktionierte, solange KI-Systeme innerhalb klar definierter Grenzen operierten. Agentische Systeme tun dies nicht.
Was Agentic AI tatsächlich leistet und warum es alles verändert
Agentische KI-Systeme Sie warten nicht bei jedem Schritt auf eine Aufforderung. Sie erhalten ein Ziel, legen fest, wie es erreicht werden kann, wählen die passenden Werkzeuge aus, greifen auf Daten zu und führen Aktionen in verschiedenen Systemen durch, ohne dass bei jeder Entscheidung eine menschliche Genehmigung erforderlich ist.
In der Praxis kann dies beispielsweise so aussehen, dass ein Agent mit der Erstellung einer Wettbewerbsanalyse beauftragt ist, der interne Kollaborationstools abfragt, strukturierte Daten aus einem CRM-System abruft, auf Cloud-Speicher zugreift und einen Bericht generiert. Und das alles autonom.
Zu keinem Zeitpunkt genehmigt ein Mensch jeden einzelnen Datenzugriff oder jede Systeminteraktion, und traditionelle Governance-Modelle wurden nicht dafür entwickelt, dieses Aktivitätsniveau zu erfassen oder zu kontrollieren.
Die vier Governance-Anforderungen, die Agentic AI einführt
Während sich traditionelle Governance auf die Ergebnisse von Modellen konzentriert, muss die Governance agentenbasierter KI untersuchen, was Systeme bei der Verfolgung von Zielen tun. Vier Anforderungen kennzeichnen diesen Wandel.
Autonome Entscheidungsüberwachung
Agenten treffen Entscheidungen ohne direkte menschliche Eingabe. Die Steuerung muss den Entscheidungsprozess berücksichtigen, nicht nur das Endergebnis.
Zu den Schlüsselfragen gehören:
- Wer hat den Beauftragten zum Handeln ermächtigt?
- Auf welchen Daten basierten die Entscheidungen?
- Welche Alternativen wurden in Betracht gezogen bzw. verworfen?
Herkömmliche Erklärbarkeitsinstrumente konzentrieren sich auf die Ergebnisse. Agentenorientierte Steuerung erfordert Transparenz hinsichtlich der Entscheidungsfindung in jedem einzelnen Ausführungsschritt.
Systemzugriffskontrolle
Agenten verbinden sich mit Tools, APIs, Datenbanken und Cloud-Diensten. Jede Verbindung stellt ein potenzielles Datenleck dar.
Die traditionelle KI-Governance befasste sich selten direkt mit Berechtigungen. Bei agentengesteuerten Systemen wird die Zugriffskontrolle zum zentralen Bestandteil der Governance.
Ein Agent mit weitreichenden Zugriffsrechten wird diese auch nutzen. Ohne klare Grenzen können die Prinzipien der minimalen Berechtigungen schnell untergraben werden – insbesondere wenn Berechtigungen aus Flexibilitätsgründen und nicht aufgrund ihrer Notwendigkeit erteilt werden. In vielen Umgebungen könnte agentenbasierte KI unbeabsichtigt sensible Daten offenlegen, wenn der Zugriff nicht streng kontrolliert wird.
Workflow-Ausführungsüberwachung
Ein herkömmliches KI-Modell verarbeitet typischerweise jeweils nur eine Interaktion. Ein Agent, der einen mehrstufigen Workflow ausführt, kann Dutzende von Aktionen in verschiedenen Systemen durchführen, bevor er ein Ergebnis liefert.
Die Governance-Teams benötigen einen vollständigen Prüfpfad dieser Aktivitäten:
- Worauf der Agent zugegriffen hat.
- Was es veränderte oder erzeugte.
- Wohin Daten verschoben oder weitergegeben wurden.
Die meisten bestehenden Protokollierungssysteme waren nicht darauf ausgelegt, diesen Detailgrad zu erfassen.
Risiko der Datenoffenlegung
Agenten lesen Daten nicht nur – sie bewegen, transformieren und integrieren sie in Ausgaben.
Ein Workflow mit erweiterter Datenabfrage könnte beispielsweise sensible Daten aus einer Datenbank abrufen, diese in eine an ein externes Modell gesendete Anfrage einfügen und eine Antwort zurückgeben, die diese Daten in einem neuen Kontext darstellt.
Traditionelle Governance konzentriert sich auf Trainingsdaten. Agentenbasierte Governance muss die Echtzeit-Datennutzung während der Ausführung einbeziehen.
Agenten bergen operationelle Risiken, nicht nur Modellrisiken.
Die traditionelle KI-Governance konzentriert sich auf das Modellrisiko: Genauigkeit, Verzerrung und Erklärbarkeit.
Diese Bedenken sind nach wie vor relevant – aber sie reichen nicht mehr aus.
Agentische KI birgt operationelle Risiken. Der Fokus verlagert sich auf Fragen wie:
- Welche Maßnahmen hat der Agent ergriffen?
- Mit welchen Systemen interagierte es?
- Auf welche Daten wurde zugegriffen oder welche Daten wurden offengelegt?
- Waren diese Maßnahmen genehmigt?
Viele bestehende Governance-Programme eignen sich gut zur Bewertung von Modellen – jedoch nicht zur Überwachung oder Steuerung von systemübergreifenden Maßnahmen. Diese Entwicklung ist zentral für den Aufbau verantwortungsvoller KI-Praktiken in großem Umfang.
Traditionelle vs. agentenbasierte KI-Governance: Ein direkter Vergleich
| Governance-Dimension | Traditionelle KI | Agentische KI | Governance-Lücke
|
| Entscheidungsautonomie | Vom Menschen initiiert, vom Modell reagiert | Agenteninitiiert, mehrstufig | Kein Genehmigungsmechanismus pro Arbeitsschritt |
| Datenzugriffsbereich | Nur Trainingsdaten | Live-Systeme, APIs, Datenbanken | Keine Echtzeit-Zugriffsüberwachung |
| Berechtigungsmodell | Statisch, Modellebene | Dynamisch, aufgabenorientiert | Durchsetzung des Prinzips der geringsten Privilegien fehlt |
| Prüfprotokoll | Eingabe-/Ausgabeprotokolle | Vollständige Aktionskette erforderlich | Die vorhandenen Protokolle erfassen keine Agentenaktionen |
| Risikoart | Modellrisiko | operationelles Risiko | Erfordert neue Kontrollmechanismen und Prozesse |
Aufbau eines agentenbasierten KI-Governance-Programms
Organisationen, die bereits Agenten einsetzen, benötigen ein Governance-Programm, das den tatsächlichen Aufgaben dieser Agenten entspricht.
Um diese Fähigkeiten in die Praxis umzusetzen, sollten Organisationen folgende Schritte unternehmen:
- Finden Sie heraus, auf welche Daten Ihre KI-Agenten zugreifen können. Ordnen Sie jeden Agenten seinen verbundenen Datenquellen zu, darunter Cloud-Speicher, Datenbanken, SaaS-Tools und APIs. Schatten-KI ist ein ernstzunehmendes Problem. Agenten, die außerhalb der IT-Reichweite eingesetzt werden, bergen dasselbe Risiko wie genehmigte Agenten.
- Definieren Sie die Grenzen der Berechtigungsstufen nach dem Prinzip der minimalen Berechtigungen. Jeder Mitarbeiter sollte nur Zugriff auf die Datenquellen und Systeme haben, die er für seine spezifischen Aufgaben benötigt. Weitreichende Berechtigungen, die aus Bequemlichkeit erteilt werden, stellen ein Haftungsrisiko für die Unternehmensführung dar.
- Implementieren Sie eine Echtzeit-Aktionsprotokollierung. Herkömmliche Eingabe-/Ausgabeprotokolle erfassen nicht, was ein Agent zwischen dem Empfang eines Ziels und der Erzielung eines Ergebnisses getan hat. Sie benötigen einen vollständigen Prüfpfad jeder Systeminteraktion.
- Regulatorische Rahmenbedingungen auf das Verhalten von Agenten anwenden. Die Anforderungen des NIST AI RMF und des EU-KI-Gesetzes (Artikel 10) gelten auch für agentenbasierte KI. Sie werden erweitert. Herkunftsverfolgung und Datenqualitätskontrollen gelten für den Datenzugriff der Agenten während der Inferenz, nicht nur für Trainingsdaten. Governance-Programme müssen das Agentenverhalten explizit diesen Anforderungen zuordnen.
- Automatisierte Fehlerbehebung. Manuelle Überprüfungen sind nicht skalierbar, wenn Agenten täglich Tausende von Aktionen ausführen. Governance-Programme benötigen automatisierte Kontrollen, die Zugriffsverletzungen, die Offenlegung sensibler Daten und Richtlinienverstöße erkennen und beheben, ohne dass ein Mensch diese entdecken muss.
Steuern Sie die Handlungen, nicht nur die Intelligenz.
Der Übergang von der traditionellen zur agentenbasierten KI-Governance bedeutet eine Verlagerung von der Steuerung von Ergebnissen hin zur Steuerung von Aktionen. Ihr bestehendes Governance-Programm kann Ihnen zwar mitteilen, was ein Modell gesagt hat – aber nicht, was ein Agent getan hat, auf welche Daten er zugegriffen hat oder ob er dazu berechtigt war.
Eine effektive Steuerung setzt heute Transparenz und Kontrolle über den gesamten Lebenszyklus der Agentenaktivitäten voraus – vom Datenzugriff über die Aktionsausführung bis hin zum Ergebnis.
Mit der zunehmenden Verbreitung agentenbasierter KI müssen sich auch die Governance-Programme weiterentwickeln, um mit den immer autonomer werdenden Systemen, die in komplexen Datenumgebungen operieren, Schritt halten zu können.
Wir unterstützen Organisationen bei der Umsetzung dieses Wandels, indem wir eine einheitliche Transparenz hinsichtlich Daten, Zugriff und Nutzung sowie die notwendigen Kontrollmechanismen zur Durchsetzung von Richtlinien und zur Risikominderung bieten.
Erfahren Sie, wie BigID Ihnen helfen kann, Transparenz und Kontrolle über die Aktionen Ihrer Agenten zu gewinnen – nicht nur über die Modellausgaben – und den aufkommenden KI-Risiken einen Schritt voraus zu sein.
Häufig gestellte Fragen zur agentenbasierten KI-Governance
Worin unterscheidet sich die Steuerung eines KI-Agenten von der Steuerung eines Modells für maschinelles Lernen?
Ein Modell des maschinellen Lernens reagiert auf Eingaben und erzeugt Ausgaben. Die Steuerung konzentriert sich auf Genauigkeit, Verzerrungsfreiheit und Nachvollziehbarkeit. Ein KI-Agent verfolgt Ziele autonom, greift auf Systeme zu und führt Aktionen ohne menschliche Genehmigung in jedem Schritt aus. Die Steuerung eines Agenten bedeutet, zu kontrollieren, worauf er zugreifen kann, was er tun darf und eine vollständige Protokollierung jeder seiner Aktionen zu gewährleisten.
Auf welche Berechtigungen sollten KI-Agenten Zugriff haben?
Mitarbeiter sollten nach dem Prinzip der minimalen Berechtigungen arbeiten und nur Zugriff auf die Datenquellen und Systeme haben, die für ihre spezifischen Aufgaben erforderlich sind. Weitreichende Berechtigungen, die aus Gründen der Flexibilität gewährt werden, bergen das Risiko der Datenoffenlegung, das von den Governance-Teams im Nachhinein nur schwer nachverfolgt oder behoben werden kann.
Wie kann ich die Aktionen eines KI-Agenten überprüfen?
Sie benötigen eine Protokollierung auf Aktionsebene, die jede Systeminteraktion im Workflow eines Agenten erfasst, nicht nur das Endergebnis. Das bedeutet, zu protokollieren, auf welche Datenquellen der Agent zugegriffen hat, was er gelesen oder geschrieben hat und welche Entscheidungen er dabei getroffen hat. Standardmäßige Ein-/Ausgabeprotokolle erfassen diese Detailtiefe nicht.
Welche Compliance-Rahmenwerke gelten für die Governance agentenbasierter KI?
Sowohl das NIST AI RMF als auch Artikel 10 des EU-KI-Gesetzes sind anwendbar, obwohl sie für statische Modelle konzipiert wurden. Für agentenbasierte KI erstrecken sich die Anforderungen an Herkunftsverfolgung und Datenqualität dieser Rahmenwerke auf Daten, auf die während der Inferenz und Ausführung zugegriffen wird, nicht nur auf Trainingsdaten. Governance-Programme müssen das Verhalten von Agenten diesen Anforderungen explizit zuordnen.
Was ist die größte Governance-Lücke, die die meisten Organisationen heute im Umgang mit agentenbasierter KI aufweisen?
Berechtigungen und Transparenz des Datenzugriffs. Die meisten Organisationen haben keinen vollständigen Überblick darüber, auf welche Daten ihre Agenten zugreifen können, welche Agenten übermäßige Zugriffsrechte besitzen oder welche sensiblen Informationen während der autonomen Aufgabenausführung verarbeitet werden. Hier müssen Governance-Programme ansetzen.
Autor
