Sicherheit von KI-Agenten: Risiken und bewährte Verfahren

Ein KI-Agent erhält eine legitime Anfrage: das Konto eines Kunden überprüfen, die jüngsten Aktivitäten zusammenfassen und die nächsten Schritte empfehlen.

Um die Aufgabe zu erledigen, durchsucht der Agent ein CRM-System, ruft interne Dokumente ab, greift auf eine Support-Plattform zu und ruft eine API auf. Jede Verbindung funktioniert. Alle Zugangsdaten sind gültig.

Anschließend ruft der Agent einen vertraulichen Datensatz ab, der nicht zum Kundenkonto gehört, und fügt ihn einer Nachricht an einen externen Empfänger bei.

Das Problem lag nicht unbedingt in einem fehlerhaften Modell. Der Agent hatte Zugriff auf Informationen und Fähigkeiten, die über das für die Aufgabe Notwendige hinausgingen.

Das ist die Herausforderung Sicherheit von KI-Agenten. Autonome Agenten leisten mehr als nur Antworten zu generieren. Sie rufen Informationen ab, treffen Entscheidungen, rufen Tools auf, delegieren Aufgaben und führen Aktionen in unternehmensweiten Systemen durch. Ihre Sicherheit hängt davon ab, die Daten, Identitäten, Berechtigungen, Anweisungen und Ausführungsgrenzen dieser Aktionen zu verstehen.

Dieser Leitfaden erklärt die Funktionsweise von KI-Agenten, die von ihnen ausgehenden Sicherheitsrisiken und die Kontrollmechanismen, die Unternehmen benötigen, um sensible Daten zu schützen und gleichzeitig agentenbasierte KI verantwortungsvoll zu skalieren.

Was ist KI-Agentensicherheit?

Sicherheit von KI-Agenten ist die Praxis, autonome und halbautonome KI-Agenten, ihre Identitäten, den Zugriff auf Unternehmensdaten, verbundene Tools und Aktionen vor unberechtigter Nutzung, Manipulation, Offenlegung sensibler Daten und betrieblichen Schäden zu schützen.

Es kombiniert etablierte Disziplinen der Cybersicherheit mit Kontrollmechanismen, die für Systeme entwickelt wurden, die mehrstufige Aufgaben planen und ausführen können.

Zu diesen Disziplinen gehören:

• KI und Datenanalyse: Identifizierung von KI-Assets, verbundenen Datenquellen, sensiblen Informationen und des Kontextes, der zur Beurteilung der Agentengefährdung erforderlich ist.
• Identitätssicherheit: Verwaltung von Agentenidentitäten, Servicekonten, Token und delegierten Berechtigungen.
• Datensicherheit: Sensible Informationen aufdecken und verstehen, welche Informationen Agenten abrufen, verarbeiten oder weitergeben können.
• Zugangssteuerung: Berechtigungen werden auf die für genehmigte Aufgaben benötigten Ressourcen beschränkt.
• Werkzeug- und Aktionssicherheit: Steuerung von APIs, Integrationen, externen Zielen und ausführbaren Operationen.
• Laufzeitschutzmechanismen: Risikoreiche Handlungen validieren, Aktivitäten überwachen und eingreifen, wenn das Verhalten gegen die Richtlinien verstößt.
• KI-Governance: Festlegung von Zweck, Zuständigkeiten, Risikobewertungen, Aufsicht und Verantwortlichkeit.

Ziel ist es nicht nur, schädliche Eingabeaufforderungen zu unterbinden. Vielmehr soll sichergestellt werden, dass ein Agent auf die richtigen Informationen zugreifen, die richtigen Aktionen ausführen und im Rahmen eines genehmigten Geschäftszwecks agieren kann.

Wie funktionieren KI-Agenten?

Ein KI-Agent ist ein Softwaresystem, das mithilfe von KI ein Ziel verfolgt, Informationen interpretiert, Schritte auswählt und mit Werkzeugen oder externen Systemen interagiert. Der Grad der Autonomie variiert je nach Design.

Ein typischer Workflow eines Unternehmensagenten umfasst:

Anders als ein herkömmlicher Chatbot, der lediglich Text ausgibt, kann ein Agent auf dessen Ausgabe reagieren. Daher muss die Agentensicherheit beides berücksichtigen. Informationsoffenlegung und Ausführungsrisiko.

Warum traditionelle Sicherheitsmaßnahmen für KI-Agenten nicht ausreichen

Bestehende Kontrollmechanismen wie Identitäts- und Zugriffsmanagement (IAM), Anwendungssicherheit, Verhinderung von Datenverlust (DLP), API-Sicherheit und Protokollierung bleiben unerlässlich.

Agenten stellen jedoch neue Herausforderungen dar, da ihre Entscheidungen und Werkzeugsequenzen von Aufgabe zu Aufgabe variieren können.

Der Zugriff kann durch bestehende Integrationen erweitert werden.

Agenten erben üblicherweise Berechtigungen von Anwendungen, Konnektoren, Benutzern und Dienstkonten. Eine eng definierte Aufgabe kann unter Anmeldeinformationen ausgeführt werden, die Zugriff auf ein gesamtes Repository oder eine Geschäftsanwendung ermöglichen.

Agenten können nicht vertrauenswürdige Anweisungen verarbeiten

Ein Agent kann externe Dokumente, E-Mails, Webseiten oder abgerufene Datensätze lesen. Diese Quellen können Anweisungen enthalten, die sein Verhalten manipulieren sollen.

Agenten können weitreichende Maßnahmen ergreifen

Das Erstellen und Versenden eines Entwurfs sind unterschiedliche Sicherheitsereignisse. Ein Agent, der Berechtigungen ändern, Datensätze modifizieren oder Daten übertragen kann, benötigt Kontrollmechanismen, die vor der Ausführung der Aktion greifen.

Delegation schafft zusätzliche Vertrauensgrenzen

Ein Mitarbeiter kann einem anderen Mitarbeiter eine Aufgabe zuweisen. Der empfangende Mitarbeiter kann über andere Berechtigungen, Zugriffsrechte oder einen anderen Arbeitskontext verfügen. Ohne klare Delegationsgrenzen können sich Befugnisse und sensible Informationen über die ursprüngliche Aufgabe hinaus ausbreiten.

Eine detailliertere Analyse dieses spezifischen Problems finden Sie unter Sicherheit der Kommunikation zwischen KI-Agenten: Identitäts-, Zugriffs- und Datenrisiken.

10 Sicherheitsrisiken von KI-Agenten, die Sie verstehen sollten

Bedrohungen durch KI-Agenten können von den Anweisungen ausgehen, die ein Agent erhält, den Daten, die er verarbeitet, den Identitäten, die er verwendet, oder den Aktionen, die er ausführt. Diesen zehn Risiken ist besondere Aufmerksamkeit zu widmen.

1. Übermäßige Berechtigungen und Rechteausweitung

Ein Agent kann über mehr Zugriffsrechte verfügen, als seine zugewiesene Aufgabe erfordert. Weitreichende API-Bereiche, geerbte Dienstkontoberechtigungen oder eine schlecht konfigurierte Delegierung können die Auswirkungen von Fehlern oder böswilliger Manipulation verstärken.

Sicherheitsreaktion: Ermitteln Sie effektive Berechtigungen, setzen Sie das Prinzip der minimalen Rechte durch, beschränken Sie den Werkzeugbereich und überprüfen Sie Berechtigungsänderungen.

2. Offenlegung und Abfluss sensibler Daten

Ein Beauftragter kann vertrauliche Dokumente, regulierte Aufzeichnungen, Kundeninformationen oder geistiges Eigentum abrufen und diese in Ausgaben einbeziehen oder an einen nicht autorisierten Empfänger senden.

Sicherheitsreaktion: Sensible Daten klassifizieren, Abrufberechtigungen durchsetzen, externe Ziele validieren und datenbasierte Kontrollen für die Freigabe und Ausführung anwenden.

3. Prompt-Injektion und Agentenübernahme

In Dokumenten, E-Mails, Webseiten oder Tool-Antworten eingebettete Schadanweisungen können versuchen, einen Mitarbeiter von seiner autorisierten Aufgabe abzulenken. Hat ein Mitarbeiter Zugriff auf das Tool, können die Folgen über eine falsche Antwort hinausgehen.

Sicherheitsreaktion: Behandeln Sie abgerufene Inhalte als nicht vertrauenswürdig, trennen Sie Anweisungen von Daten, beschränken Sie Werkzeuge und erzwingen Sie die Autorisierung unabhängig von Modellanweisungen.

4. Werkzeugmissbrauch und unsichere Ausführung

Ein Agent könnte eine API fehlerhaft aufrufen, einen Geschäftsdatensatz ändern, generierten Code ausführen oder einen Workflow ohne ausreichende Validierung auslösen.

Sicherheitsreaktion: Nutzen Sie Tool-Zulassungslisten, Eingabevalidierung, Transaktionslimits, Sandboxing, wo angebracht, und Genehmigungsmechanismen für wichtige Operationen.

5. Kompromittierte oder nicht verwaltete Agentenidentitäten

Agenten können auf API-Schlüssel, OAuth-Token, Dienstprinzipale oder Maschinenkonten angewiesen sein. Langlebige Anmeldeinformationen, unklare Besitzverhältnisse und veraltete Zugriffsrechte schaffen Missbrauchsmöglichkeiten.

Sicherheitsreaktion: Agentenidentitäten inventarisieren, Geheimnisse sicher verwalten, Anmeldeinformationen rotieren oder widerrufen, Eigentümer zuweisen und anormale Aktivitäten überwachen.

6. Schattenagenten und nicht genehmigte Automatisierung

Mitarbeiter und Geschäftsteams können Agenten ohne Sicherheitsprüfung einsetzen. Diese Agenten können sich außerhalb etablierter Governance-Prozesse mit sensiblen SaaS-Anwendungen oder Unternehmensrepositorys verbinden.

Sicherheitsreaktion: Agenten und deren Integrationen ermitteln, genehmigte Bereitstellungspfade festlegen und die Gefährdung sensibler Daten bewerten.

7. Unsichere RAG- und Wissensabfrage

Agenten, die auf abrufgestützter Generierung basieren, können auf interne Wissensdatenbanken, Vektorspeicher oder Suchkonnektoren zugreifen, die die Quellberechtigungen nicht durchgängig beibehalten.

Sicherheitsreaktion: Autorisierung beim Abruf erzwingen, indizierte Inhalte schützen, Daten klassifizieren und Quellberechtigungen validieren.

8. Vertrauens- und Delegierungsfehler zwischen Agenten

In Multiagentensystemen kann ein Agent Anweisungen, Zugangsdaten, Kontext oder Daten an einen anderen Agenten mit abweichenden Berechtigungen weitergeben. Ein schwaches Delegationsmodell kann die Befugnisse der ursprünglichen Aufgabe erweitern.

Sicherheitsreaktion: Authentifizieren Sie jeden Agenten, legen Sie den Umfang der delegierten Berechtigungen fest, bewahren Sie den Aufgabenkontext und validieren Sie nachgelagerte Aktionen.

9. Risiken bei der Integration von Drittanbietertools und MCP

Agenten verbinden sich zunehmend über APIs und Protokolle wie das Model Context Protocol (MCP) mit externen Tools. Diese Integrationen können die Angriffsfläche durch unsichere Tool-Definitionen, schwache Authentifizierung oder übermäßig privilegierte Server vergrößern.

Sicherheitsreaktion: Bewerten Sie die Tool-Anbieter, sichern Sie die MCP-Server, beschränken Sie die Zugangsdaten und Tool-Berechtigungen und validieren Sie die Ergebnisse vor der Weiterverwendung.

10. Fehlende Überwachung, Zuständigkeiten und Reaktion auf Vorfälle

Ohne einen eindeutigen Verantwortlichen oder verlässliche Aktivitätsaufzeichnungen haben Sicherheitsteams möglicherweise Schwierigkeiten zu erklären, warum ein Agent auf Informationen zugegriffen hat, welche Aktionen er durchgeführt hat oder wie man ihn stoppen kann.

Sicherheitsreaktion: Zuständigkeiten festlegen, relevante Aktivitäten dokumentieren, Interventionsmaßnahmen definieren und agentenspezifische Szenarien in die Notfallpläne aufnehmen.

Sicherheit von KI-Agenten im Vergleich zu traditioneller KI-Sicherheit

Traditionelle KI-Sicherheit konzentriert sich auf den Schutz von Modellen, Trainingsdaten, Anwendungen, Infrastruktur und Ergebnissen. Agentenbasierte KI-Sicherheit umfasst diese Anforderungen, ergänzt sie aber um Identität, delegierte Berechtigungen, Werkzeugausführung und Verantwortlichkeit auf Aktionsebene.

Der zentrale Unterschied ist einfach: Ein KI-Modell kann eine Empfehlung generieren; ein KI-Agent kann diese ausführen.

Bewährte Verfahren für die Sicherheit von KI-Agenten

Eine sichere Agentenstrategie sollte Erkennung, Datenschutz, Identitätsmanagement, Aktionsbeschränkungen und kontinuierliche Überwachung kombinieren.

1. Alle KI-Agenten entdecken und die Zuständigkeit zuweisen

Erstellen Sie ein Verzeichnis der zugelassenen und nicht zugelassenen Agenten, ihrer Geschäftszwecke, Umgebungen, verbundenen Anwendungen, Identitäten und Eigentümer.

Berücksichtigen Sie Agenten, die in SaaS-Plattformen und außerhalb der zentralen IT-Abteilung entwickelte Workflows eingebettet sind. Ohne diese Erkennung können Unternehmen das Agentenrisiko nicht systematisch bewerten oder steuern.

2. Klassifizieren Sie die Daten, die Agenten erreichen können.

Identifizieren Sie sensible, regulierte, vertrauliche, geschützte und geschäftskritische Informationen. über verbundene Repositories hinweg.

Ordnen Sie die Datensensibilität den Zugriffspfaden der Agenten zu. Der Zugriff eines Agenten auf öffentliche Dokumentationen birgt nicht dasselbe Risiko wie der Zugriff auf Kundendatensätze, Quellcode oder Finanzsysteme.

3. Das Prinzip der minimalen Privilegien und der minimalen Handlungsfähigkeit durchsetzen.

Geringste Privilegien beschränkt den Zugang zu Ressourcen. Am wenigsten Agentur beschränkt die Handlungsmöglichkeiten und die Autonomie, die ein Akteur ausüben kann.

Ein Supportmitarbeiter benötigt beispielsweise die Berechtigung, die Fallhistorie eines Kunden zu lesen, jedoch nicht, um eine gesamte Kundendatenbank zu exportieren oder die Kontoinhaberschaft zu ändern.

Beschränken Sie sowohl Ressourcenberechtigungen als auch ausführbare Operationen auf das, was die Geschäftsaufgabe erfordert.

4. Sichere Agentenidentitäten und delegierter Zugriff

Verwenden Sie angemessen beschränkte Anmeldeinformationen, verwaltete Geheimnisse, Identitätsinhaberschaft und nachvollziehbare Delegierung. Vermeiden Sie unnötig geteilte Anmeldeinformationen und übermäßige dauerhafte Berechtigungen.

Wenn ein Beauftragter im Namen eines Benutzers handelt, ist zu überprüfen, ob seine Befugnisse innerhalb des vom Benutzer festgelegten Rahmens und der genehmigten Aufgabe bleiben.

5. Sichere Tools, APIs und MCP-Verbindungen

Prüfen Sie, welche Tools ein Agent aufrufen kann, welche Parameter diese Tools akzeptieren und welche nachgelagerten Systeme davon betroffen sind.

Wenden Sie Authentifizierung, Autorisierung, Validierung, Protokollierung und Einschränkungen an der Schnittstelle zwischen Tool und API an. Eine Anweisung an das Modell, eine Aktion nicht auszuführen, ersetzt keine durchsetzbare Kontrollmaßnahme.

6. Externe Inhalte als nicht vertrauenswürdig behandeln

Dokumente, E-Mails, Webseiten, Suchergebnisse und Tool-Antworten können schädliche Anweisungen enthalten.

Trennen Sie nicht vertrauenswürdige Inhalte von privilegierten Anweisungen, beschränken Sie den Werkzeugzugriff und testen Sie, ob feindliche Inhalte das Verhalten des Agenten umleiten können.

7. Genehmigung für Maßnahmen mit hoher Auswirkung einfordern

Nicht jede Agentenaktion erfordert eine menschliche Überprüfung. Aktionen, die die Offenlegung sensibler Daten, Finanztransaktionen, Zugriffsänderungen oder destruktive Operationen betreffen, erfordern jedoch möglicherweise stärkere Sicherheitsvorkehrungen.

Definieren Sie risikobasierte Genehmigungsschwellen und stellen Sie sicher, dass der Genehmigungsprozess außerhalb der eigenen Entscheidungsfindung des Agenten abläuft.

8. Agentenaktivitäten und -änderungen überwachen

Überwachen Sie relevante Datenzugriffe, Toolaufrufe, Berechtigungsänderungen, externe Datentransfers und deren Auswirkungen. Führen Sie ausreichende Aufzeichnungen, um Vorfälle zu untersuchen, und wenden Sie dabei angemessene Datenschutz- und Aufbewahrungsrichtlinien an.

Überprüfen Sie die Agenten, wenn sie neue Tools erhalten, Verbindungen zu neuen Datenquellen herstellen, den Besitzer wechseln oder erweiterte Berechtigungen erhalten.

9. Testen von Angriffs- und Fehlerszenarien

Sicherheitstests sollten Folgendes umfassen sofortige Injektion, bösartig abgerufene Inhalte, übermäßige Berechtigungen, unsichere Werkzeugnutzung, unerwartete Aufgabenverteilung, Versuche der Datenexfiltration und Fehler in Genehmigungsprozessen.

Testen Sie vollständige Agenten-Workflows, nicht nur das zugrunde liegende Sprachmodell.

10. Erstellen Sie einen Notfallplan für Agentenvorfälle.

Sicherheitsteams sollten wissen, wie man einen Agenten deaktiviert, Anmeldeinformationen widerruft, den Zugriff auf Tools blockiert, Beweise sichert, betroffene Daten untersucht und Dienste sicher wiederherstellt.

Integrieren Sie agentenspezifische Vorfallszenarien in bestehende Sicherheitsreaktionsübungen.

Sicherheitsszenarien für KI-Agenten: Was würden Sie tun?

Diese Beispiele veranschaulichen, wie die Sicherheitsentscheidungen von Agenten von den jeweiligen Daten, Berechtigungen und Aktionen abhängen.

Wie man ein Sicherheitsprogramm für KI-Agenten aufbaut

Organisationen können damit beginnen, der Transparenz der Agenten und dem Zugriff auf risikoreiche Daten Priorität einzuräumen, anstatt zu versuchen, alle möglichen Kontrollmaßnahmen gleichzeitig umzusetzen.

Sicherheitsframeworks und Governance für KI-Agenten

Die Sicherheit von KI-Agenten sollte auf etablierten Cybersicherheits- und KI-Governance-Rahmenwerken aufbauen und nicht als separates, unzusammenhängendes Programm betrieben werden.

Die NIST-Rahmenwerk für KI-Risikomanagement unterstützt Organisationen bei der Strukturierung von KI-Governance, -Messung und -Risikomanagement. ISO/IEC 42001 liefert Anforderungen an ein KI-Managementsystem.

Die OWASP GenAI Sicherheitsprojekt bietet Orientierungshilfe zu Bedrohungen durch generative KI und agentenbasierte Anwendungen, wobei etablierte Verfahren in den Bereichen Identität, Anwendungssicherheit und Datenschutz weiterhin unerlässlich sind.

Rechtliche Verpflichtungen hängen vom Anwendungsfall des Agenten, den verarbeiteten Informationen, der Rolle der Organisation und den anwendbaren Rechtsordnungen ab. Datenschutzgesetze, branchenspezifische Anforderungen und KI-Regulierungen können auch dann gelten, wenn ein Agent mithilfe eines Drittanbietermodells erstellt wurde.

Die Governance sollte Eigentumsverhältnisse, genehmigte Zwecke, Datenzugriff, Aufsicht, Tests, Reaktion auf Vorfälle und den Nachweis, dass die erforderlichen Kontrollen funktionieren, regeln.

Fünf Sicherheitskennzahlen für KI-Agenten, die es wert sind, verfolgt zu werden

Die Führungsebene muss verstehen, ob die Organisation die agentenbedingte Gefährdung reduziert, während die Nutzung zunimmt.

Wie BigID zur Sicherheit von KI-Agenten beiträgt

Die Sicherheit von Agenten wird schwierig, wenn KI-Inventarisierung, Identitätsmanagement, Erkennung sensibler Daten und Risikobeseitigung unabhängig voneinander funktionieren.

BigID hilft Unternehmen dabei, KI-Agenten mit den Identitäten, Berechtigungen, Unternehmensdaten und dem Geschäftskontext hinter ihren Risiken zu verbinden.

Erkunden Sie BigID KI-Sicherheit, AI Access Governanceund KI-Governance um zu sehen, wie datenbewusste Sicherheit die Einführung agentenbasierter KI unterstützt.

Sichere KI-Agenten ohne Innovationsbremse

KI-Agenten können Unternehmen dabei helfen, komplexe Arbeitsabläufe zu automatisieren, repetitive Aufgaben zu reduzieren und Unternehmenssysteme effizienter zu gestalten. Doch jede neue Verbindung, Berechtigung und autonome Funktion erfordert eine weitere Vertrauensentscheidung.

Organisationen müssen wissen, welche Agenten im Einsatz sind, auf welche sensiblen Informationen sie zugreifen können, welche Identitäten und Berechtigungen diesen Zugriff ermöglichen und welche Aktionen sie durchführen dürfen.

Sie benötigen außerdem die Fähigkeit, übermäßigen Zugriff zu erkennen, geeignete Kontrollmaßnahmen durchzusetzen, Veränderungen der Exposition zu überwachen und einzugreifen, wenn das Verhalten der Agenten ein inakzeptables Risiko darstellt.

Ziel ist es nicht, KI-Agenten am Handeln zu hindern. Vielmehr soll sichergestellt werden, dass sie innerhalb von Grenzen agieren, die das Unternehmen verstehen, steuern und verteidigen kann.

Häufig gestellte Fragen zur Sicherheit von KI-Agenten

Was versteht man unter KI-Agentensicherheit?

Die Sicherheit von KI-Agenten ist die Praxis, autonome KI-Agenten, ihre Identitäten, ihren Datenzugriff, verbundene Tools und Aktionen vor unbefugter Nutzung, Manipulation, Offenlegung sensibler Daten und betrieblichen Schäden zu schützen.

Was sind die größten Sicherheitsrisiken von KI-Agenten?

Zu den Hauptrisiken gehören übermäßige Berechtigungen, das Auslaufen sensibler Daten, die sofortige Einschleusung, die unsichere Ausführung von Tools, kompromittierte Agentenidentitäten, Schattenagenten, unsicherer RAG-Abruf, Delegierungsfehler, Schwachstellen bei der Integration von Drittanbietern und unzureichende Überwachung.

Worin unterscheidet sich die Sicherheit von KI-Agenten von der Sicherheit von KI?

Die Sicherheit von KI schützt umfassend KI-Modelle, Anwendungen, Infrastruktur und Daten. Die Sicherheit von KI-Agenten ergänzt diese um Kontrollmechanismen für autonome Arbeitsabläufe, Maschinenidentitäten, delegierte Berechtigungen, die Ausführung von Tools und Aktionen, die Unternehmenssysteme beeinflussen.

Wie sichert man autonome KI-Agenten?

Sichern Sie autonome Agenten, indem Sie ihnen Besitzer ermitteln und zuweisen, zugängliche Daten klassifizieren, das Prinzip der minimalen Berechtigungen durchsetzen, Werkzeuge und Aktionen einschränken, delegierte Berechtigungen validieren, Aktivitäten überwachen und für Operationen mit hoher Auswirkung eine Genehmigung verlangen.

Was versteht man unter Prompt-Injektion bei KI-Agenten?

Prompt-Injection ist der Versuch, einen KI-Agenten durch bösartige Anweisungen zu manipulieren. Diese Anweisungen können in direkten Eingabeaufforderungen oder in nicht vertrauenswürdigen Inhalten wie Dokumenten, Webseiten, E-Mails und Tool-Antworten enthalten sein.

Was hat die geringste Handlungsfähigkeit?

Das Prinzip der geringsten Handlungsfähigkeit beschränkt die Aktionen und die Autonomie eines KI-Agenten. Es ergänzt das Prinzip der geringsten Privilegien, welches den Zugriff auf Ressourcen und Daten einschränkt.

Warum ist die Identitätssicherheit von KI-Agenten wichtig?

KI-Agenten nutzen Dienstkonten, API-Zugangsdaten, Maschinenidentitäten und delegierte Berechtigungen für den Zugriff auf Unternehmenssysteme. Identitätssicherheit hilft Organisationen, Eigentumsverhältnisse zu klären, Zugriffe einzuschränken, Zugangsdaten zu verwalten und das Risiko unautorisierter Aktionen zu reduzieren.

Wie wirkt sich MCP auf die Sicherheit von KI-Agenten aus?

Das Model Context Protocol (MCP) ermöglicht kompatiblen KI-Clients die Interaktion mit externen Tools und Datenquellen. Unternehmen müssen MCP-Server, Authentifizierung, Tool-Berechtigungen, verbundene Systeme und nachgelagerte Aktionen absichern.

Worin besteht der Unterschied zwischen Agentenzugriff und -berechtigung?

Der Zugriff bestimmt, welche technischen Berechtigungen ein Agent hat. Die Berechtigung bestimmt, ob eine bestimmte Aktion für die zugewiesene Aufgabe, die delegierten Berechtigungen und den Geschäftszweck angemessen ist.

Welche Frameworks unterstützen die Sicherheit von KI-Agenten?

Das NIST AI Risk Management Framework unterstützt die Governance von KI-Risiken, ISO/IEC 42001 legt die Anforderungen an KI-Managementsysteme fest, und das OWASP GenAI Security Project bietet Leitlinien zu Bedrohungen durch generative KI und agentenbasierte Anwendungen.

Was sollten Organisationen bei KI-Agenten überwachen?

Organisationen sollten die Identität der Agenten, Berechtigungen, den Zugriff auf sensible Daten, Tool-Aufrufe, delegierte Aktivitäten, externe Weiterleitungen, Aktionen mit hoher Auswirkung, Sicherheitsfeststellungen und die Ergebnisse von Abhilfemaßnahmen überwachen.

Wie trägt BigID zur Sicherheit von KI-Agenten bei?

BigID hilft Unternehmen dabei, KI-Agenten und -Identitäten zu entdecken, den Zugriff auf sensible Unternehmensdaten zu verstehen, übermäßige Berechtigungen zu identifizieren, die Gefährdung zu priorisieren, die KI-Governance zu unterstützen und die Risikobeseitigung zu koordinieren.