Zum Inhalt springen

Verantwortungsvolle AI Wurde für Models gebaut. Agentische KI Fordert mehr.

Bei BigIDs KI-Infrastrukturgipfel, Führende Experten für Sicherheit und KI erörterten, was für den Einsatz, die Absicherung und die Steuerung von KI-Systemen im gesamten Unternehmen erforderlich ist. In ihrer Keynote…, Enza Iannopollo, Vizepräsidentin und leitende Analystin bei Forrester, untersuchten, wie agentenbasierte KI verantwortungsvolle KI neu definiert und warum sich traditionelle Ansätze der Aufsicht weiterentwickeln müssen, wenn KI-Systeme mehr Autonomie erlangen.

Verantwortungsvolle AI hat sich traditionell auf eine entscheidende Frage konzentriert: Können wir diesem KI-System vertrauen?

Organisationen haben Rahmenwerke entwickelt, um Modelle hinsichtlich Fairness, Transparenz, Genauigkeit und Sicherheit zu bewerten. Diese Schutzmaßnahmen bleiben unerlässlich, doch agentenbasierte KI erhöht die Anforderungen.

KI-Agenten generieren nicht nur Antworten. Sie können auf sensible Informationen zugreifen, mit Unternehmenssystemen interagieren und Maßnahmen ergreifen, manchmal sogar ohne menschliches Eingreifen.

Das wirft eine andere Frage auf: Können wir dem Agenten vertrauen, was er tut, mit welchen Daten er arbeitet und zu welchem Zweck?

Für Verantwortliche im Bereich Datensicherheit hat dieser Wandel unmittelbare Auswirkungen. Verantwortungsbewusste KI muss über die Bewertung von Systemen vor der Implementierung hinausgehen und auch deren Verhalten im laufenden Betrieb steuern.

Verantwortungsvolle KI darf nicht bei der Implementierung aufhören.

Traditionelle, verantwortungsvolle KI-Praktiken konzentrieren sich stark auf die Evaluierung von Systemen, bevor diese in Betrieb genommen werden.

Das Risiko für einen Agenten endet jedoch nicht mit dem Einsatz. Es kann sich mit den Informationen, denen er begegnet, den Werkzeugen, die er verwendet, und den Maßnahmen, die er ergreift, verändern.

Stellen Sie sich einen KI-Agenten vor, der ein Kundenservice-Team unterstützt. Um ein Problem zu lösen, benötigt er möglicherweise Zugriff auf Kundendaten. Sollte sich dieser Zugriff aber auch auf andere sensible Daten erstrecken? Sollte der Agent Datensätze ändern oder Transaktionen ohne Genehmigung initiieren können?

Eine Modellevaluierung kann nicht jede Frage beantworten, die während eines laufenden Arbeitsablaufs auftritt.

Verantwortungsvolle KI muss über die Bewertung von Systemen hinausgehen. ihr Verhalten.

Das bedeutet, zu wissen, worauf die Agenten Zugriff haben, was sie tun dürfen und wann ihre Handlungen ein Eingreifen erfordern.

Drei Prinzipien für verantwortungsvolle agentenbasierte KI

Iannopollo hob drei Prinzipien hervor, die besonders wichtig werden, wenn KI-Systeme autonomer werden.

1. Geringste Agentur

Das Prinzip der minimalen Berechtigungen beschränkt den Zugriff eines Systems auf bestimmte Bereiche. Das Prinzip der geringsten Handlungsfähigkeit schränkt die Möglichkeiten eines KI-Agenten ein.

Ein Mitarbeiter kann unter Umständen einen Kundendatensatz einsehen, ohne ihn ändern zu dürfen. Er kann möglicherweise eine Transaktion vorbereiten, ohne zur Ausführung befugt zu sein.

Ziel ist es, den Akteuren genügend Autonomie zu geben, um nützlich zu sein – nicht uneingeschränkte Handlungsfreiheit.

2. Kontinuierliches Risikomanagement

Verantwortungsvolle KI darf keine einmalige Genehmigung sein.

Das Risiko für einen Agenten kann sich erhöhen, wenn er auf sensible Informationen zugreift, mit zusätzlichen Systemen interagiert oder eine folgenschwere Handlung versucht.

Organisationen benötigen Einblick in das Verhalten ihrer Mitarbeiter und Kontrollmechanismen, die auf sich ändernde Risiken reagieren können.

Für Sicherheitsteams bedeutet das den Übergang von statischen Bewertungen hin zu Überwachung und Eingriff während des Betriebs.

3. Sicherung der Absicht

Einem Beauftragten kann die Erlaubnis erteilt werden, eine Handlung vorzunehmen, ohne dass er dafür einen legitimen Grund hat.

Ein Agent, der zur Suche in einem Dokumentenarchiv berechtigt ist, sollte beispielsweise nicht automatisch auf nicht damit zusammenhängende vertrauliche Dateien zugreifen können, nur weil seine Zugangsdaten dies erlauben.

Die Berechtigung regelt, was ein Agent tun darf. Die Absicht hilft dabei zu bestimmen, was er tun soll.

Diese Unterscheidung ist grundlegend für die Steuerung autonomer Systeme.

Warum Datensicherheit der Ausgangspunkt ist

Verantwortliche KI umfasst Fairness, Rechenschaftspflicht, Transparenz, Sicherheit, menschliche Aufsicht und Datenschutz. All diese Aspekte bleiben auch in einer agentenbasierten Umgebung wichtig.

Doch die Verantwortlichen für die Sicherheit stehen vor einer unmittelbaren Herausforderung: Sie können den Umgang eines Agenten mit sensiblen Informationen nicht kontrollieren, wenn sie nicht wissen, auf welche Informationen der Agent zugreifen kann.

Iannopollo brachte es auf den Punkt:

“Datenschutz und Datensicherheit sind der beste und sicherste Weg, um mit dem Aufbau einer verantwortungsvollen KI-Praxis zu beginnen.”

Das bedeutet Entdeckung und Klassifizierung von Daten, Zugriffstransparenz und geeignete Kontrollen Sie sind nicht bloß unterstützende Funktionen. Sie sind unerlässlich für verantwortungsvolle KI in der Praxis.

Sicherheitsteams sollten vier Fragen beantworten können:

  • Auf welche sensiblen Daten können unsere Agenten zugreifen?
  • Welche Maßnahmen können sie mit diesen Daten ergreifen?
  • Können wir Verhaltensweisen außerhalb der beabsichtigten Aufgabe erkennen?
  • Können wir eingreifen, bevor eine unangemessene Handlung Schaden verursacht?

Ohne diese Antworten läuft verantwortungsvolle KI Gefahr, eine politische Verpflichtung zu bleiben, anstatt eine operative Fähigkeit zu werden.

Das nächste Kapitel verantwortungsvoller KI beginnt zur Laufzeit.

Agentische KI macht bestehende Prinzipien verantwortungsvoller KI nicht überflüssig. Sie setzt vielmehr höhere Maßstäbe für deren praktische Umsetzung.

Fairness und Erklärbarkeit sind nach wie vor wichtig. Ebenso wichtig sind Verantwortlichkeit und menschliche Aufsicht.

Doch wenn KI-Systeme aktiv werden können, müssen Organisationen mehr als nur die Modellausgaben steuern. Sie müssen Zugriff, Autonomie, Absicht und Verhalten während der Arbeitsausführung regeln.

Verantwortungsvolle KI endet nicht mehr mit der Inbetriebnahme eines Agenten. Dann erst beginnt ein Teil ihrer wichtigsten Aufgaben.

Häufig gestellte Fragen

Was ist verantwortungsvolle agentische KI?
Verantwortliche agentenbasierte KI bedeutet die Anwendung von Prinzipien wie Rechenschaftspflicht, Sicherheit, Datenschutz und menschlicher Aufsicht auf KI-Systeme, die autonom auf Informationen zugreifen und Maßnahmen ergreifen können.

Was hat die geringste Handlungsfähigkeit?
Das Prinzip der geringsten Handlungsfähigkeit beschränkt die Fähigkeiten und die Autonomie eines KI-Agenten auf das für seine zugewiesene Aufgabe Notwendige. Es geht über das Prinzip der geringsten Berechtigungen hinaus, das sich auf Zugriffsrechte konzentriert.

Warum benötigt agentenbasierte KI eine Laufzeitsteuerung?
Da sich das Risiko eines Agenten mit dem Zugriff auf Daten, der Nutzung von Tools und der Durchführung von Aktionen verändern kann, benötigen Organisationen Kontrollmechanismen, die auch nach der Implementierung wirksam bleiben.

Inhalt