Die Einführung von KI schreitet in einem beispiellosen Tempo voran. KI-Governance Die Rahmenbedingungen, Richtlinien und operativen Kontrollen, die Unternehmen nutzen, um zu steuern, wie KI-Systeme auf Unternehmensdaten zugreifen, diese verarbeiten und darauf reagieren, können kaum mithalten.
Wichtigste Erkenntnisse: Was Führungskräfte im Bereich KI-Sicherheit wissen müssen
- Die Steuerung von KI muss operativ sein, nicht nur eine Richtlinie. Die größte Herausforderung bei KI ist nicht die Technologie selbst, sondern die Steuerung der Interaktion von KI-Systemen mit Unternehmensdaten in Echtzeit.
- Das KI-Risikoproblem ist ein Datenproblem. Die meisten Fehler im Bereich der KI-Governance resultieren aus unkontrolliertem Datenzugriff, nicht aus Modellfehlern. Datentransparenz ist die Grundlage jeder KI-Sicherheitsstrategie.
- Agentische KI erfordert Identitätsmanagement. Autonome KI-Agenten benötigen die gleichen Zugriffskontrollen wie menschliche Mitarbeiter – zentrale Identitätsverwaltung, Prinzip der minimalen Berechtigungen und kontinuierliche Überwachung.
- Die Sicherheit von KI erstreckt sich über den gesamten ML-Lebenszyklus. Die Integrität der Trainingsdaten, die Überwachung des Modellverhaltens und die Gewährleistung einer sicheren Benutzeroberfläche sind allesamt Bestandteile der KI-Sicherheit in Unternehmen – und nicht nur der Produktions-API.
- Übermäßiges Vertrauen in bestehende Rahmenbedingungen ist ein Risiko der KI. Viele Organisationen glauben, ihre bestehenden Datenschutz- und Sicherheitsprogramme deckten auch KI ab. Die meisten tun dies nicht. Eine kontinuierliche, funktionsübergreifende KI-Governance ist erforderlich.
- Führung im Bereich KI-Sicherheit beginnt mit einer einzigen Frage: Kennen Sie Ihre Daten? Ohne Datentransparenz ist die Steuerung von KI nahezu unmöglich.
Was ist KI-Governance?
KI-Governance bezeichnet die operativen Rahmenbedingungen, Kontrollen und Verantwortlichkeitsstrukturen, die Organisationen nutzen, um die Interaktion von KI-Systemen mit Unternehmensdaten, Mitarbeitern und Prozessen zu steuern. Effektive KI-Governance umfasst Datentransparenz, Identitätsmanagement, Sicherheitsüberwachung und Einhaltung gesetzlicher Vorschriften – und müssen kontinuierlich in die gesamte Infrastruktur integriert werden. KI-Lebenszyklus, nicht beschränkt auf im Voraus erstellte Richtliniendokumente.
Diese Diskrepanz zwischen den Erwartungen der Organisationen an KI und ihren Kontrollmöglichkeiten stand im Mittelpunkt des AI Governance Leadership Forums, bei dem sich führende Experten aus den Bereichen Sicherheit, Datenschutz und KI-Sicherheit trafen, um zu erörtern, wie verantwortungsvolle KI in der Praxis aussieht.
In der Keynote und den beiden Expertenrunden kristallisierte sich immer wieder eine Erkenntnis heraus: KI-Governance darf nicht länger nur in Strategiepapieren existieren. Sie muss operativ umgesetzt werden. Und die Organisationen, die KI-Governance erfolgreich gestalten, werden nicht nur am schnellsten agieren – sie werden auch am intelligentesten steuern.
Schauen wir uns genauer an, wie sich diese Erkenntnisse in der Praxis auswirken.
KI-Sicherheit in einem agentengesteuerten Unternehmen: Governance & Risiko
Hauptvortrag: Francis Odum, Gründer und CEO, Softwareanalyst Cyberforschung
Die Sicherheit von KI hat einen Wendepunkt für die Unternehmensführung erreicht. Organisationen führen KI rasant ein – oft unter dem Druck von Vorständen und Führungskräften, die eine schnellere Umsetzung anstreben. Doch die für dieses Wachstum notwendigen KI-Sicherheitsframeworks hinken noch hinterher.
Die Einführung von KI beschleunigt sich, weil Vorstände und CEOs darauf drängen – doch die Sicherheit hinkt noch hinterher.
— Francis Odum, Gründer und CEO, Softwareanalyst Cyberforschung
Der Aufstieg agentenbasierter KI und seine Bedeutung für die Sicherheit
Der Wandel betrifft nicht nur generative KI Werkzeuge nicht mehr. Unternehmen bewegen sich hin zu agentenbasierte KI-Systeme – Autonome Agenten, die logisch denken, mit Systemen interagieren und Aufgaben mit minimaler menschlicher Aufsicht erledigen können. Das verändert die Gleichung für KI-Governance und KI-Risiken grundlegend.
Diese Agenten interagieren mit Unternehmenssystemen auf dieselbe Weise wie Mitarbeiter: Sie greifen auf Dateien, APIs, CRM-Systeme, interne Dokumentationen und Kundendatensätze zu. Das bedeutet, dass das KI-Risiko nicht mehr theoretisch, sondern operativ ist.
Das KI-Risikoproblem ist eigentlich ein Datenproblem
KI-Risikomanagement Der Ausgangspunkt muss die Datenanalyse sein. Viele Organisationen konzentrieren sich zwar auf die Sicherheit ihrer Modelle, doch das größere Risiko liegt im Datenzugriff. KI-Systeme verbinden sich zunehmend mit sensiblen Unternehmensdatenquellen und vergrößern so die Angriffsfläche dramatisch.
Die meisten Governance-Fehler entstehen nicht durch Modellgewichte, sondern durch den damit verbundenen Kontext: Dateien, E-Mails, Kundendaten und Quellcode.
— Francis Odum
Verschaffen Sie sich Einblick in den Zugriff auf KI-Daten, die Identität und die Risiken in der gesamten Umgebung.
Ein Rahmenwerk für KI-Sicherheitsführung
Egal wie fortschrittlich die KI wird, das Problem beginnt immer noch als Datenproblem. Odum skizzierte drei Prioritäten für die KI-Sicherheitsführung im Zeitalter der Agenten:
- Zusammenführung von Daten-, Identitäts- und KI-Governance
- Verwalten Sie KI-Agenten wie digitale Mitarbeiter mit zentralisierte Identitäts- und Zugriffskontrolle
- Beginnen Sie mit Datentransparenz: Bevor Unternehmen KI einsetzen, müssen sie verstehen, welche Daten existieren und wo sie gespeichert sind.
Ich bin wirklich beeindruckt von BigIDs Schritt hin zu agentenbasierter Identitätsverwaltung – der Erweiterung der Identitätstransparenz auf die Datenebene. Da nicht-menschliche Identitäten eine immer größere Rolle spielen, ist es entscheidend zu verstehen, wie sie mit sensiblen Daten interagieren.
— Francis Odum
KI-Governance für Datenschutz: Gestaltung unvorhersehbarer Systeme
Teilnehmer: Aaron Weller (HP), Chantra Stevenson (Alaska Airlines), Mae-Beth Magno (Boeing)
Herkömmliche Ansätze zum datenschutzfreundlichen Design gingen von einem deterministischen Systemverhalten aus. Generative KI bricht mit diesem Modell. In dieser Sitzung wurde eine grundlegende Herausforderung der KI-Governance behandelt: wie sich Datenschutzrahmen für KI-Systeme weiterentwickeln müssen die sich nicht vorhersehbar verhalten.
KI-Governance muss kontinuierlich werden
KI-Systeme lernen, entwickeln sich weiter und verhalten sich mitunter unerwartet. Daher muss die KI-Governance von statischen Überprüfungen hin zu kontinuierlicher Überwachung verlagert werden. Organisationen benötigen nun:
- Kontinuierliche Verhaltensüberwachung
- Drifterkennung und Anomaliewarnungen
- Verhaltenstests des Modells nach der Bereitstellung
- Überprüfung der KI-Governance nach der Implementierung
Der traditionelle Ansatz des datenschutzfreundlichen Designs ging davon aus, dass wir genau wüssten, was ein System tun würde. Mit generativer KI entwickeln wir Systeme, die uns überraschen könnten.
— Aaron Weller, HP
Selbstüberschätzung ist ein wachsendes KI-Risiko
Eine wichtige Erkenntnis der Expertenrunde: Viele Organisationen glauben, ihre bestehenden Datenschutzrahmenwerke deckten bereits KI ab. Diese Annahme birgt selbst ein KI-Risiko.
Viele Organisationen überschätzen ihre Bereitschaft zum Schutz der Privatsphäre im Hinblick auf generative KI.
— Chantra Stevenson, Alaska Airlines
Neue Risiken der künstlichen Intelligenz – von der sofortigen Dateneingabe bis zum Datenleck im Trainingsbereich – erfordern Ansätze zur KI-Governance, die über traditionelle Datenschutzprogramme hinausgehen.
KI-Governance erfordert funktionsübergreifende Zusammenarbeit
Das ist kein Kontrollprozess mehr – das ist Infrastruktur.
— Mae-Beth Magno, Boeing
KI-Compliance und Datenschutz-Governance können nicht isoliert betrachtet werden. Sie müssen direkt in die Produktentwicklung integriert werden – in enger Zusammenarbeit mit den Teams aus Entwicklung, Produktmanagement und Daten-Governance. Ziel ist es nicht, Innovationen zu bremsen, sondern skalierbare Schutzmechanismen zu schaffen.
Sicherung von KI-Systemen von der Schulung bis zur Produktion
Panel: Sabna Sainudeen (Carlsberg), Samaresh Singh (HP), Marissa Palmer (TrueCar)
Die Absicherung von KI-Systemen erfordert einen grundlegend anderen Ansatz als die traditionelle Infrastruktursicherheit. KI-Sicherheit muss den gesamten Lebenszyklus des maschinellen Lernens abdecken – von der Integrität der Trainingsdaten über die Modellbereitstellung bis hin zur Inferenz.
KI erweitert die Sicherheitsfläche von Unternehmen
KI-Systeme bringen völlig neue Sicherheitsaspekte mit sich. Organisationen müssen nun Folgendes sicherstellen:
- Trainingsdatensätze und Datenpipelines
- Modellartefakte und Gewichtungen
- Inferenzpipelines und APIs
- Eingabeaufforderungsschnittstellen und Agentenzugangspunkte
Sicherheit muss im gesamten Lebenszyklus des maschinellen Lernens verankert sein – nicht nur in der API- oder Produktionsschicht.
— Samaresh Singh, HP
Integrität der Trainingsdaten: Die kritischste Ebene
Eine der größten Sicherheitslücken in KI-Systemen liegt ganz am Anfang ihres Lebenszyklus: die Integrität der Trainingsdaten. Sind die Trainingsdaten kompromittiert, kann das Verhalten des Modells unzuverlässig werden – und das Problem tritt unter Umständen erst viel später zutage.
Werden die Trainingsdaten frühzeitig manipuliert, kann das Verhalten des Modells das Problem erst viel später offenbaren.
— Samaresh Singh, HP
KI-Sicherheit erfordert Verhaltensüberwachung
KI-Systeme verändern die Arbeitsweise von Sicherheitsteams. Anstatt sich nur auf Infrastrukturwarnungen zu konzentrieren, müssen die Teams das Verhalten von Modellen und Anomalien überwachen.
Wir müssen nach Verhaltensanomalien Ausschau halten – denn KI versagt nicht immer auf offensichtliche Weise.
— Marissa Palmer, TrueCar
KI-Sicherheit baut auf bestehenden Grundlagen auf – erfordert aber neue Ebenen.
Trotz der neuen Komplexität gelten viele traditionelle Sicherheitsprinzipien weiterhin. Unternehmen können die Sicherheit ihrer CI/CD-Pipelines, das Scannen von Abhängigkeiten und die Infrastrukturüberwachung wiederverwenden – müssen diese jedoch um Daten-Governance, Modellüberwachung und KI-spezifische Bedrohungserkennung erweitern.
Viele unserer bestehenden Sicherheitspraktiken können wir wiederverwenden – die Datenschicht und das Modellverhalten stellen uns jedoch vor völlig neue Herausforderungen.
— Sabna Sainudeen, Carlsberg Group
Der strategische Wandel: Von der KI-Einführung zur KI-Governance
In allen drei Sitzungen kristallisierte sich eine Erkenntnis heraus: Die größte Herausforderung bei KI liegt nicht in der Technologie selbst, sondern in der Steuerung ihrer Interaktion mit Unternehmensdaten. KI-Systeme verstärken bestehende Risiken in Bezug auf Datenzugriff, Identitätsmanagement, Sicherheitsüberwachung und regulatorische Verantwortlichkeit.
Die Organisationen, die mit KI erfolgreich sein werden, werden nicht nur am schnellsten agieren – sie werden auch am intelligentesten steuern. Und die Steuerung von KI beginnt mit einer einfachen Frage:
Kennen Sie Ihre Daten eigentlich wirklich?
Denn ohne diese Transparenz wird die Steuerung von KI – und das Management von KI-Risiken – nahezu unmöglich.
Häufig gestellte Fragen zu KI-Governance und KI-Sicherheit
Was ist KI-Governance und warum ist sie für die Unternehmenssicherheit wichtig?
KI-Governance umfasst die operativen Rahmenbedingungen, Richtlinien und Kontrollen, mit denen Unternehmen steuern, wie KI-Systeme auf Daten zugreifen, Entscheidungen treffen und in Unternehmensumgebungen agieren. Sie ist für die KI-Sicherheit von entscheidender Bedeutung, da unkontrollierte KI die Angriffsfläche drastisch vergrößert – sie kann ohne angemessene Aufsicht auf sensible Dateien, Kundendatensätze, APIs und Quellcode zugreifen.
Was sind die größten KI-Risiken für Unternehmen im Jahr 2025?
Zu den größten KI-Risiken für Unternehmen zählen: unkontrollierter Datenzugriff durch KI-Systeme, Manipulation von Trainingsdaten, Prompt-Injection-Angriffe, Datenlecks, übermäßiges Vertrauen in bestehende Datenschutzmechanismen und mangelnde Verhaltensüberwachung nach der Implementierung. KI-Sicherheitsexperten betonen immer wieder, dass KI-Risikomanagement mit Datentransparenz beginnen muss.
Worin unterscheidet sich agentenbasierte KI von den traditionellen Herausforderungen der KI-Governance?
Agentische KI-Systeme sind autonome Agenten, die selbstständig logisch denken, Aktionen ausführen und mit Unternehmenssystemen – darunter Dateien, APIs, CRM-Plattformen und interne Dokumentationen – interagieren können, ohne ständige menschliche Aufsicht. Dies macht die Governance agentischer KI deutlich komplexer als die herkömmlicher KI-Governance, da sich diese Agenten eher wie digitale Mitarbeiter verhalten und entsprechende Identitäts- und Zugriffskontrollen erfordern.
Wie sieht Führung im Bereich KI-Sicherheit in der Praxis aus?
KI-Sicherheitsführerschaft bedeutet die operative Umsetzung von KI-Governance über Daten-, Identitäts- und Sicherheitsfunktionen hinweg. Dies umfasst die Zusammenführung von Daten-Governance und Identitätsmanagement, die Behandlung von KI-Agenten als verwaltete digitale Identitäten, die Absicherung des gesamten ML-Lebenszyklus von den Trainingsdaten bis zur Inferenz und die Integration kontinuierlicher Überwachung in KI-Implementierungen anstelle von einmaligen Überprüfungen.
Wie sollten Organisationen ein Rahmenwerk für die KI-Governance aufbauen?
Ein effektiver Rahmen für die KI-Governance sollte: (1) Datentransparenz als Grundlage schaffen, (2) Identitäts- und Zugriffskontrollen sowohl für menschliche als auch für KI-Agenten integrieren, (3) Sicherheits- und Datenschutzprüfungen kontinuierlich während des gesamten KI-Lebenszyklus einbetten, (4) Verhaltensüberwachung und Abweichungserkennung nach der Bereitstellung beinhalten und (5) funktionsübergreifende Teams, einschließlich Sicherheit, Datenschutz, Entwicklung und Recht, auf eine gemeinsame Verantwortung für KI-Risiken ausrichten.
Welcher Zusammenhang besteht zwischen Daten-Governance und KI-Sicherheit?
Daten-Governance und KI-Sicherheit sind untrennbar miteinander verbunden. KI-Systeme lassen sich nur dann sichern, wenn Unternehmen zunächst verstehen, welche Daten existieren, wo sie gespeichert sind und wer – oder was – darauf zugreifen kann. Daten-Governance bildet die Grundlage für KI-Sicherheit, indem sie Unternehmen ermöglicht, die Verwendung von Trainingsdaten zu kontrollieren, den Zugriff von KI-Agenten auf sensible Daten einzuschränken und anomale Datenzugriffsmuster zu erkennen.
Sehen Sie sich die vollständige Aufzeichnung des Forums an
Erfahren Sie, wie BigID Unternehmen dabei unterstützt, Daten für KI zu entdecken, zu sichern und zu verwalten – vom Training bis zur Produktion.
