KI-Bedrohungserkennung

Herkunft

KI-Bedrohungen begannen als Erweiterungen der traditionellen Cybersicherheit – etwa Angreifer, die gezielt Machine-Learning-Modelle manipulieren oder automatisierte Bots für Angriffe einsetzen.

Evolution

Zu den modernen Bedrohungen gehören mittlerweile:

• KI-generierte Angriffe (z. B. Phishing-E-Mails, Erstellung von Malware)
• Adversarial-Beispiele, die Computer Vision- oder NLP-Systeme täuschen
• Datenvergiftung, bei der böswillige Akteure Trainingsdaten manipulieren
• Modellextraktion und -diebstahl über öffentliche Schnittstellen
• Synthetischer Identitätsbetrug mit Deepfakes und generativen Modellen

Diese Bedrohungen sind schneller, skalierbarer und schwerer zu verfolgen als ihre herkömmlichen Gegenstücke.

• Modellmanipulation – Angriffe, die das zugrunde liegende KI-Modell verändern oder stehlen (z. B. Modellinversion)

• Sofortige Injektion – Böswillige Eingaben zur Manipulation von Ausgaben in generativen KI-Systemen

• Datenvergiftung – Einfügen beschädigter Daten während des Modelltrainings

• Gegnerische Angriffe – Gefälschte Eingaben, die KI-Vorhersagen verfälschen

• Synthetische Bedrohungen – KI-generierte Inhalte, die für Betrug, Fehlinformationen oder Identitätsbetrug verwendet werden

• Schatten-KI / Unüberwachte Modelle – Verwendung nicht autorisierter oder nicht genehmigter KI-Tools durch interne Benutzer

KI-Systeme eröffnen neue Angriffsflächen – von Modelldiebstahl und sofortiger Injektion bis hin zu gegnerischen Eingaben. Sicherheitsexperten nutzen KI-Bedrohungserkennung, um Modelle und Datensätze vor Kompromittierung zu schützen, eine sichere Bereitstellung zu gewährleisten und KI-generierte Anomalien in Echtzeit zu überwachen.

KI-Systeme verarbeiten oft große Mengen sensibler Daten. Die Bedrohungserkennung trägt dazu bei, sicherzustellen, dass personenbezogene Daten nicht offengelegt, missbraucht oder aus den Ergebnissen abgeleitet werden. Außerdem erkennt sie Modellverhalten, das möglicherweise gegen Datenschutzbestimmungen verstößt (z. B. Reidentifizierungsrisiken oder das Abfließen von Trainingsdaten).

Die KI-Bedrohungserkennung unterstützt die regulatorische Anpassung, indem sie sicherstellt, verantwortungsvoller Einsatz von KI, das Modellverhalten auf Voreingenommenheit oder Diskriminierung zu prüfen und nicht genehmigte oder Schatten-KI-Tools zu identifizieren. Es spielt eine Schlüsselrolle in Governance-Frameworks wie AI TRiSM oder ISO/IEC 42001.