What is AI prompt injection?

AI prompt injection is an attack that uses malicious or deceptive instructions to manipulate an AI system into ignoring intended controls, exposing information, or taking unauthorized actions.

What is direct prompt injection?

Direct prompt injection occurs when an attacker submits malicious instructions directly through an AI prompt or user interface.

What is indirect prompt injection?

Indirect prompt injection occurs when malicious instructions are embedded in external content, such as a document, website, email, or database record, that an AI system later retrieves.

What is the difference between prompt injection and jailbreaking?

Prompt injection manipulates how an AI system follows instructions or uses data and tools. Jailbreaking generally focuses on bypassing model safeguards to produce restricted outputs.

Can prompt injection expose sensitive data?

Yes. A successful prompt injection attack may cause an AI system to reveal confidential data, credentials, system prompts, private context, or information retrieved from connected sources.

Why are AI agents vulnerable to prompt injection?

AI agents often combine model reasoning with access to data, APIs, tools, and automated actions. Prompt injection can exploit these connections to produce consequences beyond unsafe text output.

Can prompt injection be completely prevented?

No single control can eliminate all prompt injection risk. Organizations should combine least privilege, data controls, input handling, monitoring, tool restrictions, and human oversight.

How can organizations reduce prompt injection risk?

Organizations can reduce risk by classifying accessible data, enforcing least privilege, isolating untrusted content, restricting tool permissions, monitoring AI behavior, and requiring approval for high-risk actions.

AI-Sicherheit

Was ist KI-Prompt-Eingabe?

Bei der KI-Prompt-Injection handelt es sich um eine Angriffstechnik, bei der ein KI-System durch bösartige oder irreführende Anweisungen manipuliert wird, wodurch es beabsichtigte Kontrollen ignoriert, sensible Informationen preisgibt, verbundene Tools missbraucht oder unautorisierte Aktionen ausführt.

Erfahren Sie mehr über KI-Sicherheit und -Governance Definition ansehen

Manipuliert KI-Anweisungen Kann sensible Daten offenlegen Kann unautorisierte Aktionen auslösen

Prompt Injection Attack Path

01

Böswillige Anweisung Ein Angreifer übermittelt versteckte, irreführende oder feindselige Eingaben.

Injizieren

02

Modellmanipulation Das Modell interpretiert die Anweisungen des Angreifers als vertrauenswürdigen Kontext.

Überschreiben

03

Unbefugter Zugriff Die KI könnte auf geschützte Daten zugreifen oder verbundene Systeme missbrauchen.

Ausbeuten

04

Durchsetzung der Politik Zugriffskontrollen, Überwachung und Validierung helfen, Auswirkungen zu verhindern

Verteidigen

Eingabevalidierung Geringste Privilegien Datenkontrolle Überwachung Zustimmung des Menschen

Kurzdefinition

KI-gestützte Eingabeaufforderung auf einen Blick

Prompt Injection nutzt die Art und Weise aus, wie KI-Systeme Anweisungen, Kontext, abgerufene Inhalte und verbundene Tools interpretieren.

01

Primäres Ziel

Ein KI-Modell so manipulieren, dass es vertrauenswürdige Anweisungen ignoriert oder unbeabsichtigte Aktionen ausführt.

02

Gemeinsame Ziele

Große Sprachmodelle, KI-Assistenten, Kopiloten, autonome Agenten, Abrufsysteme und Chatbots.

03

Gemeinsame Eingaben

Benutzereingaben, Dokumente, Websites, E-Mails, Datenbanken, APIs, Suchergebnisse und abgerufene Inhalte.

04

Mögliche Auswirkungen

Offenlegung sensibler Daten, Umgehung von Richtlinien, Missbrauch von Werkzeugen, unautorisierte Aktionen und manipulierte Ergebnisse.

05

Wichtigste Verteidigungsstrategien

Minimale Berechtigungen, Datenklassifizierung, Eingabevalidierung, Zugriffskontrollen, Überwachung und menschliche Genehmigung.

06

Was ist KI-Prompt-Injektion?

KI-Prompt-Injektion ist eine Angriffstechnik, bei der bösartige, irreführende oder versteckte Anweisungen verwendet werden, um zu beeinflussen, wie ein KI-Modell eine Anfrage interpretiert, Richtlinien befolgt, auf Daten zugreift oder verbundene Tools verwendet.

Prompt-Injection-Angriffe nutzen die Schwierigkeit von KI-Systemen aus, vertrauenswürdige Anweisungen von nicht vertrauenswürdigen Inhalten zu unterscheiden. Ein Angreifer kann Anweisungen direkt in eine Benutzereingabeaufforderung oder indirekt über ein Dokument, eine Website, eine E-Mail, einen Datenbankeintrag oder eine andere Quelle einfügen, die das KI-System abruft und verarbeitet.

Ein erfolgreicher Angriff kann dazu führen, dass die KI Systemanweisungen ignoriert, vertrauliche Informationen preisgibt, Eingabeaufforderungen offenlegt, unsichere Inhalte generiert, APIs missbraucht oder Aktionen durchführt, die außerhalb der Befugnisse des Benutzers liegen.

Das Risiko einer sofortigen Einschleusung wird umso gravierender, wenn KI-Agenten Zugriff auf sensible Unternehmensdaten haben, externe Tools aufrufen, Code ausführen, Nachrichten senden, Datensätze ändern oder automatisierte Arbeitsabläufe initiieren können.

Arten von KI-Prompt-Injection-Angriffen

Die Eingabe von Prompts kann direkt durch Benutzereingaben oder indirekt über Inhalte, Tools und verbundene Datenquellen in ein KI-System erfolgen.

Benutzereingabe

Direkte Prompt-Injektion

Ein Angreifer übermittelt Anweisungen direkt an eine KI-Schnittstelle, um Systemrichtlinien zu umgehen, vertrauliche Informationen preiszugeben oder unautorisierte Ausgaben zu generieren.

Externe Inhalte

Indirekte Prompt-Injektion

Bösartige Anweisungen werden in Dokumenten, Webseiten, E-Mails, Datenbanken oder anderen Inhalten eingebettet, die ein KI-System abruft und als Kontext behandelt.

Versteckte Anweisungen

Gespeicherte Sofortinjektion

Bösartige Anweisungen werden in einer persistenten Datenquelle gespeichert und werden aktiviert, wenn eine KI-Anwendung diese Inhalte später abruft oder verarbeitet.

Vernetzte Systeme

Tool-gestützte Eingabeaufforderung

Bei dem Angriff wird ein KI-Agent dazu manipuliert, APIs, Plugins, Datenbanken, Geschäftsanwendungen oder andere verbundene Tools zu missbrauchen.

Angriffslebenszyklus

Wie die KI-gestützte Eingabeaufforderung funktioniert

Prompt Injection nutzt den Fluss von Anweisungen, Kontext, Daten und Werkzeugzugriff durch eine KI-Anwendung.

01

Identifizieren Sie

Eine KI-Anwendung als Ziel auswählen

Der Angreifer identifiziert einen KI-Assistenten, Agenten, Chatbot, Abrufsystem oder Workflow, der nicht vertrauenswürdige Inhalte akzeptiert oder abruft.

02

Injizieren

Schädliche Anweisungen einführen

Die Anweisungen werden entweder direkt übermittelt oder in Inhalte eingebettet, die das KI-System voraussichtlich abrufen und verarbeiten wird.

03

Manipulieren

Vertrauenswürdigen Kontext überschreiben

Das Modell kann nicht zwischen vom Angreifer kontrollierten Inhalten und vertrauenswürdigen Systemanweisungen oder legitimen Geschäftskontexten unterscheiden.

04

Zugang

Reach-Daten oder verbundene Tools

Die manipulierte KI kann eingeschränkte Informationen abrufen, Eingabeaufforderungen anzeigen, APIs aufrufen oder mit Unternehmenssystemen interagieren.

05

Ausführen

Ein nicht autorisiertes Ergebnis erzeugen

Die KI kann sensible Informationen offenlegen, manipulierte Ergebnisse erzeugen oder Aktionen ausführen, die außerhalb des vorgesehenen Arbeitsablaufs liegen.

06

Bestehen

Zukünftige Interaktionen beeinflussen

Gespeicherte schädliche Inhalte können in Dokumenten, Datenbanken oder Speichersystemen verbleiben und zukünftige KI-Anfragen beeinträchtigen.

Unternehmensrisiko

Warum KI-gestützte Prompt-Eingabe wichtig ist

Durch eine prompte Einschleusung kann der legitime Zugriff eines KI-Systems auf Daten, Tools und Anwendungen in einen Weg für unautorisierte Aktivitäten verwandelt werden.

01

Offenlegung sensibler Daten

Manipulierte KI-Systeme können vertrauliche Aufzeichnungen, Zugangsdaten, regulierte Daten, Systemaufforderungen oder private Geschäftskontexte offenlegen.

02

Unerlaubte Werkzeugnutzung

KI-Agenten können dazu verleitet werden, APIs aufzurufen, Nachrichten zu senden, Datensätze zu ändern oder Arbeitsabläufe ohne gültige Genehmigung auszuführen.

03

Richtlinien- und Kontrollumgehung

Angreifer könnten versuchen, Sicherheitsregeln, Zugriffsbeschränkungen, Filterrichtlinien oder beabsichtigte Betriebsgrenzen zu umgehen.

04

Manipulierte Entscheidungen

Geschädigte Anweisungen können Zusammenfassungen, Empfehlungen, Klassifizierungen, automatisierte Entscheidungen und nachfolgende Aktionen verfälschen.

Risikominderung

KI-gestützte Prävention von Injektionen – Bewährte Verfahren

Keine einzelne Kontrollmaßnahme kann das Risiko einer sofortigen Einschleusung vollständig ausschließen. Eine wirksame Verteidigung erfordert mehrschichtige Kontrollen in den Bereichen Daten, Identität, Modelle, Anwendungen, Tools und Arbeitsabläufe.

01

Zugängliche Daten entdecken und klassifizieren

Ermitteln Sie, welche sensiblen, regulierten oder vertraulichen Daten KI-Modelle und -Agenten abrufen können, bevor der Zugriff gewährt wird.

02

Zugriff nach dem Prinzip der minimalen Berechtigungen durchsetzen

Beschränken Sie jedes KI-Modell, jeden Agenten, jedes Tool und jeden Benutzer auf die minimalen Daten und Aktionen, die für den genehmigten Anwendungsfall erforderlich sind.

03

Behandeln Sie abgerufene Inhalte als nicht vertrauenswürdig.

Trennen Sie Systemanweisungen von externen Inhalten und verhindern Sie, dass Dokumente, Websites oder Nachrichten automatisch zu vertrauenswürdigen Befehlen werden.

04

Genehmigung für risikoreiche Maßnahmen erforderlich

Bevor ein KI-Agent Daten sendet, Datensätze ändert, Code ausführt oder Folgeprozesse initiiert, sollte eine menschliche Überprüfung oder eine richtlinienbasierte Bestätigung erfolgen.

05

KI-Verhalten kontinuierlich überwachen

Verfolgen Sie Eingabeaufforderungen, Datenzugriffe, Tool-Aufrufe, Richtlinienverstöße, anormales Verhalten und Agentenaktionen über den gesamten KI-Lebenszyklus hinweg.

Häufig gestellte Fragen

Häufig gestellte Fragen zur KI-gestützten Eingabeaufforderung

Hier finden Sie Antworten auf häufig gestellte Fragen zu Prompt-Injection-Angriffen, indirekter Dateneinschleusung, KI-Agenten, sensiblen Daten und Präventionsmaßnahmen.

Was ist KI-Prompt-Injektion?

Bei einer KI-Prompt-Injection handelt es sich um einen Angriff, bei dem bösartige oder irreführende Anweisungen verwendet werden, um ein KI-System dazu zu bringen, beabsichtigte Kontrollen zu ignorieren, Informationen preiszugeben oder unautorisierte Aktionen auszuführen.

Was ist direkte Provokationsinjektion?

Direkte Prompt-Injektion liegt vor, wenn ein Angreifer bösartige Anweisungen direkt über eine KI-Prompt oder eine Benutzeroberfläche übermittelt.

Was ist eine indirekte Provokationsinjektion?

Bei der indirekten Prompt-Injektion werden bösartige Anweisungen in externe Inhalte wie Dokumente, Webseiten, E-Mails oder Datenbankeinträge eingebettet, die ein KI-System später abruft.

Worin besteht der Unterschied zwischen Prompt-Injection und Jailbreaking?

Prompt Injection manipuliert, wie ein KI-System Anweisungen befolgt oder Daten und Werkzeuge nutzt. Jailbreaking konzentriert sich im Allgemeinen darauf, die Schutzmechanismen des Modells zu umgehen, um eingeschränkte Ergebnisse zu erzielen.

Kann Prompt-Injection sensible Daten offenlegen?

Ja. Ein erfolgreicher Prompt-Injection-Angriff kann dazu führen, dass ein KI-System vertrauliche Daten, Anmeldeinformationen, Systemprompts, private Kontextinformationen oder Informationen aus verbundenen Quellen preisgibt.

Warum sind KI-Agenten anfällig für Prompt Injection?

KI-Agenten kombinieren häufig Modelllogik mit dem Zugriff auf Daten, APIs, Tools und automatisierte Aktionen. Prompt Injection kann diese Verbindungen ausnutzen, um Konsequenzen zu erzeugen, die über unsichere Textausgabe hinausgehen.

Lässt sich eine sofortige Injektion vollständig verhindern?

Keine einzelne Kontrollmaßnahme kann das Risiko von Prompt-Injection vollständig ausschließen. Organisationen sollten daher das Prinzip der minimalen Berechtigungen, Datenkontrollen, Eingabeverarbeitung, Überwachung, Werkzeugbeschränkungen und menschliche Aufsicht kombinieren.

Wie können Organisationen das Risiko einer zu schnellen Injektion reduzieren?

Organisationen können das Risiko reduzieren, indem sie zugängliche Daten klassifizieren, das Prinzip der minimalen Berechtigungen durchsetzen, nicht vertrauenswürdige Inhalte isolieren, die Berechtigungen für Tools einschränken, das Verhalten von KI überwachen und für risikoreiche Aktionen eine Genehmigung verlangen.

Weiter erkunden

Schnelle Injektion reduzieren Risiko auf der Datenebene

BigID hilft Unternehmen dabei, sensible Daten zu erkennen, den Zugriff auf KI-Systeme zu steuern, das Verhalten von Agenten zu überwachen, Richtlinien durchzusetzen und die Datenexposition über KI-Modelle, Agenten, Anwendungen und Unternehmensumgebungen hinweg zu reduzieren.

Demo anfordern Entdecken Sie die KI-Sicherheit

Was ist KI-Prompt-Eingabe?