Zum Hauptinhalt springen

Glossar P

Glossar · Querschnitt

Prompt Injection

Bereich
Beide Stränge

Prompt Injection bezeichnet eine Schwachstelle, bei der Eingaben oder eingeschleuste Inhalte das Verhalten oder die Ausgabe eines Sprachmodells in nicht vorgesehener Weise verändern.

Für Menschen müssen solche Eingaben nicht einmal erkennbar sein: Nach dem OWASP-Projekt zur Sicherheit generativer KI (englisch) können sie auch dann wirken, wenn niemand sie wahrnimmt. Das BSI unterscheidet zwei Wege. Bei der direkten Variante verändern Nutzende ihre Eingabe an ein generatives KI-Modell. Sie tun das so, dass Sicherheitsmechanismen umgangen werden oder das Modell aus seiner vorgegebenen Rolle ausbricht. Bei der indirekten Variante steckt die Manipulation in ungeprüften Drittquellen wie Webseiten oder Dokumenten, die das Sprachmodell verarbeitet.

Heikel wird das, sobald die Software selbst handeln darf. Kann eine Anwendung auf Basis eines Sprachmodells entsprechend handeln und zugreifen, können laut BSI unerlaubte Aktionen folgen, etwa unerwünschte Käufe oder das Versenden und Löschen von E-Mails. Das trifft etwa auf einen KI-Agenten zu, der auf Bestellungen oder ein Postfach zugreift. Eine einzelne hochwirksame Maßnahme gegen indirekte Prompt Injections gibt es nach Einschätzung der Behörde derzeit nicht. In der Praxis werden mehrere Maßnahmen kombiniert. In seiner Studie zu generativen KI-Modellen nennt das BSI als Gegenmaßnahme, kritische Aktionen von einer ausdrücklichen Zustimmung der Nutzenden abhängig zu machen, etwa über einen Bestätigungs-Button.

Die KI-Agenten, die wir bauen, legen Entwürfe und Vorschauen an. Veröffentlicht wird erst nach menschlicher Freigabe. In einer von uns entwickelten Wissensplattform sieht der Chatbot über einen eigenen Zugang nur freigegebene Inhalte.

Wo der Begriff vorkommt

Quellen

  1. LLM01:2025 Prompt Injection (öffnet in neuem Tab)

    OWASP Gen AI Security Project (OWASP Foundation) abgerufen am

  2. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17.01.2025 (öffnet in neuem Tab)

    Bundesamt für Sicherheit in der Informationstechnik (BSI) abgerufen am

  3. Die Lage der IT-Sicherheit in Deutschland, Kapitel Resiliente Gestaltung von LLM-Systemen (öffnet in neuem Tab)

    Bundesamt für Sicherheit in der Informationstechnik (BSI) abgerufen am

Auf LinkedIn teilen

Sprechen wir über Ihr Projekt.

Wenn der Begriff bei Ihnen gerade eine Rolle spielt, hilft ein Gespräch meist schneller als jede Definition.

Website durchsuchen

Häufige Themen

Alle Treffer