Prompt Injection bezeichnet eine Schwachstelle, bei der Eingaben oder eingeschleuste Inhalte das Verhalten oder die Ausgabe eines Sprachmodells in nicht vorgesehener Weise verändern.
Für Menschen müssen solche Eingaben nicht einmal erkennbar sein: Nach dem OWASP-Projekt zur Sicherheit generativer KI (englisch) können sie auch dann wirken, wenn niemand sie wahrnimmt. Das BSI unterscheidet zwei Wege. Bei der direkten Variante verändern Nutzende ihre Eingabe an ein generatives KI-Modell KI Künstliche Intelligenz (KI) bezeichnet Computersysteme, die Aufgaben lösen, für die ein Mensch Intelligenz braucht, etwa das Verfassen eines Textes oder das Einordnen einer Anfrage. Im Glossar lesen → . Sie tun das so, dass Sicherheitsmechanismen umgangen werden oder das Modell aus seiner vorgegebenen Rolle ausbricht. Bei der indirekten Variante steckt die Manipulation in ungeprüften Drittquellen wie Webseiten oder Dokumenten, die das Sprachmodell Sprachmodell Ein Sprachmodell ist ein mit großen Textmengen trainiertes KI-Modell, das Texte verarbeitet und neue erzeugt, indem es wahrscheinliche Fortsetzungen vorhersagt. Im Glossar lesen → verarbeitet.
Heikel wird das, sobald die Software selbst handeln darf. Kann eine Anwendung auf Basis eines Sprachmodells entsprechend handeln und zugreifen, können laut BSI unerlaubte Aktionen folgen, etwa unerwünschte Käufe oder das Versenden und Löschen von E-Mails. Das trifft etwa auf einen KI-Agenten KI-Agent Ein KI-Agent ist ein Softwaresystem, das mit einem Sprachmodell und verbundenen Werkzeugen eigenständig handelt und Aufgaben in mehreren Schritten ausführt. Im Glossar lesen → zu, der auf Bestellungen oder ein Postfach zugreift. Eine einzelne hochwirksame Maßnahme gegen indirekte Prompt Prompt Ein Prompt ist die Eingabe oder Anweisung, die ein Mensch oder eine Anwendung an ein KI-Modell richtet und zu der das Modell eine Ausgabe erzeugt. Im Glossar lesen → Injections gibt es nach Einschätzung der Behörde derzeit nicht. In der Praxis werden mehrere Maßnahmen kombiniert. In seiner Studie zu generativen KI-Modellen nennt das BSI als Gegenmaßnahme, kritische Aktionen von einer ausdrücklichen Zustimmung der Nutzenden abhängig zu machen, etwa über einen Bestätigungs-Button.
Die KI-Agenten, die wir bauen, legen Entwürfe und Vorschauen an. Veröffentlicht wird erst nach menschlicher Freigabe. In einer von uns entwickelten Wissensplattform sieht der Chatbot über einen eigenen Zugang nur freigegebene Inhalte.
Wo der Begriff vorkommt
Siehe auch
-
KI-Agent
Ein KI-Agent ist ein Softwaresystem, das mit einem Sprachmodell und verbundenen Werkzeugen eigenständig handelt und Aufgaben in mehreren Schritten ausführt.
E-Commerce
-
RAG
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem eine Anwendung passende Inhalte aus einer Wissensbasis sucht und sie einem Sprachmodell zusammen mit der Anfrage übergibt.
E-Commerce
-
Prompt
Ein Prompt ist die Eingabe oder Anweisung, die ein Mensch oder eine Anwendung an ein KI-Modell richtet und zu der das Modell eine Ausgabe erzeugt.
E-Commerce
-
Sprachmodell
Ein Sprachmodell ist ein mit großen Textmengen trainiertes KI-Modell, das Texte verarbeitet und neue erzeugt, indem es wahrscheinliche Fortsetzungen vorhersagt.
E-Commerce
Quellen
-
LLM01:2025 Prompt Injection (öffnet in neuem Tab)
OWASP Gen AI Security Project (OWASP Foundation) abgerufen am
-
Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17.01.2025 (öffnet in neuem Tab)
Bundesamt für Sicherheit in der Informationstechnik (BSI) abgerufen am
-
Die Lage der IT-Sicherheit in Deutschland, Kapitel Resiliente Gestaltung von LLM-Systemen (öffnet in neuem Tab)
Bundesamt für Sicherheit in der Informationstechnik (BSI) abgerufen am