# Halluzination

> Eine Halluzination ist eine meist glaubhaft wirkende, aber erfundene Ausgabe eines KI-Modells, deren Inhalt weder aus der Eingabe noch aus den Trainingsdaten stammt.

Originalseite: https://t10.de/glossar/halluzination
Herausgeber: total10 GmbH, https://t10.de/glossar

Ein Beispiel liefert die [Studie zu generativen KI-Modellen](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=7) des Bundesamts für Sicherheit in der Informationstechnik (BSI): ein Modell, das bei Eingaben zu aktuellen Themen Inhalte erfindet. Bei großen Sprachmodellen hält die Behörde Halluzinationen für ein erhebliches Problem, weil die Ausgaben meist glaubwürdig erscheinen. Das gilt besonders für Verweise auf Veröffentlichungen oder andere Quellen, die ihrerseits erfunden sein können.

In einem Onlineshop kann dadurch eine erfundene Produkteigenschaft in den Text geraten, in einer Fachanwendung eine erfundene Frist. Ein verbreitetes Gegenmittel ist laut BSI eine Wissensbasis per RAG. Die Folgen lassen sich mildern, wenn die Anwendung anzeigt, auf welchen Textauszügen eine Antwort beruht. Wo Auswirkungen kritisch sein können, empfiehlt die Behörde, die Ausgaben zu prüfen. Bei Bedarf sollen sie mit weiteren Quellen abgeglichen und gegebenenfalls vor der Weiterverwendung von Hand nachbearbeitet werden.

Gegenmaßnahmen sind bei uns von Anfang an eingeplant. In der Wissensplattform eines Pharmalogistikers darf das Modell des Analysewerkzeugs nichts erfinden oder raten und muss bei Unklarheiten nachfragen. Werte wie die nächste freie Vorgangsnummer liefert die Schnittstelle, kein Agent muss sie raten. Meldet der E-Mail-Agent dort einen Erfolg, den es nicht gab, fällt das auf, weil das Protokoll seiner Aktionen vom System stammt. In einem anderen Ablauf prüft ein zweiter KI-Agent mit anderem Modell die Zitate eines ersten. Ein Skript ohne KI sucht jedes Zitat wörtlich in der Quelle.

## Siehe auch

- [KI-Agent](https://t10.de/glossar/ki-agent): Ein KI-Agent ist ein Softwaresystem, das mit einem Sprachmodell und verbundenen Werkzeugen eigenständig handelt und Aufgaben in mehreren Schritten ausführt.
- [RAG](https://t10.de/glossar/rag): Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem eine Anwendung passende Inhalte aus einer Wissensbasis sucht und sie einem Sprachmodell zusammen mit der Anfrage übergibt.
- [Sprachmodell](https://t10.de/glossar/sprachmodell): Ein Sprachmodell ist ein mit großen Textmengen trainiertes KI-Modell, das Texte verarbeitet und neue erzeugt, indem es wahrscheinliche Fortsetzungen vorhersagt.

## Wo der Begriff vorkommt

- [KI-Agenten für Unternehmen: individuell entwickelt](https://t10.de/ki-agenten)
- [Wissensplattform für einen Pharma-Logistiker: Was das Team weiß, bleibt im Haus](https://t10.de/blog/wissensplattform-pharma)

## Quellen

1. [Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17.01.2025](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=7), Bundesamt für Sicherheit in der Informationstechnik (BSI), abgerufen am 2026-11-07