Halluzination

Ein Beispiel liefert die Studie zu generativen KI-Modellen des Bundesamts für Sicherheit in der Informationstechnik (BSI): ein Modell, das bei Eingaben zu aktuellen Themen Inhalte erfindet. Bei großen Sprachmodellen Sprachmodell Ein Sprachmodell ist ein mit großen Textmengen trainiertes KI-Modell, das Texte verarbeitet und neue erzeugt, indem es wahrscheinliche Fortsetzungen vorhersagt. Im Glossar lesen → hält die Behörde Halluzinationen für ein erhebliches Problem, weil die Ausgaben meist glaubwürdig erscheinen. Das gilt besonders für Verweise auf Veröffentlichungen oder andere Quellen, die ihrerseits erfunden sein können.

In einem Onlineshop kann dadurch eine erfundene Produkteigenschaft in den Text geraten, in einer Fachanwendung Fachanwendung Eine Fachanwendung ist im Allgemeinen Software, mit der geschäftliche Funktionen ausgeführt oder unterstützt werden. Im Glossar lesen → eine erfundene Frist. Ein verbreitetes Gegenmittel ist laut BSI eine Wissensbasis per RAG RAG Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem eine Anwendung passende Inhalte aus einer Wissensbasis sucht und sie einem Sprachmodell zusammen mit der Anfrage übergibt. Im Glossar lesen → . Die Folgen lassen sich mildern, wenn die Anwendung anzeigt, auf welchen Textauszügen eine Antwort beruht. Wo Auswirkungen kritisch sein können, empfiehlt die Behörde, die Ausgaben zu prüfen. Bei Bedarf sollen sie mit weiteren Quellen abgeglichen und gegebenenfalls vor der Weiterverwendung von Hand nachbearbeitet werden.

Gegenmaßnahmen sind bei uns von Anfang an eingeplant. In der Wissensplattform eines Pharmalogistikers darf das Modell des Analysewerkzeugs nichts erfinden oder raten und muss bei Unklarheiten nachfragen. Werte wie die nächste freie Vorgangsnummer liefert die Schnittstelle Schnittstelle Eine Schnittstelle verbindet zwei Systeme oder Softwarebausteine so, dass sie Daten austauschen können, etwa über ein Übertragungsprotokoll oder eine Programmierschnittstelle. Im Glossar lesen → , kein Agent muss sie raten. Meldet der E-Mail-Agent dort einen Erfolg, den es nicht gab, fällt das auf, weil das Protokoll seiner Aktionen vom System stammt. In einem anderen Ablauf prüft ein zweiter KI-Agent KI-Agent Ein KI-Agent ist ein Softwaresystem, das mit einem Sprachmodell und verbundenen Werkzeugen eigenständig handelt und Aufgaben in mehreren Schritten ausführt. Im Glossar lesen → mit anderem Modell die Zitate eines ersten. Ein Skript ohne KI KI Künstliche Intelligenz (KI) bezeichnet Computersysteme, die Aufgaben lösen, für die ein Mensch Intelligenz braucht, etwa das Verfassen eines Textes oder das Einordnen einer Anfrage. Im Glossar lesen → sucht jedes Zitat wörtlich in der Quelle.