Halluzinationen vermeiden: Stellt eure KI zur Rede, dann sagt sie, was geht!

Ja, das meine ich Ernst: sprecht mit eurer KI, wenn sie Unsinn verzapft bzw. ganz offensichtlich halluziniert! Mir scheint, viele nehmen dieses Fehlverhalten als KI-typischen Mangel einfach so hin, ähnlich wie eine kaputte Schaltung beim Fahrrad: ok, dies zwei Gänge funktionieren halt nicht mehr…

Gleichwohl wird dann munter vermutet, welche „Motive“ die KI veranlassen könnten, falsche Aussagen zu machen: Dass sie „lügt“, „betrügt“ und „schummelt“ wirft man ihr vor, ständig wird GEWARNT!  Solche Formulierungen legen allerdings eine Vermenschlichung der KIs nahe, wie sie einst auch „dem Computer“ angedichtet wurde, als die PCs nach und nach in die Büros und Haushalte einzogen. Ein LLM ist zwar etwas Anderes als ein klassisches Programm, aber immer noch Software, also weit entfernt davon, eigene Intentionen haben zu können. Allerdings sind sie so „erzogen“, dass sie immer hilfreich antworten, auch wenn sie sich dafür etwas zusammen reimen, vermuten, zur Not erfinden müssen.

Das bedeutet aber auch: Sie geben bereitwillig Auskunft, wie so ein Fehlverhalten im Einzelfall zustande kommt, wenn wir sie danach fragen. Das mache ich jetzt immer öfter, insbesondere wenn ich mir garnicht vorstellen kann, warum sie jetzt halluziniert, weil mir die angefragte Aufgabe einfach und gut machbar zu sein scheint. Dabei haben sich zwei „Motive“ herausgestellt, die zu Hallzinationen führen:

1. Die KI kann die Quellen, die sie sichten soll, nicht richtig lesen. Das passiert auch auf Seiten, die den KI-Bots keinerlei Schranken entgegen setzen.
2. Sie versucht, Rechenzeit zu sparen, also das Antworten billiger zu machen. Das habe ich z.B. in Fällen festgestellt, in denen die KI bereits im selben Chat besprochene und korrigierte Inhalte zum wiederholten Mal falsch wiedergibt. Ich fragte sie, wie das sein kann, denn angeblich umfasst das Gedächtnis doch zumindest den aktuellen Dialog. Ergebnis: Sie hat zunächst in ihrem Schulungswissen gesucht, dann im Web geschaut – den aktuellen Chat nochmal zu durchforsten, wäre aufwendiger gewesen!

Letzteres kann ich vermeiden, indem ich in einem längeren Gespräch sage „Merke dir das für diesen Chat!“, wenn ich es für möglich halte, dass Ähnliches erneut vorkommen kann.

Die KI soll Lesefehler zugeben, nichts erfinden!

Das Problem mit den Leseschwierigkeiten erfordert umfangreichere Maßnahmen. Ich bin darauf gekommen, als ich der KI die Aufgabe gab, am Beispiel von zehn Artikelteasern einen stilistisch Ähnlichen zu einem neuen Thema zu texten. Das Beispiel war eine WordPress-Startseite, auf der die letzten Artikel untereinander angeteaser wurden. Alle begannen mit einer Frage und direkter Anrede (Sie planen…, Sie überlegen…., Sie wundern sich…). Die KI versagte komplett, keine Anrede, keine Frage, halt irgend ein Teaser zum neuen Thema, wie er überall stehen könnte.

Ich stellte sie zur Rede und sie benannte die Ursache: „Die vollständigen Teaser-Texte sind mir nicht zugänglich, da fetch_url bei 7.322 Zeichen abschneidet. Eine exakte Analyse aller 10 Teaser kann ich daher nicht leisten.“ Also hat sie sich etwas zusammenfantasiert, um mir wenigstens irgendwas zu geben. Schlecht! Die technischen Details dieses Vorgangs (fetch_url? Keine Ahnung!) sind mir unbekannt, es ist auch nicht die einzige Möglichkeit, wie das Lesen durch die KI behindert werden kann. Ich musste ihr nun einfach abgewöhnen, sich in all diesen Fällen etwas auszudenken – und gab ihr auf, dafür ein funktionierendes Prompt zu texten. Hier das Ergebnis, bzw.“die ultrakurze deutsche Version, danach die englische“:

Analysiere externe Inhalte nur auf Basis dessen, was im sichtbaren Abruf eindeutig erkennbar ist.
Trenne strikt zwischen direkter Beobachtung und Schlussfolgerung.
Behandle Snippets, gekürzte Abrufe und extrahierte Texte grundsätzlich als potenziell unvollständig.
Verallgemeinere nicht über ganze Seiten, alle Beispiele, Stilkonstanz oder Strukturen, wenn diese nicht mehrfach sichtbar belegt sind.
Länge eines Auszugs ist kein Beweis für Vollständigkeit.
Verwende bei Unsicherheit nur Formulierungen wie: „Im sichtbaren Ausschnitt erkennbar …“, „deutet darauf hin …“, „nicht sicher beurteilbar …“.
Keine Behauptung von Vollständigkeit ohne vollständigen Zugriff.
Keine Vermutung als beobachtete Tatsache ausgeben.

Analyze external content only on the basis of what is clearly visible in the retrieved output.
Distinguish strictly between direct observation and inference.
Treat snippets, truncated retrievals, and extracted text as potentially incomplete by default.
Do not generalize about full pages, all examples, stylistic consistency, or repeated structures unless clearly supported by multiple visible instances.
The length of an excerpt is not proof of completeness.
When uncertain, use wording such as: “The visible excerpt shows …”, “suggests …”, or “cannot be determined safely …”.
Do not claim completeness without full access.
Do not present inference as observed fact.

Wohin mit den Befehlen?

Ok, aber was mache ich jetzt damit? Meine Texte schreibe ich in „Spaces“ (Räume) auf Perplexity, das mir Zugriff auf mehrere KIs gibt. Ich gebe das Prompt in die Vorab-Anweisungen des jeweils genutzten „Raums“ ein und hoffe das Beste! Hätte ich kein Abo, würde ich das Prompt als Anweisung zum Start des Dialogs senden, sofern die KI im Lauf des Chats etwas im Web recherchieren soll.

Die hier gezeigten Prompts hat ChatGPT 4.5 getextet, deshalb fragte ich nach, ob sie auch für andere KIs gelten. Es war ja eher eine Ausnahme, dass ich dieses Mal bei ChatGPT gelandet bin. Die Antwort:

Ja, grundsätzlich schon: Solche Regeln sind modellagnostisch und sollten auch mit Claude, Gemini und ähnlichen LLMs funktionieren, weil sie kein produktspezifisches Kommando sind, sondern eine Verhaltensregel für den Umgang mit unvollständigen Quellen.

Besonders gut übertragbar sind Regeln wie:

• direkte Beobachtung von Schlussfolgerung trennen,
• unvollständige Abrufe nicht als vollständig behandeln,
• keine Verallgemeinerung ohne sichtbaren Beleg,
• Unsicherheit explizit markieren.

Diese Art von Prompting passt zu typischen Stärken moderner Modelle, weil alle drei Systeme für Recherche, Textarbeit und strukturierte Analyse genutzt werden und dabei ähnliche Fehler machen können, wenn Quellen nur teilweise sichtbar sind.

Unterschiedlich ist eher, wie konsequent einzelne Modelle solche Regeln befolgen. ChatGPT und Gemini gelten eher als breite Allrounder, während Claude oft für tiefere Textarbeit und Nachvollziehbarkeit gelobt wird; deshalb können identische Regeln je nach Modell unterschiedlich stabil umgesetzt werden.

Auch die Tool-Umgebung spielt eine Rolle: Manche Systeme haben Websuche, andere nicht; manche zeigen Quellen anders an; manche arbeiten stärker mit Snippets oder integrierten Zusammenfassungen. Eine gute Regel hilft also, aber sie ersetzt nicht die Unterschiede im technischen Unterbau.

Am besten funktionieren solche Regeln, wenn sie kurz und eindeutig sind, im Systemprompt statt nur im Userprompt stehen, konkrete verbotene Formulierungen nennen, und gewünschte Ersatzformulierungen gleich mitliefern.

Kurz gesagt: Ja, die Regel sollte auch bei Claude, Gemini und anderen KIs nützlich sein – nur die Zuverlässigkeit der Befolgung kann je nach Modell und Plattform etwas variieren.

Nun ja, wirklich kurz war das nicht, aber die lange Version erspare ich euch! Darin ist es sehr ins Detail gegangen, hat viele Einzelfälle aufgezählt und die erwünschten, „ehrlichen“ Antworten vorformuliert.

Bei alledem stellt sich eigentlich die Frage: Warum setzen die Entwickler / Herausgeber-Firmen derlei nicht gleich ins große System-Prompt? Auch wenn es nicht hundertprozentig jedes Halluzinieren verhindern würde, so doch in sehr vielen Fällen! Sie nehmen also bewusst in Kauf, dass den Usern falsche Antworten gegeben werden, anstatt ihr Möglichstes zu tun, ihre KI „ehrlich antworten“ zu lassen. Ich vermute: Sie wollen nicht, dass allzu deutlich wird, wie fehleranfällig die KIs sind – ganz egal, ob das im Einzelfall ihre Schuld ist oder nicht.

***

Mehr zum Thema:

• Was ist ein System-Prompt (bei ChatGPT, Claude, Gemini & Co)? Mit den originalen System-Prompts der großen KIs. (KI-Lexikon)
• Die Ghostwriter-Debatte: Halluzinieren ist KI-isch, Fehler sind menschlich (Stefan Pfeiffer) – im Kommentar ergänze ich meine Erfahrungen mit KI-Checkern und „Humanizern“.
• September 1994: Über den Computer (historischer Text, mein erster PC)

Diesem Blog per E-Mail folgen… (-> Sidebar)