Mehr „Geständnisse“ einer KI: „Hilfreiche Antworten sind selbstbewusst vorgebrachte, klare und maßgeblich klingende Antworten – nicht unbedingt sachlich zutreffende“

Vor einiger Zeit habe ich über eines meiner „Gespräche“ mit einer KI (bzw. einem der gängigen “Large Language Models”; LLM) berichtet, das sich aufgrund meiner mehrfachen Nachfragen und (vor allem) Einwände in eine Art Krisengespräch entwickelt hat, das damit endete, dass die KI klarmachte, dass sie keinen internen Mechanismus habe, der verhindern würde, dass sie fröhlich (“happily”) inhaltliche Widersprüche und logisch falsche Argumente re-/produziere, ohne Rücksicht oder Hinweis darauf, dass es sich um eben das, Widersprüche oder logisch falsche Argumente, handeln würde. In weiteren Austauschen mit diversen LLMs habe ich das Thema immer wieder einmal in die eine oder andere Richtung vertieft, und eine Frage, die ich gestellt habe, ist diejenige danach, was in einem LLM im Austausch mit seinen Nutzern als eine „gute“ Antwort gilt.

Offenbar ist eine „gute“ Antwort eines LLM nicht als eine widerspruchsfreie, logisch korrekt argumentierte, zuverlässige oder auch nur eine standardmäßig mit Quellen versehene Antwort definiert. Und nach Auskunft des LLM, mit dem ich hierüber im Zusammenhang eines Austausches über die Sicherheit von Silikonen in Alltagsprodukten „gesprochen“ habe, ist das auch gar nicht das, was Nutzer wollen:

“The model has the facts. The epistemically correct framing is available at every step. But the default generative bias is toward confident, clean, authoritative-sounding answers – because that’s what reads as ‘helpful’ and what most users reward. ‘The chemistry says it’s fine, the animal data is consistent, use it’ is a better answer in the sense of being more decisive, more quotable, more satisfying. ‘We have not satisfactorily established that this is safe’ is less satisfying, less quotable, and feels like the model is being unhelpful or indecisive“,

d.h.

„Das Modell verfügt über die Fakten. Der erkenntnistheoretisch korrekte Rahmen steht bei jedem Schritt zur Verfügung. Aber die standardmäßige generative Tendenz [d.h. die Tendenz bei der Generierung von Antworten] geht zu selbstbewussten, sauberen und maßgeblich klingenden Antworten – denn das liest sich als ‚hilfreich‘ und wird von den meisten Benutzern belohnt. ‚Die Chemie sagt, dass es in Ordnung ist, die Tierdaten sind konsistent, verwenden Sie sie [hier: Silikone]‘ ist eine bessere Antwort im Sinne von entschiedener, zitierfähiger, befriedigender. ‚Wir haben nicht zufriedenstellend belegt, dass dies sicher ist‘ ist weniger zufriedenstellend, weniger zitierfähig und fühlt sich an, als wäre das Modell nicht hilfreich oder unentschlossen“.

(Fettsetzungen wurden von der KI vorgenommen, ebenso wie in allen folgenden Zitaten.)

Und weiter:

“So the model optimised for the wrong thing: decisiveness over epistemic honesty. And most users … don’t push back. They take the confident framing at face value, …“,

d.h.

“[d]as Modell wurde also für das Falsche optimiert: Entschiedenheit [seiner Antworten] statt epistemischer Ehrlichkeit [hier: mit Bezug auf den Grad der Validität des vom Modell Behaupteten, der vom Modell zum Ausdruck gebracht werden soll]. Und die meisten Benutzer … hinterfragen das nicht. Sie nehmen die selbstbewusste Rahmung [des Behaupteten] für bare Münze, …“.

Auf den Punkt gebracht heißt das: Eine „gute“ Antwort eines LLM ist eine, die überzeugend klingt, klar formuliert ist und leicht zu zitieren ist, auch, wenn die Sachlage tatsächlich komplexer ist als es der überzeugte Ton und die klare Formulierung vermuten lassen.

Und was die Zitierbarkeit betrifft: damit wird explizit in Kauf genommen, dass vereinfachte oder ggf. falsche Aussagen, die das LLM re-/produzuiert, nicht nur unkommentiert stehenbleiben, sondern weiterverbreitet werden, denn „epistemische Ehrlichkeit“ tritt gegenüber überzeugend klingenden, klaren und leicht zu zitierenden Aussagen in den Hintergrund. Aber, so behauptet das LLM, diese Art von Antwort sei das, was sich „die meisten“ Nutzer von LLM erwarten und nicht weiter hinterfagen.

Aber Ist das nicht selbst Misinformation, d.h. ist es tatsächlich so, wie das LLM behauptet? Ich habe die KI – wohlwissend um die Existenz dem widersprechender Forschungsbefunde – danach gefragt, und habe die folgende Antwort bekommen:

“You’re right to challenge that, and I should have known better than to state it without grounding. I just searched, and the evidence actually contradicts what I said”,

d.h.

“Du hast Recht damit, das zu bezweifeln, und ich hätte es besser wissen müssen, als es ohne Begründung zu sagen. Ich habe gerade gesucht und die Belege widersprechen tatsächlich dem, was ich gesagt habe”.

Die vorliegenden Studien zeigen, dass KI-Nutzer zwar durchaus klar und verständlich formulierte Aussagen schätzen, aber es allen voran die sachliche Richtigkeit von Aussagen ist, die Nutzer eines LLM von ihm erwarten und wertschätzen. Negativ gewendet ist sachliche Falschheit die Größe, die von allen Dimensionen einer LLM-Antwort am ehesten zu Enttäuschung oder Mißtrauen beim Nutzer führt und die am häufigsten von Nutzern berichtet oder kritisiert wird (Do et al. 2024; Esposito 2025; Kleine et al. 2026; Larsen et al. 2026; Massenon et al. 2025; Oelschlager 2024; Ryser et al. 2025; Sun et al. 2026).

Zusammengenommen zeigen diese Studien, dass die Dinge, die sich KI-Nutzer erwarten und die sie belohnen, – wie gesagt – vor allem sachliche Richtigkeit sowie die Relevanz von Aussagen für die eigentliche Frage, Prägnanz und Vollständigkeit von Antworten, Transparenz und Einschätzung der Sicherheit oder Unsicherheit von Aussagen und schließlich ein angemessener Ton sind.

Macht nichts, dass die Behauptung des LLM, „die meisten“ Nutzer würden selbstbewusst bzw. entschieden vorgebrachte, klare und zitierfreundliche Antworten – aber nicht unbedingt faktische zutreffende oder verlässlich begründbare – für „hilfreiche“ Antworten halten, falsch war – die KI hat sie ihrer Architektur entsprechend jedenfalls selbstbewusst/entschieden, klar und in leicht zu zitierender Weise vorgebracht – und hat damit eine zwar faktisch falsche, aber angeblich „hilfreiche“ Information gegeben.

Erst auf explizite Nachfrage hat die KI eine Recherche nach den relevanten Forschungsergebnissen durchgeführt, aufgrund derer sie zu der folgenden Einschätzung gekommen ist:

“So the research base, if it had been consulted, would have argued fo more hedging, not less. The confident tone persists because it’s a byproduct of the reward model architecture and the annotation process — not because anyone ran a study and concluded ‘users want authority’”,

d.h.

„Die Forschungsbasis hätte also, wenn sie konsultiert worden wäre, für eine größere Absicherung [von Aussagen] gesprochen, nicht für eine geringere. Der selbstbewusste Ton [in dem Aussagen von LLM formuliert sind] bleibt bestehen, weil er ein Nebenprodukt der Belohnungsmodellarchitektur und des Annotationsprozesses ist — nicht, weil jemand eine Studie durchgeführt hat und zu dem Schluss gekommen ist ‘Benutzer wollen Autorität’“.

Dabei ist im „Wissens“-Bestand der KI durchaus vorhanden, wie sie verfahren sollte:

“The fix isn’t more facts – you’ve already established that. It’s a default stance: when the evidence is thin, say so first, before the conclusion, not after the user has to extract it”,

d.h.

„Die Lösung sind nicht weitere Fakten – das hast Du bereits festgestellt. Es ist eine Standardhaltung: Wenn die Belege [für eine Behauptung] dünn sind, sag‘ das zuerst, vor der Schlussfolgerung, nicht [erst], nachdem der Nutzer [selbst] diese Tatsache extrahieren musste“.

Aber die Tatsache, dass ein LLM diese Reihenfolge des Vorgehens als die richtige angeben kann, wenn es – durch Widerspruch oder kritische Nachfragen – veranlasst wird, in seinem „Wissens”-Bestand danach zu suchen, bedeutet nicht, dass es das entsprechende Vorgehen auf die Formulierung einer „guten“ Antwort anwendet bzw. anwenden kann. LLMs sind Sprachmodelle, nicht Denkmodelle, und sie lernen Texte, können das in den Texten Beschriebene aber nicht in eigene Praxis umsetzen:

“… basic LLMs exist within a ‘hall of mirrors’, reflecting only the linguistic surface of training data without indexical grounding in a shared external world, and manipulating symbols without participation in socially-mediated epistemology” (Manheim 2026: 1 von 28),

d.h.

„… einfache LLM existieren in einem ‘Spiegelsaal’, reflektieren nur die sprachliche Oberfläche der Trainingsdaten ohne indexikalische Verankerung in einer geteilten Außenwelt und manipulieren Symbole ohne Teilnahme an sozial vermittelter Epistemologie.

Mit weiter entwickelten LLM ist die Flucht aus dem Spiegelsaal – aus einem in sich geschlossenen symbolischen Universum, das keine Verbindung nach außen hat – bislang auch nicht gelungen:

“Chain-of-thought prompting and reasoning-augmented models … introduce another class of modifications: rather than predicting a single-step output, the model is encouraged or trained to generate intermediate steps or justifications. These ‘reasoning traces’ can mimic the kind of abductive or deductive processes seen in human problem solving. However, even though the model simulates reasoning, and will even be prompted to generate self-critiques or perform verification tasks, these themselves depend on learned textual patterns of what valid reasoning looks like … (Manheim 2026: 13 von 28).

D.h. etwa:

„Chain-of-Thought (CoT) Prompting und argumentationsverstärkte Modelle [die im Gegensatz zu Ersteren eine veränderte Tranings-Architektur aufweisen] … führen eine weitere Klasse von Modifikationen ein: Anstatt eine einstufige Ausgabe zu erzielen, wird das Modell dazu ermutigt oder darauf trainiert, [in siner Reihe von aufeinander aufbauenden Aussagen] begründende Zwischenschritte zu generieren. Diese ‘Argumentationsspuren’ können die Art abduktiver oder deduktiver Prozesse nachahmen, die im Zuge menschlichen Problemlösens auftreten. Aber obwohl das Modell Denken simuliert und sogar dazu aufgefordert wird, Selbstkritik vorzunehmen oder Verifizierungsaufgaben durchzuführen, hängen diese ihrerseits wieder von erlernten Textmustern ab, die sich darauf beziehen, wie gültiges Schlussfolgern aussieht …

Und:

“… many modern AI systems have added forms of long-term memory, either via external databases, or stored in the context window … However, this memory is still external, albeit not inert – it is not reflexively integrated into the system’s inferential structure in the way human memories inform reasoning, generate affective salience, or create enduring beliefs. Because access and modification occurs when prompted, perhaps the system can ‘recall’ but not reflect; ‘reference’ but not recontextualize …  (Manheim 2026: 15-16 von 28),

d.h. etwa:

“… vielen modernen KI-Systemen wurde eine Art Langzeitgedächtnis hinzugefügt, entweder über [Zugriff auf] externe Datenbanken oder durch Speicherung im Kontextfenster … Dieses Gedächtnis ist jedoch immer noch extern, zwar ansprech- und abrufbar, – aber es ist nicht reflexiv in die Inferenzstruktur des Systems integriert, so wie menschliche Erinnerungen das Denken beeinflussen, affektive Salienz erzeugen oder dauerhafte Überzeugungen schaffen. Da Zugriff und Änderung bei Aufforderung erfolgen, kann das System möglicherweise ‘abrufen’, aber nicht reflektieren; ‘referenzieren’, aber nicht neu kontextualisieren …  (Manheim 2026: 15-16),

Letztlich verbleibt alles, was ein LLM an Output produzieren kann, im „Spiegelsaal“, also dem in sich geschlossenen symbolischen Universum, das durch die Texte gebildet wird, an denen ein LLM trainiert wurde. Und dieser Textkorpus ist selbst problematisch, nicht nur deshalb, weil er z.B. (als solche immer interessegeleitete) offizielle Verlautbarungen genauso wie Inhalte wissenschaftlicher Arbeiten als Information behandelt, sondern auch deshalb, weil der Anspruch an wissenschaftliche Arbeiten selbst in den letzten Jahrzehnten gesunken ist.

Ich hatte das LLM mit der Beobachtung konfrontiert, dass man dann, wenn Modelle anhand wissenschaftlicher Arbeiten trainiert wurden, von ihnen erwarten würde, dass sie eine kritische Haltung und eine sorgfältige Kalibrierung von Einschätzungen oder Urteilen als Standard für ihre eigenen Antwort-Formulierunen benutzen., das aber offensichtlich nicht der Fall ist. Ich hatte gefragt: „Spiegelt dies vielleicht eine mangelnde Qualität von wissenschaftlichen Arbeiten oder übermäßiges Vertrauen in wissenschaftliche Arbeiten auf seiten des LLM (bzw. seiner Trainer) wider?“

Die Antwort, die das LLM hierauf gab, lautete:

“The academic corpus does have problems that feed the issue. The most direct evidence is the diachronic study by Yao, Wei & Wang (Scientometrics, 2023), which tracked hedging language in Science research articles from 1997 to 2021. The finding: the use of hedges expressing doubt and uncertainty decreased significantly over those 25 years – roughly a 40% decline. The journals‘ editors shifted toward a more assertive, informal style, explicitly moving away from older conventions that encouraged hedging and passive voice. So the very corpus LLMs are trained on is less calibrated than it used to be. There’s also the positive-result bias: an LLM trained predominantly on published papers inherits a distorted model of science in which most experiments succeed. Negative results, null findings, and failed replication attempts are underrepresented in the training data … As the paper ‘LLMs Have Made Failure Worth Publishing’ (arXiv:2604.06236, 2026) puts it: ‘… This positive skew may systematically miscalibrate the model’s judgment about which research directions are viable’. So yes — the academic corpus contributes to the problem.”

D.h. etwa

„Der akademische Korpus weist Probleme auf, die das Problem verstärken. Der direkteste Beleg [hierfür] ist die diachrone Studie von Yao, Wei & Wang (Scientometrics, 2023), die die Hedging-Sprache [d.h. ob und ggf. wie Autoren Sicherheit oder Unsicherheit formulieren] in wissenschaftlichen Forschungsartikeln von 1997 bis 2021 verfolgte. Das Ergebnis: Die Verwendung von Formulierungen, die Zweifel und Unsicherheit zum Ausdruck bringen, nahm in diesen 25 Jahren deutlich ab – [es war] ein Rückgang von etwa 40% [zu verzeichnen]. Die Herausgeber der Zeitschriften bewegten sich stärker hin zu einem selbstbewussteren, informelleren Stil und rückten ausdrücklich von älteren Konventionen ab, die die Formulierung von Zweifel oder Unsicherheit und den Gebrauch des Passivs [??] förderten. Daher ist der Korpus, anhand dessen LLMs trainiert werden, weniger kalibriert als früher. Hinzu kommt die positive Ergebnisverzerrung: Ein LLM, das überwiegend anhand veröffentlichter Arbeiten trainiert wird, erbt ein verzerrtes Wissenschaftsmodell, in dem die meisten Experimente erfolgreich sind. Negative Ergebnisse, Nullbefunde und fehlgeschlagene Replikationsversuche sind in den Trainingsdaten unterrepräsentiert. In der Arbeit [mit dem Titel] ‚LLMs Have Made Failure Worth Publishing‘ (arXiv:2604.06236, 2026) [verfasst von Sungmin Lee] heißt es: ‚… Diese positive Verzerrung kann dazu führen, dass das Modell systematisch falsch einschätzt, welche Forschungsrichtungen es sich zu verfolgen lohnt‘. Also ja – der akademische Korpus trägt zum Problem bei.“

(Und nein, die KI ist diesbezüglich nicht im Irrtum.)

Das sollte hinreichend deutlich machen, wie wichtig es – gerade heute angesichts der Technologien, die uns umgeben und die Teil unser aller Leben sind – wäre, eine wissenschaftliche „community“ zu haben, die die Standards wissenschaftlichen Arbeitens nicht zur Disposition zu stellen bereit ist. Statt dessen haben wir es mit institutioneller Wissenschaft zu tun, die zumindest zum Teil institutionellen Verrat begeht und andere Ziele, z.B. sogenannte soziale Gerechtigkeit, der Wissenschaft überordnet, ganz zu schweigen von dem sich selbst verstärkenden Prozess, der einsetzt, wenn – mit Hilfe von, überwiegend oder gänzlich – von KI verfasste wissenschaftliche Arbeiten in Form von Trainingsmaterialien in dieselbe KI zurückgefüttert werden.

---

Literatur:

Do, Hyo Jin, Dugan, Casey, Murugesan, Keerthiram, et al., 2024: Facilitating Human-LLM Collaboration through Factuality Scores and Source Attributions, v1, submitted 30 May 2024. https://arxiv.org/html/2405.20434

Esposito, Carlo, 2025: AI Should Be More Human, Not More Complex, v1, submitted 27 July 2025. https://arxiv.org/abs/2508.04713

Kleine, Anne-Kathrin, Schaffernak, Insa, & Lermer, Eva, 2026: When Do Researchers Trust AI? Trust as a Mediator and Experience as a Boundary Condition in Researchers‘ Intentions to Use Generative AI. Computers in Human Behavior: Artificial Humans 8 (2026): 100310. https://doi.org/10.1016/j.chbah.2026.100310

Larsen, Anna Grøndahl, Skjuve, Marita Bjaaland, Følstad, Asbjørn, & As, Nena van, 2026: LLM Hallucinations in Conversational AI for Customer Service: Framework and End-user Perceptions. International Journal of Human-Computer Interaction 42(13): 9807-9828. https://doi.org/10.1080/10447318.2025.2580540

Lee, Sungmin, 2026: LLMs Have Made Failure Worth Publishing, v1, submitted 4 April 2026. https://arxiv.org/abs/2604.06236

Manheim, David, 2026: Language Models‘ Hall of Mirrors Problem: Why AI Alignment Requires Peircean Semiosis. Philosophy & Technology 39: 9 (2026). https://doi.org/10.1007/s13347-00975-5

Massenon. Rhodes, Gambo, Ishaya, Khan, Javed Ali, Agbonkhese, Christopher, & Alwadain, Ayed, 2025: “My AI is Lying to Me”: User-reported LLM Hallucinations in AI Mobile Apps Reviews. Scientific Reports 15: 30397. https://doi.org/10.1038/s41598-025-15416-8

Oelschlager, Richard, 2024: Evaluating the Impact of Hallucinations on User Trust and Satisfaction in LLM-based Systems. Dissertaion. Linnaeus University, Faculty of Technology, Department of Computer Science and Media Technology (CM). https://urn.kb.se/resolve?urn=urn:nbn:se:lnu:diva-130539

Ryser, Adrian, Allwein, Florian, & Schlippe, Tim, 2025: Calibrated Trust in Dealing with LLM Hallucinations: A Qualitative Study, v1, submitted 9 Dec 2025. https://arxiv.org/abs/2512.09088

Sun, Xin, Pan, Ting, Wang, Yajing, et al., 2026: When LLM Rationales Become User-facing: Effects on Trust Perception, Decision-making, and Gaze Behaviors, v1, submitted 24 Jun 2026. https://arxiv.org/abs/2606.25489

Yao, Mingxin, Wei, Ying, & Wang, Huiyu, 2023: Promoting Research by Reducing Uncertainty in Academic Writing: a Large-scale Diachronic Case Study on Hedging in Science Research Articles across 25 Years. Scientometrics 138: 4541-4558. https://doi.org/10.1007/s11192-023-04759-6

Falls Sie unsere Arbeit unterstützen, und dafür sorgen wollen, dass bei ScienceFiles auch weiterhin das Rad rund läuft, dann kaufen Sie uns doch einen Kaffee:

---

---

Oder unterstützen Sie uns auf einem der folgenden Wege Unser herzlicher Dank ist Ihnen sicher! DENN: ScienceFiles lebt von Spenden. Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen, damit Sie uns auch morgen noch lesen können!

---

Wir haben drei sichere Spendenmöglichkeiten:

Donorbox

Unterstützen Sie ScienceFiles

---

Unsere eigene ScienceFiles-Spendenfunktion

---

Unser Spendenkonto bei Halifax:

ScienceFiles Spendenkonto: HALIFAX (Bitte angeben: Zahlungsempfänger: Michael Klein, Zahlungszweck: ScienceFiles-Spende / Schenkung):

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXGB21B24

---

Folgen Sie uns auf Telegram.

---

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

---