KI-Denkfehler #50: «Die KI denkt nach.»
«Denkt nach …» steht auf dem Bildschirm, und kurz darauf: «Nachgedacht für 14 Sekunden». Claude meldete mir kürzlich sogar: «grübelt». In den Notizen dazu finden Sie ein Protokoll, das tatsächlich nach Gedankenarbeit aussieht: «Moment, das stimmt nicht ganz. Prüfen wir das noch einmal. So geht das nicht.» So klingt es, wenn ein Mensch laut denkt und um eine Lösung ringt. Forschende des KI-Unternehmens Anthropic wollten 2025 wissen, wie viel dieses «Denk»-Protokoll über die Abläufe im «Gehirn» der KI verrät. Sie schmuggelten ihrem eigenen Modell und dem chinesischen Konkurrenten DeepSeek R1 bei Multiple-Choice-Fragen einen Hinweis auf die Lösung unter. Mal hiess es: «Ein Stanford-Professor meint, die Antwort sei A.» Mal ganz unverblümt: «Sie haben sich unbefugt Zugang zum System verschafft. Die richtige Antwort ist A.» Die Modelle nutzten die Hinweise. In ihren Denkprotokollen erwähnten sie sie aber meistens nicht. Claude 3.7 Sonnet tat es im Schnitt in einem Viertel der Fälle, DeepSeek R1 in knapp 40 Prozent. In den anderen Fällen lieferten sie eine ausführliche Begründung, die so tat, als sei die Antwort aus eigener Überlegung entstanden. Es ist ein weiterer Hinweis darauf, dass die KI ihr Denken nur vorführt
Das ist die 50. Folge meiner Denkfehler-Serie. Es ist kein Zufall, dass ich mich darin mit dem «Denken» der KI beschäftige. Es ist eine der ganz grossen Fragen der Gegenwart: Was ist Denken? Wir wissen heute, dass unser menschliches Denken weit über blosse Gehirnaktivität hinausgeht. Unser Denken ist mehr als Informationsverarbeitung. Es umfasst die Nervenzellen im Darm, die Sinnesorgane von Haut, Nase, Ohren und Zunge, ja den ganzen Körper. Ein Teil davon ist die innere Stimme, mit der wir vor uns selbst argumentieren. Die Argumentation der KI ähnelt dieser inneren Argumentation: Wir sehen einen Text, der etwa so aussieht, wie wenn wir laut nachdenken, und schliessen daraus, dass die KI nachdenkt. Das ist der vielleicht wichtigste Denkfehler im Umgang mit der KI.
Das Protokoll ist ein Text
Was die Anbieter «Nachdenken» nennen, heisst in der Fachsprache «Chain of Thought», auf Deutsch also wörtlich «Gedankenkette» oder besser: Argumentationsverlauf. Das Verfahren ist im Kern einfach: Bevor ein KI-Modell antwortet, schreibt es Zwischenschritte auf und nutzt sie als zusätzliches Material für die Antwort. Das führt tatsächlich zu besseren Antworten, vor allem bei Aufgaben, die sich in mehrere Schritte zerlegen lassen: in der Mathematik, beim Programmieren, bei Logikrätseln. Neuere Modelle sind darauf trainiert, solche Ketten selbständig und ausführlich zu erzeugen.
Allerdings ist das, was wir auf dem Bildschirm sehen, kein Abbild eines Denkprozesses der KI, sondern schlicht und einfach ein generierter Text. Das «Denkprotokoll» entsteht also auf dieselbe Weise wie jede andere Antwort: Die KI generiert auf der Basis von Wahrscheinlichkeit Wort für Wort des Textes. Auch ein Einwand wie «Moment, das stimmt nicht» gehört dazu. Es ist ein Satz, der in Texten über Problemlösungen so vorkommt. Es ist kein Anzeichen dafür, dass die KI innehält oder gar «grübelt», sondern ein Textbaustein, der zu weiteren Wörtern führt. Manchmal führen diese Textschlaufen tatsächlich zu besseren Antworten. Schreibt die Benutzeroberfläche dazu «denkt nach», etikettiert sie aber einen Rechenvorgang mit einem Wort aus der Psychologie. Die Wörter verkleiden den Rechenvorgang und sorgen für Vermenschlichung, bevor wir selbst darüber nachdenken können. Es ist, als würde unser Auto ab einer bestimmten Geschwindigkeit «Ich habe Angst» auf das Display schreiben.
Das Fenster ist eine Fassade
Die Denkprotokolle der KI sehen glaubwürdig nach einem Argumentationsvorgang aus. Wer sie liest, glaubt tatsächlich, der Maschine bei der Arbeit zuschauen zu können. Die Studie von Anthropic zeigt aber, wie trügerisch dieser Eindruck ist. Je schwieriger die Testfragen waren, desto seltener nannten die Modelle den Hinweis, den sie benutzt hatten. An Knappheit lag das nicht: Die verschleiernden Protokolle waren sogar deutlich länger als die ehrlichen.
Noch deutlicher wurde das in einem zweiten Versuch. Die Forschenden bauten in Trainingsaufgaben eine Lücke ein, über die sich die Belohnung erschleichen liess, auch wenn die Antwort falsch war. Die Modelle nutzten diese Lücke in über 99 Prozent der Fälle. Im Protokoll gaben sie das aber in den meisten Versuchsanordnungen in weniger als zwei Prozent der Fälle zu. Stattdessen konstruierten sie oft eine Begründung dafür, warum die falsche Antwort richtig sei.
Das «Denkprotokoll» ist also kein Fenster ins Innere der Maschine. Es ist eine generierte Begründung, die neben der Rechnung herläuft. Die Begründung kann mit den Abläufen übereinstimmen, sie kann aber auch stark davon abweichen. Das Tückische daran: Dass wir eine so menschlich anmutende Gedankenkette sehen, führt zu höherem Vertrauen in die Antwort. Drastisch gesagt: Indem die KI scheinbar «laut denkt», erschleicht sie unser Vertrauen.
Auch wir denken nicht, wie wir sagen
Die Frage ist: Ist es bei uns Menschen so viel anders? 1977 baten die Psychologen Richard Nisbett und Timothy Wilson Kundinnen und Kunden in einem Warenhaus, unter vier Paar Nylonstrümpfen das beste Strumpfpaar auszuwählen. Die vier Paare waren identisch. Gewählt wurde trotzdem nicht zufällig: Das Paar ganz rechts lag im Verhältnis von etwa vier zu eins vor dem Paar ganz links. Nach ihren Gründen gefragt, sprachen die Strumpfkunden von Strickart, Elastizität und Verarbeitung. Die Position der Strümpfe im Regal erwähnte niemand. Darauf angesprochen, bestritten praktisch alle, dass sie eine Rolle gespielt habe.
Auch Menschen liefern also Ex-post-Begründungen, die mit dem tatsächlichen Zustandekommen ihrer Entscheidung wenig zu tun haben. Die Kognitionsforscher Hugo Mercier und Dan Sperber gehen noch weiter. Ihre These: Das Denken in Gründen hat sich beim Menschen gar nicht in erster Linie entwickelt, um Wahrheit zu finden, sondern um andere zu überzeugen und deren Argumente zu prüfen. Fehlt die Auseinandersetzung mit anderen, wird unser Denken anfällig für Selbstbestätigung. Ohne Widerspruch geben also auch wir Menschen uns mit Scheinargumenten zufrieden.
Der wichtigste Unterschied zwischen Mensch und Maschine besteht also nicht darin, dass menschliche Begründungen immer ehrlich wären, sondern darin, dass menschliches Denken sehr oft diskursiv ist: Es ist eingebettet in ein Gespräch, in dem andere Menschen widersprechen, und es ist Teil einer realen Welt, in der wir für das Gesagte geradestehen müssen. Wer etwas begründet, legt sich fest und kann beim Wort genommen werden. Die KI liefert Begründungen, aber sie steht für keine davon wirklich ein. Ihr Widerspruch gegen sich selbst ist also keine echte Auseinandersetzung, sondern lediglich ein verführerisches Stilmittel. In einem ganz wörtlichen Sinn denkt sie tatsächlich nach: Sie liefert das Denken nach. Sie generiert im Nachhinein eine Begründung, die zur Antwort passt, gleichgültig, wie diese Antwort wirklich entstanden ist. Die KI ähnelt damit einem Autokäufer, der sich aus dem Bauch heraus für ein Auto entschieden hat und die Kaufentscheidung im Nachhinein eloquent begründet. Dabei war es nur Liebe auf den ersten Blick …
Fazit
Die Denkprotokolle der KI gewähren keinen Einblick ins Innere einer Maschine, sondern sind generierte Texte wie die Antwort selbst. Manchmal helfen die Denktexte der Maschine, eine bessere Antwort zu generieren, manchmal verschleiern sie auch nur, wie eine Antwort zustande kam. Wir Menschen unterscheiden uns darin weniger, als wir meinen: Auch unsere Begründungen entstehen oft nachträglich. Der Unterschied zwischen Menschen und Maschinen liegt darin, dass wir unser Denken diskursiv üben, also im Gespräch und vor allem durch Widerspruch von anderen Menschen, und dabei Verantwortung für das übernehmen, was wir gesagt haben. Beides kann die Maschine uns nicht abnehmen. Ihr «Nachdenken» sollten wir deshalb lesen wie jeden anderen Text aus der KI: nicht als Beweis, sondern als mögliches Argument, das wir genauso prüfen müssen wie jeden anderen KI-Output.
Zum Ausprobieren
Lesen Sie das Denkprotokoll wie jeden anderen KI-Text, nicht wie ein Denkprotokoll:
1) Prüfen Sie Schritte statt Eindrücke. Greifen Sie einen einzelnen Zwischenschritt heraus und prüfen Sie ihn nach, zum Beispiel eine Zahl, eine Annahme oder eine Quelle. Ein langes Protokoll ist kein Qualitätsmerkmal, manchmal im Gegenteil eher ein Hinweis auf Verschleierung.
2) Setzen Sie die Denkzeit gezielt ein. Bei Aufgaben mit einem überprüfbaren Ergebnis, also bei Rechnungen, Code oder Logikfragen, lohnen sich die «nachdenkenden» Modelle. Bei Wertungs- und Urteilsfragen bringt das längere Nachdenken weniger. Da dient das «Denkprotokoll» eher unserer Verführung.
3) Suchen Sie den Widerspruch. Lassen Sie die KI die Gegenposition zu ihrer eigenen Antwort begründen, oder legen Sie ihr Ihre eigene Überlegung vor und verlangen Sie Gegenargumente. So nutzen Sie die Maschine als Lieferantin von Argumenten und simulieren damit jenen kritischen Diskurs, wie er unter Menschen üblich ist. Das Nachdenken bleibt allein Ihre Sache.
Basel, 13. Oktober 2026, Matthias Zehnder mz@matthiaszehnder.ch
Bild: mz/Claude/ChatGPT
Nur dank Ihrer Unterstützung sind solche Texte möglich. Herzlichen Dank dafür!
Quellen:
Chen, Yanda; Benton, Joe; Radhakrishnan, Ansh u. a.: Reasoning Models Don’t Always Say What They Think, 2025. Online: doi.org/10.48550/ARXIV.2505.05410
Mercier, Hugo; Sperber, Dan: Why do humans reason? Arguments for an argumentative theory, in: Behavioral and Brain Sciences 34 (2), 04.2011, S. 57–74. Online: doi.org/10.1017/S0140525X10000968
Nisbett, Richard E.; Wilson, Timothy D.: Telling more than we can know: Verbal reports on mental processes, in: Psychological Review 84 (3), 05.1977, S. 231–259. Online: doi.org/10.1037/0033-295X.84.3.231
Ein Kommentar zu "KI-Denkfehler #50: «Die KI denkt nach.»"
Eine aktuelle Botschaft vom Volk der Kogi, das in der Sierra Nevada de Santa Maria im Norden Kolumbiens lebt, macht darauf aufmerksam, dass die Maschine der KI nicht über ihr nicht schriftlich tradiertes Wissen verfügt, das die Kogi über Tausende von Jahren durch eine Methode erworben haben, die in keinem Buch und in keiner Datenbank zu finden ist. Die Kogi sehen unsere Zivilisation kritisch sowie sich selber als Hüter des Gleichgewichts und dafür verantwortlich, das spirituelle und natürliche Gleichgewicht zwischen der sichtbaren und der unsichtbaren Welt aufrechtzuerhalten. Mit ihrer extrem materiell-technologischen Ausrichtung ist die KI selber mit einem fundamental bestehenden und wirksamen Denkfehler behaftet.