# KI-Denkfehler #48: «Die KI kann rechnen.»
Es wäre logisch, ist aber falsch. Logisch wäre es, weil Computer ja Rechenmaschinen sind. So sagt es schon der Name: «to compute» heisst schliesslich rechnen. Wer also an einem Computer mit einem Sprachmodell arbeitet, das auf riesigen Rechenzentren läuft, geht selbstverständlich davon aus, dass dieses System zumindest das eine kann, was Computer seit siebzig Jahren fehlerfrei tun: rechnen. Doch diese Annahme ist leider falsch. Sprachmodelle laufen zwar auf Rechnern, aber sie rechnen nicht. Sie erzeugen Text. Wenn in diesem Text Zahlen vorkommen, dann sind das keine Resultate, sondern Wörter, die an dieser Stelle wahrscheinlich sind. Das ist ein kategorialer Unterschied, und er hat Folgen, die weit über die Frage hinausgehen, ob ChatGPT das kleine Einmaleins beherrscht.
Sprachmodelle verblüffen uns immer wieder: Sie schreiben, programmieren, analysieren und editieren in einem Tempo und einer Qualität, vor denen wir Menschen nur den Hut ziehen können. Dabei geht ganz vergessen, dass all diese Fertigkeiten auf einer einzigen Fähigkeit beruhen: Die Modelle können voraussagen, welches Textstück mit welcher Wahrscheinlichkeit auf das bisherige folgt. Aus dieser bescheidenen Fähigkeit holen die Modelle das Maximum heraus.
Das gilt ganz besonders für den Umgang mit Programmiersprachen: ChatGPT, Claude und Co. sind, bei entsprechender Anleitung, wirklich gute Programmierer. Sie beherrschen jede erdenkliche Programmiersprache und schreiben blitzschnell Code, Skripte und ganze Programme. Und das alles nur, indem sie das jeweils nächste Wort vorhersagen.
Erstens: Zahlen als Textfortsetzung
Das gilt nicht nur für Wörter und Satzzeichen, sondern auch für Ziffern. Wenn Sie ein Sprachmodell fragen, was 17 mal 23 ergibt, dann führt es keine Multiplikation aus. Es fragt sich gewissermassen: Welche Zeichenfolge steht in meinen Trainingsdaten typischerweise nach «17 mal 23 ergibt»? Weil solche Aufgaben tausendfach im Netz stehen, ist die Antwort «391» meistens richtig. Das Modell hat sie aber nicht ausgerechnet, sondern sich daran erinnert.
Bei 4711 mal 8093 sieht es anders aus. Diese Aufgabe steht nirgends, und das Modell muss die Ziffernfolge Stück für Stück erraten. Die Forschung hat das systematisch untersucht: Je mehr Stellen eine Multiplikation hat, desto steiler fällt die Trefferquote, und zwar auch bei den grössten Modellen (Dziri et al. 2023). Dasselbe Modell, das eine Doktorarbeit zusammenfassen kann, scheitert an einer Rechnung, die jeder Taschenrechner aus dem Warenhaus bewältigt.
Zweitens: Schnipsel statt Stellenwerte
Ein technisches Detail erklärt, warum die Modelle beim Rechnen scheitern: Sprachmodelle zerlegen Text in Tokens, also in Wortstücke. Bei Wörtern ist das meist harmlos, bei Zahlen dagegen nicht: Sie werden nach Regeln zerschnitten, die mit Mathematik nichts zu tun haben: «1234» kann als ein Token gespeichert sein, «12345» als zwei, je nach Modell und Zufall der Trainingsdaten. Das Modell sieht also nicht Stellenwerte, sondern Schnipsel. Es hat keinen Begriff davon, dass die 2 in 1234 für zweihundert steht. Es kennt nur die Gewohnheit, dass auf gewisse Schnipsel gewisse andere folgen. Wer eine Rechnung von einem solchen System verlangt, verlangt vom Papagei, dass er den Satz zu Ende spricht. Manchmal stimmt der Satz. Aber der Papagei weiss nicht, warum.
Die neueren Modelle rechnen nicht anders, sie kaschieren das Problem bloss geschickter. Sie sind darauf trainiert, bei Rechenaufgaben «laut zu denken», also Zwischenschritte auszuschreiben, und viele rufen im Hintergrund inzwischen ein Programm auf, das die eigentliche Rechnung übernimmt. Das verbessert die Resultate deutlich. Es ändert aber nichts am Grundsatz: Wo kein Programm läuft, wird geraten. Und Sie sehen der Antwort nicht an, welcher der beiden Fälle vorliegt.
Drittens: Statistik ohne Methode
Schwerer wiegt das dritte Problem, denn es betrifft nicht das Ausrechnen, sondern das Verstehen. Sprachmodelle sind hervorragende Interpreten von Statistiken, solange «interpretieren» heisst: einen Text schreiben, der so klingt, wie Texte über Statistiken klingen. Sie kennen die Formulierungen, die Fachleute verwenden, sie kennen die Vorbehalte, die in guten Studien stehen, und sie produzieren beides mit grosser Souveränität. Was sie nicht kennen, ist die Methode dahinter.
Das zeigt sich an drei klassischen Problemen.
1) Korrelation: Wenn zwei Zahlen gemeinsam steigen, klingt ein Text, der einen Zusammenhang behauptet, plausibler als einer, der ihn bestreitet. Das Modell schreibt deshalb gern von «Einfluss», «Effekt» und «Wirkung», wo die Daten nur ein Nebeneinander belegen.
2) Basisrate: Ein Test, der eine seltene Krankheit mit 99 Prozent Genauigkeit erkennt, liefert bei einem positiven Resultat trotzdem meistens Fehlalarm, wenn die Krankheit nur bei einem von zehntausend Menschen vorkommt. Menschen übersehen das notorisch (Kahneman und Tversky 1973), und Sprachmodelle haben von Menschen gelernt. Sie reproduzieren die Fehlschlüsse ihrer Trainingsdaten mit derselben Selbstverständlichkeit wie deren Erkenntnisse.
3) Stichprobe: Ob eine Zahl aus einer Befragung von 40 Personen oder von 40’000 stammt, ob die Teilnehmenden zufällig ausgewählt wurden oder sich selbst gemeldet haben, entscheidet darüber, ob die Zahl etwas bedeutet. Für das Sprachmodell ist «40 Prozent» aber schlicht «40 Prozent». Die Zahl trägt in seiner Welt keine Herkunft mit sich.
Eine Studie von Apple-Forschern hat das Problem auf eine einfache Formel gebracht: Wenn man Textaufgaben für Schüler nur minimal verändert, also Namen austauscht oder eine irrelevante Zusatzinformation einfügt, bricht die Leistung der Modelle ein (Mirzadeh et al. 2024). Ein System, das verstanden hätte, was es rechnet, würde sich davon nicht beirren lassen. Weil KI-Modelle nur Muster fortsetzen, lassen sie sich beirren. Statistik ist aber genau die Disziplin, in der es darauf ankommt, sich nicht von der Oberfläche täuschen zu lassen. Die Frage «Was sagt diese Zahl wirklich aus?» ist eine methodische Frage. Das Sprachmodell beantwortet sie sprachlich.
Fazit
Sprachmodelle rechnen nicht, sie schreiben. Zahlen sind für sie Wörter, die an dieser Stelle im Text wahrscheinlich sind. Obwohl sie selbst auf Statistik beruhen, interpretieren sie Zahlen und Statistiken nicht methodisch, sondern durch Nachahmung dessen, was Fachleute über Statistiken sagen. Auch die Präzision, mit der die Zahlen daherkommen, ist lediglich ein Stilmittel, das aus den Trainingsdaten stammt, und keine Aussage über ihre Zuverlässigkeit. Die Erkenntnis: Eine Zahl aus einem Sprachmodell ist so lange eine Vermutung, bis sie mit einem anderen Werkzeug berechnet wurde. Das kann ein Programm sein, das die KI selbst aufruft, es kann eine Tabellenkalkulation sein oder der Mensch mit dem guten, alten Taschenrechner. Aber es darf nicht das Sprachmodell selbst sein.
Zum Ausprobieren
Die Stärke von Sprachmodellen liegt genau dort, wo Menschen mit Zahlen oft scheitern: bei der Übersetzung einer Frage in eine Formel. Nutzen Sie das, und delegieren Sie das eigentliche Rechnen an Systeme, die dafür gebaut sind.
1. Formel statt Resultat verlangen. Fragen Sie nicht «Wie hoch ist der Zinseszins nach zwölf Jahren?», sondern «Wie lautet die Excel-Formel für die Berechnung des Zinseszins nach zwölf Jahren, und was bedeuten die einzelnen Teile?». Die Formel können Sie in Ihre Tabelle kopieren und prüfen.
2. Code ausführen lassen. Die Modelle programmieren besser, als sie rechnen. Nutzen Sie das. Die meisten Chatbots können kleine Programme nicht nur schreiben, sondern auch selbst laufen lassen, wenn Sie das verlangen: «Berechne das mit Python und zeige mir den Code.» Dann rechnet nicht das Sprachmodell, sondern der Computer, und Sie sehen, was er gerechnet hat. Fehlt der Code in der Antwort, hat die KI geraten.
3. Statistiken zurückfragen. Wenn die KI eine Zahl interpretiert, stellen Sie die drei Methodenfragen: Stammt die Zahl aus einer Korrelation oder aus einem Experiment? Wie gross und wie ausgewählt war die Stichprobe? Wie häufig ist das Phänomen, also wie lautet die Basisrate? Antwortet das Modell ausweichend, wissen Sie, dass seine Interpretation auf Sprachgefühl beruht, nicht auf Daten.
Die Faustregel: Die KI darf die Frage formulieren, die Formel liefern und das Resultat erklären. Ausrechnen soll sie es nicht.
Basel, 15. September 2026, Matthias Zehnder mz@matthiaszehnder.ch
Bild: mz/Claude/ChatGPT
Nur dank Ihrer Unterstützung sind solche Texte möglich. Herzlichen Dank dafür!
Quellen:
Dziri, Nouha; Lu, Ximing; Sclar, Melanie; Li, Xiang Lorraine; Jiang, Liwei; Lin, Bill Yuchen; West, Peter; Bhagavatula, Chandra; Bras, Ronan Le; Hwang, Jena D.; Sanyal, Soumya; Welleck, Sean; Ren, Xiang; Ettinger, Allyson; Harchaoui, Zaid; Choi, Yejin (2023): Faith and Fate: Limits of Transformers on Compositionality. In NeurIPS 2023, https://arxiv.org/abs/2305.18654 [14.09.2026].
Kahneman, Daniel; Tversky, Amos (1973): On the psychology of prediction., in: Psychological Review, 80,4, 1973, S. 237–251, https://doi.org/10.1037/h0034747 [14.09.2026].
McCoy, R. Thomas; Yao, Shunyu; Friedman, Dan; Hardy, Mathew D.; Griffiths, Thomas L. (2024): Embers of autoregression show how large language models are shaped by the problem they are trained to solve, in: Proceedings of the National Academy of Sciences, 121,41, 2024, Art. e2322420121, https://pnas.org/doi/10.1073/pnas.2322420121 [14.09.2026].
Mirzadeh, Iman; Alizadeh, Keivan; Shahrokhi, Hooman; Tuzel, Oncel; Bengio, Samy; Farajtabar, Mehrdad (2024): GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models, 2024, https://arxiv.org/abs/2410.05229 [14.09.2026].
