Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data ist ein 2020 von Emily M. Bender und Alexander Koller vorgelegter Aufsatz. Er begründet, warum ein System, das ausschließlich auf sprachlicher Form trainiert wurde, keine Bedeutung erwerben kann.
Zusammenfassung
Das Argument beruht auf einer Unterscheidung. Form ist das, was in einem Text steht: Zeichenfolgen und ihre statistischen Beziehungen. Bedeutung ist die Beziehung zwischen diesen Zeichen und etwas außerhalb von ihnen – Dingen, Sachverhalten, Absichten.
Ein Verfahren, das nur Form als Eingabe erhält, hat auf diese Beziehung keinen Zugriff. Es kann lernen, welche Zeichen aufeinander folgen, nicht aber, worauf sie verweisen.
Bekannt wurde der Aufsatz durch sein Gedankenexperiment: Ein hyperintelligenter Tiefseeoktopus belauscht die telegrafische Unterhaltung zweier auf Inseln gestrandeter Menschen. Er lernt die statistischen Muster so gut, dass er die Unterhaltung übernehmen kann – bis eine der beiden Personen von einem Bären angegriffen wird und um Anweisungen zum Bau einer Waffe bittet.
Der Titel enthält ein zweites Bild: Wer auf einen Baum klettert, kommt dem Mond näher – und der Fortschritt sagt nichts darüber, ob der Weg zum Ziel führt.
Begriffsgeschichte
Der Aufsatz erschien auf der ACL 2020, der wichtigsten Fachkonferenz der Computerlinguistik, und wurde dort mit einem Best-Paper-Preis ausgezeichnet.
Er entstand in einer Lage, in der Sprachmodelle auf Verständnis-Benchmarks rasch besser wurden und diese Ergebnisse als natural language understanding dargestellt wurden.
Bender und Koller kommen aus der Computerlinguistik, einem Fach mit eigener Tradition der Bedeutungstheorie. Ihr Einwand ist begrifflich, nicht empirisch: Er behauptet nicht, dass die Systeme schlecht seien, sondern dass eine bestimmte Beschreibung ihrer Leistung falsch sei.
Der Aufsatz bereitete den ein Jahr später erschienenen Stochastic Parrots den Boden, dessen Argumentation ihn voraussetzt.
Seither ist er einer der meistzitierten Texte der Debatte – von beiden Seiten, mit entgegengesetzten Schlussfolgerungen.
Methodische Grundlagen
Form und Bedeutung. Die zentrale Unterscheidung: Bedeutung ist eine Beziehung zwischen Ausdruck und kommunikativer Absicht, nicht eine Eigenschaft des Ausdrucks.
Kommunikative Absicht. Sprache dient dazu, dass jemand etwas will. Wer nur die Ausdrücke sieht, sieht nicht die Absicht, die ihnen zugrunde liegt.
Das Oktopus-Experiment. Sein Zweck ist nicht, Unfähigkeit zu behaupten, sondern die Grenze zu markieren: Der Oktopus scheitert genau dort, wo das Gesagte erstmals an der Wirklichkeit gemessen wird.
Das Kletterbild. Gegen den Schluss von messbarem Fortschritt auf Annäherung an ein Ziel – ein Einwand gegen die Aussagekraft von Benchmarks.
Der Java-Vergleich. Eine zweite Veranschaulichung: Wer nur Programmtexte liest, ohne je ein Programm laufen zu sehen, kann die Sprache nicht lernen – ihm fehlt die Verbindung zwischen Text und Ausführung.
Anwendungsfelder
Kritik an Benchmarks. Der Aufsatz hat die Diskussion darüber angestoßen, was Verständnis-Testverfahren tatsächlich messen.
Begriffsdisziplin. Er lieferte die Begründung dafür, in Fachtexten zwischen Leistung und Verständnis zu unterscheiden – eine Unterscheidung, die vorher oft unterblieb.
Multimodale Forschung. Die Folgerung, dass Bedeutung eine Verbindung zur Welt braucht, stützt Arbeiten an Systemen mit Bild-, Handlungs- oder Sensordaten.
Wissenschaftskommunikation. Das Oktopus-Bild ist eines der wenigen aus der Fachdebatte, das außerhalb verstanden wird.
Kontroversen und Kritik
Aufgehobene Voraussetzung. Der stärkste Einwand betrifft die Prämisse: Heutige Modelle werden nicht mehr ausschließlich auf Text trainiert. Bilder, Programmausführung und Rückmeldung aus Werkzeuggebrauch liefern genau die Verbindung, deren Fehlen das Argument voraussetzt.
Bedeutung aus Struktur. Eine Gegenposition hält, dass die Beziehungen zwischen Ausdrücken selbst genug Struktur enthalten, um etwas zu tragen, das Bedeutung ähnlich genug ist – gestützt auf interpretierbarkeitsnahe Befunde, nach denen Modelle Weltmodelle ausbilden.
Praktische Folgenlosigkeit. Ein pragmatischer Einwand: Wenn ein System die richtige Antwort gibt, ist die Frage nach dem Verständnis müßig. Bender hält dagegen, dass genau diese Haltung zu Fehlgebrauch führt.
Zu enger Bedeutungsbegriff. Aus der Philosophie kommt der Einwand, die Bestimmung von Bedeutung über kommunikative Absicht sei eine Position unter mehreren und werde hier als Selbstverständlichkeit behandelt.
Was der Oktopus zeigt. Auch die Deutung des Gedankenexperiments ist strittig: Kritiker halten fest, dass es die Unmöglichkeit nicht beweist, sondern voraussetzt – der Oktopus scheitert, weil ihm die Erfahrung fehlt, nicht weil Form grundsätzlich nicht trägt.
Was von dem Argument geblieben ist
Sechs Jahre nach Erscheinen ist der Aufsatz in einer eigentümlichen Lage: Seine Voraussetzung trifft auf heutige Systeme nicht mehr zu, seine Unterscheidung wird gebraucht wie nie.
Das Argument war auf reine Textmodelle zugeschnitten. Heutige Systeme sehen Bilder, führen Programme aus, erhalten Rückmeldung darüber, ob ihre Handlungen wirken. Damit ist genau die Verbindung hergestellt, deren Fehlen den Kern der Begründung bildete.
Wer den Aufsatz deshalb für erledigt hält, übersieht, dass er zwei Dinge enthält. Das eine ist eine Behauptung über eine bestimmte Bauart – sie ist überholt. Das andere ist eine begriffliche Unterscheidung, und die veraltet nicht.
Diese Unterscheidung leistet weiterhin, wofür sie gemacht wurde: Sie erlaubt die Frage, was ein Testergebnis eigentlich belegt. Ein Modell, das eine Prüfung besteht, hat eine Prüfung bestanden – ob es damit versteht, ist eine andere Frage, und ohne die Unterscheidung lässt sie sich nicht einmal stellen.
Insofern hat der Aufsatz sein Ziel auf einem Umweg erreicht. Seine These wird bestritten, seine Begriffe werden verwendet – auch von denen, die sie bestreiten. Mehr kann ein Text in einer laufenden Debatte kaum ausrichten.
Verwandte Begriffe
- Emily M. Bender – Erstverfasserin
- Stochastic Parrots – darauf aufbauende Arbeit
- Symbol Grounding Problem – ältere Fassung derselben Frage
- Multimodale KI – Entwicklung, die die Voraussetzung aufhebt
- Critical AI Studies – Umfeld der Rezeption
- Chinese Room – verwandtes Gedankenexperiment
Quellenangaben
- Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
- Bender, Emily M. / Koller, Alexander (2020): Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), S. 5185–5198. DOI: 10.18653/v1/2020.acl-main.463.
- Harnad, Stevan, 1990. The Symbol Grounding Problem. In: Physica D: Nonlinear Phenomena 42 (1–3), S. 335–346. DOI: 10.1016/0167-2789(90)90087-6
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.