On the Measure of Intelligence ist ein 2019 von François Chollet veröffentlichter Aufsatz, der eine Neubestimmung dessen vorschlägt, was bei KI-Systemen zu messen ist. Chollet definiert Intelligenz als Effizienz des Fähigkeitserwerbs und leitet daraus den Benchmark ARC-AGI ab.
Zusammenfassung
Der Aufsatz greift die übliche Praxis der Leistungsmessung an: Wer prüft, wie gut ein System eine Aufgabe löst, misst das Ergebnis eines Trainingsvorgangs, nicht Intelligenz.
Chollet schlägt stattdessen ein Verhältnismaß vor – erreichte Leistung im Verhältnis zur dafür aufgewendeten Erfahrung, Vorwissen und Aufgabenschwierigkeit.
Aus dieser Definition folgt unmittelbar der praktische Teil: ein Benchmark, dessen Aufgaben im Trainingsmaterial nicht vorkommen und nur elementares Vorwissen voraussetzen. Der Text ist die theoretische Grundlage von ARC-AGI und damit einer der einflussreichsten Beiträge zur Frage, wie Fortschritt in Richtung AGI überhaupt festzustellen wäre.
Inhalt
Kritik der bestehenden Messpraxis
Chollet unterscheidet zwei historische Auffassungen von Intelligenz. Die eine, in der KI-Tradition vorherrschend, versteht sie als Sammlung aufgabenspezifischer Fähigkeiten; die andere, in der Psychologie verbreitet, als allgemeine Lernfähigkeit.
Die erste Auffassung führt zur Messung von Aufgabenleistung. Chollet hält dies für einen Fehlschluss: Leistung in einer Aufgabe sagt nichts über Intelligenz, wenn beliebig viel Trainingserfahrung und Vorwissen eingesetzt werden dürfen.
Eine ausreichend große Nachschlagetabelle löst jede Aufgabe, ohne intelligent zu sein. Er verweist auf Schachprogramme: Übermenschliche Spielstärke bedeutete nicht, dass ein Schritt in Richtung allgemeiner Intelligenz getan war.
Skill versus Intelligence
Die zentrale begriffliche Unterscheidung:
- Skill – Leistung in einer bestimmten Aufgabe. Sie ist das Produkt aus Intelligenz, Erfahrung und Vorwissen.
- Intelligence – Effizienz, mit der aus begrenzter Erfahrung neue Fähigkeiten erworben werden.
Daraus folgt, dass Skill nur dann etwas über Intelligenz aussagt, wenn Erfahrung und Vorwissen kontrolliert werden. Ohne diese Kontrolle ist jede Leistungsangabe uninterpretierbar.
Formale Definition
Chollet formuliert eine Definition, die Intelligenz als Verhältnis fasst: als die von einem System erreichte Fähigkeitsspanne über eine Aufgabenverteilung, gewichtet nach Aufgabenschwierigkeit, Vorwissen und Erfahrung. Ein System ist umso intelligenter, je mehr Aufgaben es mit je weniger Erfahrung und Vorwissen bewältigt.
Der Rahmen stützt sich auf algorithmische Informationstheorie und ist an psychometrische Verfahren angelehnt. Chollet betont die Anschlussfähigkeit an die psychologische Unterscheidung zwischen fluider und kristalliner Intelligenz.
Core Knowledge
Da Intelligenzmessung Vorwissen kontrollieren muss, ist festzulegen, welches Vorwissen zulässig ist. Chollet greift auf Befunde der Entwicklungspsychologie zurück und benennt ein Bündel elementarer Prinzipien, über die auch Kleinkinder verfügen: Objektbeständigkeit, elementare Geometrie und Topologie, Zahlen und Zählen, Handlungsziele und einfache Kausalität.
Ein fairer Test setzt genau diese Prinzipien voraus und nichts darüber hinaus – kein Fachwissen, keine Sprache, keine kulturellen Konventionen.
ARC
Der Aufsatz stellt den Abstraction and Reasoning Corpus als Umsetzung dieser Anforderungen vor. Die Aufgaben bestehen aus Farbgittern; aus wenigen Beispielpaaren ist eine Transformationsregel zu erschließen und auf ein neues Gitter anzuwenden. Jede Aufgabe ist einzigartig; ein System kann sie nicht durch vorheriges Training auf ähnlichen Aufgaben lösen. Der erklärte Anspruch: leicht für Menschen, schwer für Maschinen.
Wirkung
Der Aufsatz lieferte der Skalierungsdebatte ihr Fundament. Solange Fortschritt an gesättigten Benchmarks gemessen wird, lässt sich über die Reichweite bestehender Ansätze nicht entscheiden; Chollets Rahmen macht die Frage prüfbar.
Empirisch schien er zunächst bestätigt: Zwischen 2020 und Anfang 2024 stagnierten die ARC-Werte trotz einer Vergrößerung der Sprachmodelle um mehr als das Zehntausendfache. Der Ergebnissprung von OpenAIs o3 im Dezember 2024 wurde teils als Widerlegung gedeutet; Chollet selbst hielt an seiner Einschätzung fest. Die Nachfolgeversionen ARC-AGI-2 und ARC-AGI-3 stellten die Leistungslücke jeweils wieder her.
Die Begriffe skill und intelligence in Chollets Verwendung sind in die Fachdebatte eingegangen und werden regelmäßig zur Einordnung von Benchmarkergebnissen herangezogen.
Kritik
Eingewandt wird, dass die Beschränkung auf elementares Vorwissen wesentliche Aspekte menschlicher Kognition ausschließt – sprachliches Verstehen, soziale Kognition, kumulatives Fachwissen. Ein System, das ARC löst, wäre danach nicht notwendig allgemein intelligent; ein System, das ARC nicht löst, nicht notwendig unintelligent.
Weiter wird die praktische Anwendbarkeit der formalen Definition bezweifelt: Erfahrung und Vorwissen exakt zu quantifizieren, ist außerhalb konstruierter Testumgebungen kaum möglich.
Schließlich ist die Gewichtung der Aufgabenverteilung selbst eine Setzung. Welche Aufgaben in die Messung eingehen und wie sie gewichtet werden, entscheidet über das Ergebnis – eine Beliebigkeit, die Chollets Rahmen zwar explizit macht, aber nicht behebt.
Verwandte Begriffe
- ARC-AGI – aus dem Aufsatz hervorgegangener Benchmark
- François Chollet – Autor
- AGI – Zielbegriff, dessen Messung der Aufsatz behandelt
- Benchmark-Kontamination – Problem, dem die Neuartigkeitsforderung begegnet
- Fluide vs. kristalline Intelligenz – psychologische Unterscheidung, an die der Aufsatz anknüpft
- Scaling Laws – Gesetzmäßigkeiten, deren Reichweite der Aufsatz bestreitet
- Emergent Abilities – Debatte um sprunghaft auftretende Fähigkeiten
- Turing-Test – älterer Maßstab, den Chollet für unzureichend hält
Quellenangaben
- ARC Prize Foundation (2025): ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems. arXiv: 2505.11831.
- ARC Prize Foundation (Chollet, François u. a.) (2026): ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. arXiv: 2603.24621.
- Chollet, François (2019): On the Measure of Intelligence. arXiv: 1911.01547.
- Legg, Shane / Hutter, Marcus, 2007. A Collection of Definitions of Intelligence. In: Frontiers in Artificial Intelligence and Applications 157, S. 17–24.
- Mitchell, Melanie (2019): Artificial Intelligence: A Guide for Thinking Humans.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.