ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) ist eine Reihe von Benchmarks, die messen soll, wie effizient ein System neuartige Aufgaben löst, für die es nicht trainiert wurde. Der Benchmark wurde 2019 von François Chollet vorgestellt und liegt seit 2026 in drei Generationen vor.
Zusammenfassung
ARC-AGI verkörpert eine bestimmte Intelligenzauffassung: Nicht die Menge des Gewussten, sondern die Effizienz des Neulernens sei zu messen.
Die Aufgaben verwenden ausschließlich elementare Wahrnehmungsprinzipien und keine sprachlichen oder fachlichen Voraussetzungen, sodass Vorwissen aus dem Trainingskorpus nur begrenzt hilft.
Der Benchmark hat mehrere Wendepunkte der KI-Entwicklung markiert: Zwischen 2020 und Anfang 2024 stagnierten die Werte trotz massiver Skalierung der Sprachmodelle; im Dezember 2024 erzielte OpenAIs Reasoning-Modell o3 einen sprunghaften Anstieg auf ARC-AGI-1. Die Nachfolgeversionen ARC-AGI-2 (2025) und ARC-AGI-3 (2026) stellten die Lücke jeweils wieder her.
Die ARC Prize Foundation, die den Benchmark betreut, ist Benchmark-Anbieter für das Center for AI Standards and Innovation des US-amerikanischen NIST.
Konzeption
Chollet begründete den Benchmark in On the Measure of Intelligence (2019) mit einer Kritik am üblichen Messverfahren: Wer Leistung in Aufgaben misst, für die trainiert wurde, misst skill und nicht intelligence. Intelligenz sei stattdessen als Effizienz der Fähigkeitsaneignung zu bestimmen – als Verhältnis erreichter Leistung zur dafür nötigen Erfahrung.
Daraus folgen die Konstruktionsprinzipien:
- Neuartigkeit. Jede Aufgabe ist gestaltet, ohne dass vergleichbare Aufgaben im Trainingsmaterial vorkommen.
- Beschränkung auf Kernwissen. Verwendet werden nur elementare Prinzipien wie Objektbeständigkeit, Zählen, elementare Geometrie und Ursache-Wirkung – Fähigkeiten, über die auch kleine Kinder verfügen.
- Sprach- und Wissensfreiheit. Die Aufgaben kommen ohne Text und ohne Fachwissen aus.
- Wenige Beispiele. Aus einer Handvoll Beispielpaaren muss die zugrunde liegende Regel erschlossen werden.
Das erklärte Ziel ist ein Benchmark, der für Menschen leicht und für Maschinen schwer ist – die Umkehrung des üblichen Musters.
Generationen
| Fassung | Erschienen | Aufgabentyp | Bester Maschinenwert | Mensch |
|---|---|---|---|---|
| ARC-AGI-1 | 2019 | Gittertransformation | über menschlichem Niveau (o3, Dez. 2024) | – |
| ARC-AGI-2 | März 2025 | Gitter, mustererkennungsresistent | einstellig bis niedrig zweistellig | – |
| ARC-AGI-3 | März 2026 | interaktive Umgebungen | unter 0,4 % (Frontier-Modelle) | 100 % |
ARC-AGI-1 (2019)
Die erste Fassung besteht aus gitterbasierten Aufgaben, bei denen aus Beispielpaaren eine Transformationsregel zu erschließen und auf ein neues Gitter anzuwenden ist.
Trotz einer Vergrößerung der Sprachmodelle um mehr als das Zehntausendfache zwischen 2020 und Anfang 2024 bewegten sich die besten Werte um 34 Prozent und damit deutlich unter menschlicher Leistung. Im Wettbewerb ARC Prize 2024 erreichte die beste eingereichte Lösung 55,5 Prozent auf dem privaten Auswertungsdatensatz, die beste vollständig quelloffene und damit preisberechtigte Lösung 53,5 Prozent.
Im Dezember 2024 erzielte OpenAIs Modell o3 einen sprunghaften Anstieg auf Werte oberhalb des typischen menschlichen Niveaus. Der Befund ist einzuschränken: Das Ergebnis kam unter Aussetzung der sonst geltenden Rechenbeschränkungen zustande. Chollet selbst betonte, das Modell sei keine AGI, da es einfache neuartige Aufgaben weiterhin fehlerhaft löse. Stand 2026 gilt ARC-AGI-1 als weitgehend gesättigt.
ARC-AGI-2 (2025)
Die im März 2025 veröffentlichte zweite Fassung enthält gezielt Aufgaben, bei denen Mustererkennung allein nicht ausreicht. Frontier-Modelle erreichten 2025 einstellige bis niedrige zweistellige Prozentwerte.
ARC-AGI-3 (2026)
Am 25. März 2026 stellte die ARC Prize Foundation bei Y Combinator in San Francisco ARC-AGI-3 vor – den ersten vollständig interaktiven Benchmark der Reihe. Er besteht aus mehreren hundert handgefertigten, rundenbasierten Umgebungen ohne Anleitung, Regeln oder benanntes Ziel.
Agenten müssen die Umgebung erkunden, das Ziel selbständig erschließen, ein inneres Modell der Dynamik aufbauen und Handlungsfolgen planen. Die Bewertung erfolgt effizienzbasiert im Vergleich zu menschlichen Handlungsbaselines.
Die Ergebnisse bei Veröffentlichung: Menschen lösten sämtliche Umgebungen; die besten Frontier-Modelle blieben unter 0,4 Prozent. Das beste eigens gebaute System der vorangegangenen Entwicklervorschau erreichte 12,58 Prozent. Zur Einordnung: Dieselben Modelle führen die meisten anderen Benchmarks an.
Wettbewerb
Der jährliche ARC Prize schreibt Preisgelder für quelloffene Lösungen aus; für 2026 beträgt das Gesamtvolumen über zwei Millionen US-Dollar.
Zwei Bedingungen prägen die Aussagekraft: Gewinnende Lösungen müssen unter MIT- oder CC0-Lizenz veröffentlicht werden, und die Auswertung läuft offline ohne Zugriff auf externe Schnittstellen. Letzteres soll verhindern, dass ein Wettbewerbsbeitrag lediglich eine Schnittstelle zu einem großen Modell umhüllt statt eigenständige Anpassungsfähigkeit zu zeigen.
Rezeption
Als Stärke gilt, dass ARC-AGI eine der wenigen Messgrößen ist, die trotz erheblicher Fortschritte nicht gesättigt sind, und dass sie Entwicklungssprünge sichtbar gemacht hat, die andere Benchmarks nicht erfassten – insbesondere das Aufkommen von Reasoning-Systemen.
Kritik richtet sich auf mehrere Punkte. Die Aufgaben prüfen einen eng umgrenzten Typ visuell-abstrakten Schließens; ob dieser als Stellvertreter allgemeiner Intelligenz taugt, ist offen. Zudem folgt aus der Beschränkung auf Kernwissen, dass wesentliche Aspekte menschlicher Kognition – sprachliches Verstehen, soziale Kognition, Fachwissen – systematisch ausgeblendet werden.
Schließlich ist die Namensgebung selbst umstritten: Der Zusatz AGI legt nahe, der Benchmark messe Fortschritt in Richtung allgemeiner Intelligenz, während er dem eigenen Anspruch nach lediglich eine notwendige, nicht hinreichende Bedingung prüft.
Verwandte Begriffe
- AGI – Zielbegriff, an dem sich der Benchmark ausrichtet
- François Chollet – Urheber des Benchmarks
- On the Measure of Intelligence – theoretische Grundlage
- Reasoning-Modelle – Modellklasse, deren Aufkommen ARC-AGI-1 sichtbar machte
- Benchmark-Kontamination – Problem, dem die Neuartigkeitsforderung begegnen soll
- Fluide vs. kristalline Intelligenz – psychologische Unterscheidung, auf die sich der Benchmark stützt
Quellenangaben
- ARC Prize Foundation (2025): ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems. arXiv: 2505.11831.
- ARC Prize Foundation (2026): Announcing ARC-AGI-3. https://arcprize.org/blog/arc-agi-3-launch
- ARC Prize Foundation (Chollet, François u. a.) (2026): ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. arXiv: 2603.24621.
- Chollet, François (2019): On the Measure of Intelligence. arXiv: 1911.01547.
- Chollet, François / Knoop, Mike / Kamradt, Greg / Landers, Bryan (2024): ARC Prize 2024: Technical Report. arXiv: 2412.04604.
- Chollet, François / Knoop, Mike / Kamradt, Gregory / Landers, Bryan, 2026. ARC Prize 2025: Technical Report. arXiv: 2601.10904
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.