Die ARC Prize Foundation ist eine gemeinnützige US-amerikanische Organisation, die den Benchmark ARC-AGI betreut und einen jährlichen Wettbewerb um dessen Lösung ausrichtet. Sie wurde von François Chollet und Mike Knoop gegründet und ist Benchmark-Anbieter für das Center for AI Standards and Innovation (CAISI) des US-amerikanischen NIST.
Zusammenfassung
Die Stiftung ging 2025 aus dem 2024 ausgeschriebenen ARC Prize hervor, einem mit einer Million US-Dollar dotierten Wettbewerb zur Lösung des Benchmarks ARC-AGI. Ihr erklärter Zweck ist es, Forschung zu lenken, Fortschritt zu beschleunigen und den Weg zur AGI offen und allgemein zugänglich zu halten.
Die Stiftung vertritt eine bestimmte Bestimmung ihres Gegenstands: AGI als System, das die Lerneffizienz von Menschen erreicht. Ihre Wettbewerbsbedingungen – verpflichtende Quelloffenheit gewinnender Lösungen und Auswertung ohne Zugriff auf externe Schnittstellen – sind darauf ausgelegt, Ergebnisse überprüfbar zu machen und die bloße Umhüllung kommerzieller Modelle auszuschließen.
Entstehung
Chollet veröffentlichte den Abstraction and Reasoning Corpus 2019 zusammen mit dem Aufsatz On the Measure of Intelligence. Der Benchmark erwies sich über Jahre als weitgehend resistent gegen die Skalierung der Sprachmodelle.
2024 schrieben Chollet und Mike Knoop, Mitgründer des Automatisierungsdienstes Zapier, den ARC Prize aus – einen mit einer Million US-Dollar dotierten Wettbewerb. Chollet verließ im November 2024 nach über neun Jahren Google, um mit Knoop das Forschungsunternehmen Ndea zu gründen. Anfang 2025 überführten beide den ARC Prize in eine eigenständige gemeinnützige Stiftung.
Die personelle Verflechtung ist zu beachten: Dieselben Personen betreiben die Stiftung und ein Unternehmen, das einen alternativen Entwicklungspfad zur AGI verfolgt.
Tätigkeit
Benchmarks
Die Stiftung entwickelt und pflegt die ARC-AGI-Reihe. ARC-AGI-1 (2019) besteht aus gitterbasierten Transformationsaufgaben und gilt Stand 2026 als weitgehend gesättigt. ARC-AGI-2 (März 2025) enthält Aufgaben, bei denen Mustererkennung allein nicht ausreicht. ARC-AGI-3 (März 2026) ist der erste vollständig interaktive Benchmark der Reihe mit mehreren hundert handgefertigten Umgebungen ohne Anleitung, Regeln oder benanntes Ziel.
Die Stiftung veröffentlicht zu jeder Fassung technische Berichte sowie jährliche Auswertungen des Wettbewerbs.
Wettbewerb
Der ARC Prize wird jährlich ausgeschrieben; für 2026 beträgt das Preisvolumen über zwei Millionen US-Dollar, verteilt auf zwei parallele Wettbewerbe zu ARC-AGI-2 und ARC-AGI-3. Für ARC-AGI-3 sind 700.000 US-Dollar für den ersten Beitrag ausgelobt, der die volle Punktzahl erreicht, ergänzt um Zwischenpreise zu festen Stichtagen.
Zwei Regeln prägen die Aussagekraft:
- Quelloffenheit. Gewinnende Lösungen müssen unter MIT- oder CC0-Lizenz veröffentlicht werden.
- Offline-Auswertung. Die Bewertung läuft ohne Zugriff auf externe Schnittstellen. Damit ist ausgeschlossen, dass ein Beitrag lediglich eine Schnittstelle zu einem kommerziellen Modell umhüllt; verlangt ist eigenständige Anpassungsfähigkeit vor Ort.
Institutionelle Rolle
Die Stiftung stellt Benchmarks für das Center for AI Standards and Innovation des NIST bereit. Damit ist eine private, von einer Position in der Fachdebatte getragene Organisation in die staatliche Standardisierung eingebunden.
Position
Die Stiftung vertritt die Auffassung, dass Skalierung allein nicht zu AGI führt, und begründet dies mit den Ergebnissen ihrer eigenen Benchmarks: Zwischen 2020 und Anfang 2024 stagnierten die ARC-AGI-Werte trotz einer Vergrößerung der Modelle um mehr als das Zehntausendfache; die Nachfolgeversionen stellten die Leistungslücke nach dem Sprung durch Reasoning-Modelle jeweils wieder her.
Ihr Anspruch, Wendepunkte der KI-Entwicklung sichtbar zu machen, stützt sich auf zwei Beispiele: das Aufkommen von Reasoning-Systemen und die Entwicklung fähiger Agentensysteme.
Kritik
Kritik richtet sich auf die Reichweite der Benchmarks: Sie prüfen einen eng umgrenzten Typ abstrakten Schließens unter Ausschluss von Sprache und Fachwissen. Ob dieser als Stellvertreter allgemeiner Intelligenz taugt, ist offen.
Weiter wird auf die Doppelrolle verwiesen: Chollet und Knoop betreiben zugleich den Benchmark, der die Grenzen etablierter Ansätze aufzeigt, und ein Unternehmen, das eine Alternative dazu entwickelt. Die Stiftung begegnet dem mit Offenlegung; der strukturelle Interessenkonflikt bleibt bestehen.
Der Entwurfsgrundsatz
Was die Prüfsammlungen der Stiftung von den üblichen Benchmarks unterscheidet, ist eine einzige Entwurfsentscheidung: Die Aufgaben sind so gebaut, dass Vorwissen nicht hilft. Sie stützen sich auf wenige Grundbegriffe, die jeder Mensch besitzt – Gegenstände haben Ränder, Dinge lassen sich zählen, Formen können gespiegelt oder wiederholt werden –, und verlangen, aus zwei oder drei Beispielen die dahinterstehende Regel zu erschließen.
Damit wird gemessen, was Chollet als eigentliche Intelligenz bestimmt: nicht der Umfang des Könnens, sondern die Geschwindigkeit, mit der aus wenig Neuem etwas Neues erschlossen wird. Ein System, das über einen riesigen Erfahrungsschatz verfügt, hat hier keinen Vorteil, weil die konkrete Regel in diesem Schatz nicht vorkommt.
Der laufende Betrieb der Stiftung folgt daraus. Jede Aufgabensammlung verliert an Aussagekraft, sobald sie öffentlich vorliegt und in Trainingsdaten geraten kann; deshalb werden zurückgehaltene Aufgabenbestände geführt, Auswertungen unter kontrollierten Bedingungen durchgeführt und die Sammlungen periodisch erneuert.
Der eigentliche Beitrag der Stiftung liegt weniger in einer Zahl als in dieser Verwaltungsleistung – sie unterhält einen der wenigen Maßstäbe des Feldes, bei dem eine hohe Punktzahl nicht sofort den Verdacht der Kontamination weckt.
Verwandte Begriffe
- ARC-AGI – von der Stiftung betreuter Benchmark
- François Chollet – Mitgründer
- Mike Knoop – Mitgründer
- On the Measure of Intelligence – theoretische Grundlage
- AGI – Zielbegriff, den die Stiftung als Lerneffizienz bestimmt
- Benchmark-Kontamination – Problem, dem die Wettbewerbsregeln begegnen
- Programmsynthese – von den Gründern verfolgter Entwicklungspfad
Quellenangaben
- ARC Prize Foundation (2026): Announcing ARC-AGI-3. https://arcprize.org/blog/arc-agi-3-launch
- ARC Prize Foundation (2026): ARC Prize 2026 – ARC-AGI-3 Competition. https://arcprize.org/competitions/2026/arc-agi-3
- ARC Prize Foundation (Chollet, François u. a.) (2026): ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. arXiv: 2603.24621.
- Chollet, François / Knoop, Mike / Kamradt, Greg / Landers, Bryan (2024): ARC Prize 2024: Technical Report. arXiv: 2412.04604.
- Chollet, François / Knoop, Mike / Kamradt, Gregory / Landers, Bryan, 2026. ARC Prize 2025: Technical Report. arXiv: 2601.10904
- Fast Company (2026): Exclusive: This new benchmark could expose AI’s biggest weakness. 25. März 2026.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.