Sparks of AGI

Sparks of Artificial General Intelligence: Early Experiments with GPT-4 ist ein im März 2023 von einer Forschungsgruppe bei Microsoft Research veröffentlichter Aufsatz. Er berichtet über Versuche mit einer frühen, nicht öffentlichen Fassung von GPT-4 und vertritt die These, dass dieses Modell allgemeinere Intelligenz zeige als frühere KI-Systeme.

Zusammenfassung

Der Aufsatz erschien unmittelbar nach der öffentlichen Vorstellung von GPT-4 und wurde zu einem der meistdiskutierten Texte der jüngeren KI-Debatte – sowohl wegen seines Inhalts als auch wegen seines Titels.

Die vierzehn Autorinnen und Autoren um Sébastien Bubeck dokumentieren Versuchsreihen zu Mathematik, Programmierung, Bildgenerierung über Code, Werkzeugnutzung und Alltagsschlussfolgern und benennen zugleich Grenzen des Modells.

Die Rezeption fiel gespalten aus: als ernsthafte Erkundung neuer Fähigkeiten einerseits, als unzulänglich und werblich andererseits. Der Aufsatz ist ein Wendepunkt der Diskursgeschichte – der Moment, in dem der Begriff AGI aus der Zukunftsdebatte in die Bewertung eines konkreten, verfügbaren Systems überging.

Inhalt

Vorgehen

Die Gruppe erhielt vorab Zugang zu einer frühen Fassung von GPT-4, während das Modell bei OpenAI noch in Entwicklung war. Sie prüfte es in einer Vielzahl von Aufgaben ohne feste Benchmarks, sondern durch qualitative Erkundung: Beweise mathematischer Sätze in literarischem Stil, Navigation in einer beschriebenen Karte, Programmierung, Werkzeugnutzung, medizinische und juristische Aufgabenstellungen.

Bekannt wurde ein Versuch zur Zeichnung eines Einhorns: Das Modell erzeugte Code, der ein Einhorn darstellt; die Forschenden entfernten daraufhin im Code das Horn und baten um Wiederherstellung, was gelang. Bubeck wertete dies als Beleg dafür, dass das Modell über eine Vorstellung der Anatomie des Tieres verfügen müsse.

These

Die Autorinnen und Autoren vertreten die Position, dass GPT-4 zu einer neuen Gruppe von Sprachmodellen gehöre, die allgemeinere Intelligenz zeigen als frühere Systeme – bei ausdrücklicher Betonung, dass es sich um eine frühe Fassung handelte und dass das Modell nicht als AGI zu gelten habe. Der Titel spricht von Funken, nicht von Erreichen.

Benannte Grenzen

Der Aufsatz führt Defizite eigens auf: unzuverlässige Planung, Schwierigkeiten bei Aufgaben, die vorausschauendes Rückwärtsdenken erfordern, Halluzinationen sowie die Beschränkung durch die autoregressive Erzeugung, die eine Revision bereits ausgegebener Schritte nicht zulässt.

Rezeption

Zustimmend wurde angeführt, dass die Untersuchung Fähigkeiten dokumentierte, die von den damals verfügbaren Benchmarks nicht erfasst wurden, und dass die qualitative Erkundung in einer Phase, in der niemand wusste, wonach zu suchen war, angemessen sein konnte.

Kritisch wurden mehrere Punkte benannt:

• Nachvollziehbarkeit. Die untersuchte Modellfassung war nicht öffentlich; die Ergebnisse sind nicht reproduzierbar. Das öffentlich verfügbare GPT-4 unterscheidet sich zudem durch nachträgliche Anpassungen von der geprüften Version.
• Methodik. Die Untersuchung besteht aus ausgewählten Beispielen ohne systematische Erhebung, ohne Kontrollbedingungen und ohne quantitative Auswertung. Damit ist nicht auszuschließen, dass gelungene Fälle überrepräsentiert sind.
• Kontamination. Bei einem Modell mit unbekanntem, sehr großem Trainingskorpus lässt sich nicht ausschließen, dass Aufgaben oder nahe Varianten darin enthalten waren.
• Interessenlage. Microsoft war zum Erscheinungszeitpunkt Hauptinvestor von OpenAI und brachte GPT-4-basierte Produkte auf den Markt. Der Aufsatz wurde daher auch als Marketingoperation gelesen.
• Begriffsverwendung. Der Titel wurde als Beispiel dafür kritisiert, dass ein wissenschaftlich unbestimmter Begriff werbend eingesetzt wird.

Kritiker der Skalierungsthese wie Gary Marcus und Melanie Mitchell wandten inhaltlich ein, dass die dokumentierten Leistungen mit Musterreproduktion aus einem außerordentlich großen Trainingskorpus vereinbar seien und keinen Rückschluss auf Verstehen zuließen.

Bedeutung

Unabhängig von der Bewertung markiert der Aufsatz eine Verschiebung. Vor ihm war AGI überwiegend Gegenstand von Prognosen; nach ihm wurde er zur Frage, wie ein vorliegendes System einzuordnen sei. Die daran anschließende Debatte machte sichtbar, dass die Antwort vollständig von der gewählten Definition abhängt – ein Umstand, der die Ausarbeitung gestufter Modelle wie Levels of AGI (Morris u. a. 2023) mit veranlasste.

Ein zweiter, weniger beachteter Effekt betrifft die Form wissenschaftlicher Arbeit über Sprachmodelle.

Der Aufsatz war kein Experiment, sondern eine Sammlung von Begegnungen – Aufgaben stellen, staunen, protokollieren. Diese Form hat Schule gemacht: Ein erheblicher Teil dessen, was seither über die Fähigkeiten großer Modelle bekannt ist, stammt aus Erkundungen dieser Art und nicht aus kontrollierten Versuchsanordnungen.

Das ist teils Not – bei Systemen, deren Trainingsdaten unbekannt und deren Fassungen instabil sind, greifen die üblichen Kontrollen nicht – und teils Verlust: Was als Beleg gilt, ist damit weitgehend der Beurteilung der Beobachtenden überlassen.

Die Frage nach der Angemessenheit des Titels blieb dabei nicht folgenlos. Dass ein Aufsatz mit einem bewusst unscharfen Begriff im Titel derart breit rezipiert wurde, hat die Bereitschaft erhöht, in Veröffentlichungen zu Modellfähigkeiten stark aufgeladene Vokabeln zu verwenden – eine Entwicklung, die von Fachvertretern beider Lager als Problem benannt wird.

Verwandte Begriffe

• AGI – Zielbegriff, dessen Anwendung auf GPT-4 der Aufsatz auslöste
• GPT-4 – untersuchtes Modell
• Levels of AGI – gestuftes Modell, das auf die Definitionsdebatte reagiert
• Emergent Abilities – verwandte Debatte um sprunghaft auftretende Fähigkeiten
• Benchmark-Kontamination – Problem der Untersuchung
• Stochastic Parrots – Gegenposition zur Verstehensannahme
• Gary Marcus – prominenter Kritiker der These
• On the Measure of Intelligence – alternative Antwort auf die Messfrage

Quellenangaben

1. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
2. Bubeck, Sébastien / Chandrasekaran, Varun / Eldan, Ronen / Gehrke, Johannes / Horvitz, Eric / Kamar, Ece / Lee, Peter / Lee, Yin Tat / Li, Yuanzhi / Lundberg, Scott / Nori, Harsha / Palangi, Hamid / Ribeiro, Marco Tulio / Zhang, Yi (Microsoft Research) (2023): Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv: 2303.12712.
3. Marcus, Gary / Davis, Ernest (2019): Rebooting AI: Building Artificial Intelligence We Can Trust.
4. Morris, Meredith Ringel / Sohl-Dickstein, Jascha / Fiedel, Noah / Warkentin, Tris / Dafoe, Allan / Faust, Aleksandra / Farabet, Clement / Legg, Shane (Google DeepMind) (2023): Levels of AGI for Operationalizing Progress on the Path to AGI. arXiv: 2311.02462.
5. Nature (2023): A test of artificial intelligence. https://www.nature.com/immersive/d41586-023-02822-z/index.html

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.