Emergent Abilities

Emergent Abilities (deutsch emergente Fähigkeiten) bezeichnen in der Forschung zu großen Sprachmodellen jene Fähigkeiten, die in kleineren Modellen einer Modellfamilie nicht oder kaum vorhanden sind. In größeren Modellen derselben Familie treten sie jedoch – nach einer bestimmten Schwellenskala – plötzlich und in nicht durch einfache Extrapolation vorhergesagter Weise auf.

Der Begriff wurde durch Jason Wei und Kollegen 2022 in der Arbeit Emergent Abilities of Large Language Models (Wei u. a., Google/Stanford/DeepMind, Transactions on Machine Learning Research) prominent etabliert. Er hat seither eine zentrale Rolle in der wissenschaftlichen und öffentlichen Diskussion über die Eigenschaften und Risiken großer Sprachmodelle gespielt.

Die ursprüngliche These – bestimmte Fähigkeiten würden diskontinuierlich mit der Modellgröße auftreten und seien somit nicht vorhersagbar – ist seit der Gegenarbeit von Schaeffer, Miranda und Koyejo (2023, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023) Gegenstand kontroverser Auseinandersetzung.

Ob die beobachteten Diskontinuitäten reale Phasenübergänge oder Artefakte der gewählten Bewertungsmetriken darstellen, bleibt offen.

Zusammenfassung

In ihrer ursprünglichen Definition (Wei u. a. 2022) sind Emergent Abilities Fähigkeiten, die „nicht in kleineren Modellen vorhanden, aber in größeren Modellen vorhanden sind”. Sie sind damit „durch Extrapolation der Leistung kleinerer Modelle nicht vorhersagbar sind.”

Diese Definition setzt zwei Voraussetzungen: erstens eine klar definierte Skalierungsachse (Modellgröße, Trainingsdaten oder Rechenleistung); zweitens eine Bewertungsmetrik, die das Auftreten der Fähigkeit messbar macht.

Die Originalarbeit identifizierte mehr als 100 solche Fähigkeiten in Frontier-Modellen – von arithmetischen Operationen über mehrstufige Wortprobleme und logische Schlüsse bis hin zu Chain-of-Thought-Fähigkeiten, Instruction Following und In-Context Learning.

Die zentrale Beobachtung: Bei vielen dieser Aufgaben blieb die Modellleistung bis zu einer bestimmten Schwellenskala bei oder nahe der Zufallsleistung, stieg dann aber innerhalb einer schmalen Skalierungsspanne auf substantielle Werte an. Die Autoren beschrieben dieses Muster als Phasenübergang oder Diskontinuität.

Rylan Schaeffer, Brando Miranda und Sanmi Koyejo (Stanford 2023) zeigten ein Jahr später, dass dieses scheinbar diskontinuierliche Verhalten in vielen Fällen ein Artefakt der gewählten Sharp Metrics (etwa Exact-Match-Accuracy) ist. Bei Umstellung auf Smooth Metrics (etwa Token-Level-Edit-Distance oder Per-Token-Cross-Entropy) zeigen dieselben Modelle auf denselben Aufgaben kontinuierliche, gut extrapolierbare Verbesserungen.

Diese methodische Klarstellung hat den Begriff nicht obsolet gemacht – empirische Phasenübergänge etwa in der Entstehung von Induction Heads (Olsson u. a. 2022, Anthropic) sind weiterhin gut dokumentiert –, aber sie hat die ursprüngliche starke Lesart erheblich relativiert.

Begriffsgeschichte

Vorläufer: Skalierungsgesetze und Phasenübergänge in Physik

Die intuitive Vorstellung von emergenten Eigenschaften – qualitative Veränderungen, die bei quantitativer Skalierung plötzlich auftreten – hat eine lange Tradition in der Naturwissenschaft.

Philip W. Anderson formulierte sie 1972 in seinem Aufsatz More Is Different (Science 177): Wenn Systeme in Größenordnungen wachsen, treten qualitativ neue Phänomene auf, die nicht aus den Eigenschaften der Bestandteile abgeleitet werden können. In der Physik sind Phasenübergänge – etwa Magnetisierung am Curie-Punkt, Suprafluidität bei niedrigen Temperaturen – paradigmatische Beispiele.

In der Forschung zu großen Sprachmodellen lieferten die Scaling Laws (Kaplan u. a., OpenAI 2020; Hoffmann u. a., DeepMind 2022) die quantitative Grundlage: Sie zeigten, dass aggregierte Verlustmetriken über Modellgröße, Datenmenge und Rechenleistung nach robusten Potenzgesetzen abfallen.

Wei und Kollegen argumentierten, dass dieser kontinuierliche Verlust-Abfall sich nicht 1:1 auf alle Fähigkeiten überträgt – bestimmte aufgabenspezifische Leistungen zeigten ein anderes, diskontinuierliches Muster.

Die Wei-Originalarbeit (2022)

Im Juni 2022 publizierten Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean und William Fedus die Arbeit Emergent Abilities of Large Language Models (zunächst arXiv, später TMLR 2022).

Sie untersuchten systematisch die Leistung mehrerer Modellfamilien (GPT-3, LaMDA, Gopher, Chinchilla, PaLM) auf einer breiten Aufgabenpalette (BIG-Bench, MMLU u. a.) als Funktion der Trainings-Rechenleistung.

Bei mehr als 100 Aufgaben zeigten sie Muster der Form: Leistung etwa zufällig bis zu einer Schwelle, dann steiler Anstieg.

Die Autoren waren in ihrer Interpretation vorsichtig: Sie sprachen von „empirically observed phenomena” und stellten ausdrücklich offen, ob die scheinbare Diskontinuität durch tatsächliche Phasenübergänge im Modellverhalten, durch Artefakte der Bewertungsmetriken oder durch andere Faktoren erklärt werden müsse.

Diese vorsichtige Formulierung wurde in der Sekundärrezeption häufig stärker gelesen – als Beleg dafür, dass „AI-Fähigkeiten plötzlich aus dem Nichts auftauchen”.

Schaeffers Mirage-Arbeit (2023)

Im April 2023 publizierten Rylan Schaeffer, Brando Miranda und Sanmi Koyejo (Stanford) die Gegenarbeit Are Emergent Abilities of Large Language Models a Mirage? (arXiv 2304.15004, NeurIPS 2023). Die Autoren argumentierten methodisch und empirisch: Die in der Wei-Arbeit beobachteten Diskontinuitäten sind zu einem erheblichen Teil ein Artefakt der gewählten Bewertungsmetrik.

Beispiel: Bei einer Aufgabe, die Exact-Match-Genauigkeit (entweder ganz richtig oder ganz falsch) misst, kann ein Modell, das schrittweise besser im Generieren der korrekten Antwort wird, lange bei 0 % bleiben. Erst wenn es einen Schwellenwert erreicht, wird die Antwort exakt richtig.

Ersetzt man die Exact-Match-Metrik durch eine Smooth Metric (etwa Token-Level-Edit-Distance oder Per-Token-Cross-Entropy), zeigt sich auf denselben Daten ein kontinuierlicher Verbesserungsverlauf, der sich gut extrapolieren lässt.

Die Schaeffer-u.-a.-Arbeit erhielt 2023 den NeurIPS Outstanding Paper Award und prägt seither die Diskussion. Eine wichtige Klärung: Die Arbeit bestreitet nicht, dass größere Modelle bestimmte Aufgaben qualitativ anders lösen – sie zeigt nur, dass viele der in der Wei-Arbeit als emergent klassifizierten Befunde nicht hinreichend belegt sind.

Nachfolgende Differenzierung (2023–2026)

Die Folgeforschung hat den Begriff weiter differenziert. Mehrere Linien sind unterscheidbar:

Mechanistische Befunde: Catherine Olsson u. a. (Anthropic 2022, In-context Learning and Induction Heads) dokumentierten phasenartige Übergänge in der internen Modellstruktur – Induction Heads entstehen während des Trainings nicht graduell, sondern in einem relativ scharfen Zeitfenster.

Ähnliche mechanistische Phasenübergänge wurden in der Folge bei anderen Fähigkeiten beobachtet (Nanda u. a. 2023, Progress Measures for Grokking via Mechanistic Interpretability).

Grokking: Ein verwandtes Phänomen, in dem Modelle nach langem Training plötzlich von Memorisierung zu Generalisierung übergehen (Power u. a. 2022, OpenAI, Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets). Grokking ist mit Phasenübergangs-Analogien gut beschreibbar.

Reasoning Models: Mit den seit September 2024 etablierten Reasoning Models ist eine neue Klasse von Fähigkeiten in den Vordergrund gerückt, die ähnliche Schwellen-Beobachtungen produzieren – Chain-of-Thought-Reasoning emergiert in vielen Benchmarks erst ab bestimmter Modellgröße.

Gegenkritik an der Mirage-These: Eine 2025 vorgelegte Übersichtsarbeit von Leonardo Berti, Flavio Giorgi und Gjergji Kasneci (Emergent Abilities in Large Language Models: A Survey, arXiv 2503.05788) stellt die Schaeffer-u.-a.-Kritik selbst infrage und argumentiert, diese sei „weniger robust, als sie erscheint”.

Die Autoren zeigen unter anderem, dass Schaeffers Token-Level-Edit-Distance-Metrik semantisch inadäquat sein kann – etwa wenn ein Modell bei der Addition 4237 + 5487 = 9724 das Ergebnis 2724 ausgibt: Der Edit-Distance-Fehler beträgt nur eine Ziffer, der tatsächliche numerische Fehler aber 7.000 Einheiten.

Zudem könne die in der Schaeffer-Arbeit verwendete logarithmische Skalierung der x-Achse eine „Illusion von Glätte” erzeugen, die reale Sprünge verdeckt.

Die Übersichtsarbeit kommt zu dem Schluss, dass echte Diskontinuitäten in mehreren Aufgaben (etwa modularer Arithmetik, IPA-Transliteration, Französisch-Englisch-Übersetzung) bestehen bleiben, auch bei Verwendung stetiger Metriken. Diese Gegenkritik hat die Debatte um Emergent Abilities Mitte der 2020er Jahre erneut geöffnet, ohne sie zu entscheiden.

Identifizierte Beispiele

Die ursprüngliche Wei-Arbeit und nachfolgende Untersuchungen haben eine Reihe konkreter Beispiele für angeblich emergente Fähigkeiten identifiziert. Wichtig: Bei einigen davon hat die Schaeffer-Kritik die Diskontinuität in Frage gestellt; bei anderen – insbesondere mechanistischen Phänomenen – sind die phasenartigen Übergänge gut belegt.

Arithmetik und mathematisches Reasoning

Mehrstellige Multiplikation, modulare Arithmetik und mehrstufige mathematische Wortprobleme zeigten in der Wei-Arbeit klassische Emergenz-Kurven. Bei GPT-3-Skalierung war die Genauigkeit auf 3-stelliger Addition unterhalb von etwa 10²² FLOPs nahe null, oberhalb dann substantiell. Schaeffer u. a. zeigten, dass bei Verwendung von Token-Level-Edit-Distance die Verbesserung kontinuierlich verläuft.

Chain-of-Thought Reasoning

Wei u. a. (2022, NeurIPS) zeigten, dass die Wirksamkeit von Chain-of-Thought-Prompting erst ab bestimmter Modellgröße auftritt – kleinere Modelle profitieren nicht oder verschlechtern sich sogar mit CoT. Dies ist ein häufig zitiertes Beispiel für emergente Fähigkeiten.

In-Context Learning

Die Fähigkeit, Aufgaben aus wenigen Beispielen im Prompt zu lernen, zeigt ebenfalls ein Muster, das in der Wei-Arbeit als emergent klassifiziert wurde. Die Anthropic-Forschung zu Induction Heads (Olsson u. a. 2022) lieferte eine mechanistische Erklärung: ICL-Fähigkeiten korrelieren zeitlich mit der Entstehung spezifischer Attention-Schaltkreise.

Instruction Following

Die Fähigkeit, natürlichsprachlichen Instruktionen zu folgen, zeigt ebenfalls Schwellenmuster – kleinere Modelle ignorieren Instruktionen oder folgen ihnen unzuverlässig, größere Modelle befolgen sie weitgehend.

Theory of Mind

Mehrere Studien (Kosinski 2023, Theory of Mind May Have Spontaneously Emerged in Large Language Models; auch Sap u. a. 2022 kritisch) berichten über die Fähigkeit, Aufgaben zu lösen, die das Modellieren mentaler Zustände anderer erfordern (False-Belief-Tasks).

Diese Befunde sind besonders kontrovers, weil sie an die Schnittstelle zur Kognitionsforschung führen und Sorgfalt voraussetzen, die in den ursprünglichen Studien nicht immer gegeben war.

Methodische Differenzierungen

Sharp Metrics vs. Smooth Metrics

Die zentrale Pointe der Schaeffer-Kritik betrifft die Wahl der Bewertungsmetrik. Eine Sharp Metric – etwa Exact-Match-Accuracy, BLEU-Schwellenwert, Multiple-Choice-Correctness – bewertet eine Modellausgabe als binäres Erfolg/Misserfolg-Ereignis. Eine Smooth Metric – etwa Per-Token-Cross-Entropy, Token-Level-F1, Edit-Distance – bewertet sie graduell.

Bei Sharp Metrics kann sich eine kontinuierliche Verbesserung der internen Modellfähigkeit als diskontinuierlicher Sprung in der Metrik manifestieren – sobald die Verbesserung die Schwellenbedingung der Metrik überschreitet, geht die Bewertung von 0 auf 1.

Modellgröße vs. Trainings-Compute vs. Daten

Die in Emergenz-Studien verwendete Skalierungsachse ist nicht eindeutig. Wei u. a. nutzten Trainings-Compute (FLOPs); andere Studien nutzen Modellparameter-Zahl oder Trainings-Tokens. Verschiedene Skalierungsachsen können unterschiedliche Emergenz-Muster zeigen, was die Interpretation erschwert.

Aufgabenkonstruktion und Daten-Kontamination

Eine weitere Differenzierung betrifft die Frage, ob die untersuchten Aufgaben tatsächlich neu sind oder ob ähnliche Aufgaben in den Trainingsdaten vertreten sind. Wenn Modelle bei größerer Skalierung mehr Trainingsdaten und damit mehr aufgabenähnliche Inhalte gesehen haben, ist die scheinbare Emergenz möglicherweise eine Konsequenz der Datenexposition, nicht der Skalierung selbst.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Metrik-Artefakte: Die Schaeffer-u.-a.-Arbeit (2023) hat empirisch belegt, dass viele der in der Wei-Arbeit als emergent klassifizierten Befunde methodisch nicht haltbar sind – die scheinbare Diskontinuität verschwindet bei geeigneter Metrik-Wahl. Diese Kritik hat den Begriff nicht obsolet gemacht, aber seine starke Lesart erheblich relativiert.

Anthropomorphisierung: Der Begriff Emergence lehnt sich an Diskussionen aus der Komplexitätsforschung und Kognitionswissenschaft an und kann den Eindruck erwecken, dass größere Modelle qualitativ andere – intelligentere, bewusstere – Entitäten seien. In der Sekundärliteratur (Bender u. a. 2021; Mitchell 2023) wird diese Konnotation kritisch diskutiert.

Sicherheits- und Vorhersagbarkeitsfragen: Wenn Fähigkeiten tatsächlich diskontinuierlich auftreten, wäre die Vorhersage gefährlicher Fähigkeiten in zukünftigen Modellgenerationen schwierig – ein für KI-Sicherheit folgenreiches Argument. Wenn Schaeffer u. a. recht haben und Fähigkeiten tatsächlich kontinuierlich entstehen, wäre Vorhersage prinzipiell möglich. Diese Frage hat unmittelbare regulatorische Relevanz.

Empirische Robustheit: Selbst wenn Phasenübergänge in mechanistischen Strukturen existieren (Induction Heads, Grokking), folgt daraus nicht zwingend, dass aufgabenspezifische Leistungen ebenfalls diskontinuierlich verlaufen. Die Beziehung zwischen interner Phasenstruktur und aggregierten Leistungsmetriken ist nur teilweise verstanden.

Daten-Kontamination: Wie bei allen Benchmark-basierten LLM-Befunden besteht das Risiko, dass die Test-Aufgaben in den Trainingsdaten enthalten waren. Bei vielen emergenten Fähigkeiten ist diese Möglichkeit nicht systematisch ausgeschlossen worden.

Stand 2025/2026

Die Diskussion um Emergent Abilities hat sich seit der Schaeffer-Arbeit 2023 substantiell verfeinert. Die starke Lesart – KI-Fähigkeiten treten plötzlich und unvorhersehbar auf – ist in der akademischen Forschung weitgehend zurückgewiesen worden; in der Praxis ist Emergenz eher als interessante Beobachtung erkannt worden, die je nach gewählter Metrik unterschiedlich erscheint.

Die mechanistischen Phasenübergänge (Induction Heads, Grokking) bleiben empirisch gut belegt, ohne die starke Emergenz-These zu rehabilitieren.

Mit den seit Ende 2024 etablierten Reasoning Models ist eine neue Klasse von Fähigkeitsverläufen in den Vordergrund gerückt, die sowohl Skalierungsgesetzen folgen als auch – bei bestimmten Metriken – schwellenartige Muster zeigen.

Die 2025 vorgelegte Gegenkritik an der Schaeffer-Arbeit (Berti/Giorgi/Kasneci) zeigt, dass auch die vermeintlich abschließende Klärung der Mirage-Debatte selbst umstritten bleibt – der wissenschaftliche Konsens ist Stand August 2026 nicht hergestellt.

Die regulatorische Diskussion (EU AI Act, US-Executive Orders) hat die Frage berührt, ob Frontier-Modelle vor Veröffentlichung auf neu auftretende Fähigkeiten geprüft werden müssen; ist diese Forderung an die Emergenz-Diskussion gekoppelt.

Verwandte Begriffe

• Large Language Models – Anwendungskontext
• In-Context Learning – paradigmatisches Beispiel
• Transformer – Architektur, in der Emergenz beobachtet wird

Quellenangaben

1. Anderson, Philip W., 1972. More Is Different. In: Science 177 (4047), S. 393–396. DOI: 10.1126/science.177.4047.393.
2. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
3. Berti, Leonardo / Giorgi, Flavio / Kasneci, Gjergji, 2025. Emergent Abilities in Large Language Models: A Survey. arXiv: 2503.05788.
4. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
5. Ganguli, Deep u. a., 2022. Predictability and Surprise in Large Generative Models. In: Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2022), S. 1747–1764. DOI: 10.1145/3531146.3533229.
6. Hendrycks, Dan u. a., 2021. Measuring Massive Multitask Language Understanding. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.03300. (MMLU).
7. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
8. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
9. Kosinski, Michal, 2024. Evaluating Large Language Models in Theory of Mind Tasks. In: Proceedings of the National Academy of Sciences 121 (45). DOI: 10.1073/pnas.2405460121.
10. Kosinski, Michal, 2023. Theory of Mind May Have Spontaneously Emerged in Large Language Models. arXiv: 2302.02083.
11. Lu, Sheng u. a., 2024. Are Emergent Abilities in Large Language Models Just In-Context Learning? In: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (ACL 2024). arXiv: 2309.01809.
12. Mitchell, Melanie, 2023. AI’s Challenge of Understanding the World. In: Science 382 (6671). DOI: 10.1126/science.adm8175.
13. Nanda, Neel / Chan, Lawrence / Lieberum, Tom / Smith, Jess / Steinhardt, Jacob, 2023. Progress Measures for Grokking via Mechanistic Interpretability. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2301.05217.
14. Olsson, Catherine u. a., 2022. In-context Learning and Induction Heads. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.11895.
15. Power, Alethea / Burda, Yuri / Edwards, Harri / Babuschkin, Igor / Misra, Vedant, 2022. Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. OpenAI. arXiv: 2201.02177.
16. Sap, Maarten u. a., 2022. Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs. In: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022), S. 3762–3780. DOI: 10.18653/v1/2022.emnlp-main.248.
17. Schaeffer, Rylan / Miranda, Brando / Koyejo, Sanmi, 2023. Are Emergent Abilities of Large Language Models a Mirage? In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.15004.
18. Srivastava, Aarohi u. a., 2023. Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. In: Transactions on Machine Learning Research (BIG-Bench). arXiv: 2206.04615.
19. Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.
20. Wei, Jason u. a., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2201.11903.

← Zurück zur Lexikon-Übersicht