Scaling Laws

Scaling Laws (deutsch Skalierungsgesetze) bezeichnen in der Forschung zu künstlichen neuronalen Netzen – insbesondere zu großen Sprachmodellen – empirisch beobachtete Potenzgesetz-Beziehungen, nach denen der Trainingsverlust eines Modells vorhersagbar abnimmt. Er ist dabei eine Funktion von drei zentralen Größen: der Anzahl der Modellparameter, der Menge der Trainingsdaten und der aufgewendeten Rechenleistung.

Die zentralen Arbeiten sind Scaling Laws for Neural Language Models (Kaplan u. a., OpenAI 2020) und Training Compute-Optimal Large Language Models (Hoffmann u. a., DeepMind 2022, auch bekannt als Chinchilla-Arbeit).

Scaling Laws sind die quantitative Grundlage praktisch aller seither getroffenen großen Investitionsentscheidungen in das Training von Frontier-LLMs. Sie haben zugleich die methodische Brücke zwischen Forschung und industrieller Skalierung gebildet und sind seit etwa 2024 durch Inference-Time Scaling Laws um eine zweite Skalierungsachse erweitert worden.

Zusammenfassung

Die zentrale empirische Beobachtung der Scaling Laws ist, dass viele Eigenschaften neuronaler Netze – vor allem der Trainings- und Validierungsverlust – nicht zufällig oder schwer vorhersagbar von der Skalierung abhängen, sondern sich entlang sauber definierter Potenzgesetze verhalten.

Die Kaplan-Originalarbeit von 2020 formulierte dies als drei separate Beziehungen: Verlust als Potenzgesetz in Modellgröße, in Datenmenge und in Rechenleistung. Diese Beziehungen erstrecken sich über mehr als sieben Größenordnungen und bleiben über verschiedene Modellfamilien hinweg robust.

Die Chinchilla-Arbeit von 2022 korrigierte einen wichtigen praktischen Aspekt der Kaplan-Befunde: Bei festem Rechenbudget sollten Modellgröße und Datenmenge gemeinsam skaliert werden – etwa 20 Trainings-Tokens pro Modellparameter sind compute-optimal. Viele damalige Modelle (einschließlich GPT-3) hatten relativ zu ihrer Größe deutlich zu wenig Trainingsdaten gesehen.

Die Konsequenz war eine grundlegende Verschiebung der Trainings-Praxis: Llama (Februar 2023), Llama 2 (Juli 2023), Llama 3 (April 2024) und nachfolgende Modelle nutzen Chinchilla-überoptimierte Setups – sie überschreiten das compute-optimale Verhältnis deutlich, weil die Inferenz-Kosten dadurch sinken.

Mit den seit September 2024 etablierten Reasoning Models ist eine zweite Skalierungsachse hinzugetreten: Test-Time Compute Scaling (Snell u. a. 2024), das zusätzliche Inferenz-Rechenleistung in Reasoning-Spuren investiert und ebenfalls vorhersagbaren Potenzgesetzen folgt.

Begriffsgeschichte

Vorgeschichte: Skalierungsbeobachtungen in der KI-Forschung

Empirische Beobachtungen, dass größere neuronale Netze auf mehr Daten besser werden, sind in der KI-Forschung seit den 1990er Jahren dokumentiert.

Sutton (2019, The Bitter Lesson) argumentierte rückblickend, dass die Geschichte der KI-Forschung im Wesentlichen die Geschichte der erfolgreich skalierten Methoden ist – komplexe symbolische und wissensgetriebene Ansätze wurden in einer Domäne nach der anderen von einfacheren, datenintensiven, lernbasierten Verfahren abgelöst.

Eine erste systematische empirische Vermessung von Skalierungsverhalten in tiefen neuronalen Netzen publizierten Joel Hestness und Kollegen bei Baidu Research 2017 (Deep Learning Scaling is Predictable, Empirically, arXiv: 1712.00409).

Sie zeigten über mehrere Aufgaben – maschinelle Übersetzung, Sprachmodellierung, Spracherkennung, Bildklassifikation –, dass die Verlust-Datenmenge-Beziehung einem Potenzgesetz folgt, sobald genügend Daten vorhanden sind. Diese Arbeit wird in der Sekundärliteratur als erste systematische Scaling-Law-Untersuchung anerkannt; sie blieb in der breiteren Forschung zunächst weniger einflussreich als die spätere OpenAI-Arbeit.

Kaplan u. a. (2020): Die kanonische Formulierung

Im Januar 2020 publizierten Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu und Dario Amodei (OpenAI) die Arbeit Scaling Laws for Neural Language Models (arXiv 2001.08361). Sie etablierten die heute kanonische Formulierung:

Bei nicht limitierender Datenmenge folgt der Verlust L der Modellgröße N (Parameter) einem Potenzgesetz:

L(N) ≈ (Nₒ / N)^αₙ

Bei nicht limitierender Modellgröße folgt der Verlust der Datenmenge D (Tokens) ebenfalls einem Potenzgesetz:

L(D) ≈ (Dₒ / D)^αD

Und bei gegebenem Compute-Budget C (Floating-Point-Operationen) folgt der minimal erreichbare Verlust ebenfalls einem Potenzgesetz.

Die empirisch ermittelten Exponenten lagen bei αₙ ≈ 0,076 und αD ≈ 0,095. Die Arbeit dokumentierte, dass diese Beziehungen über mindestens sieben Größenordnungen in Modellgröße robust gelten und weitgehend unabhängig von architektonischen Details sind, solange die Modelle aus derselben Modellfamilie stammen.

Die zentrale praktische Schlussfolgerung der Kaplan-Arbeit: Bei festem Compute-Budget sollte ein größerer Teil in Modellgröße statt in Datenmenge investiert werden – die Arbeit empfahl ein Skalierungsverhältnis von etwa N⁰·⁷³ ∝ D⁰·²⁷. Dieser Befund prägte die nachfolgende Trainings-Praxis bis 2022.

Hoffmann u. a. (2022): Die Chinchilla-Korrektur

Im März 2022 publizierten Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch und weitere Autor:innen bei DeepMind die Arbeit Training Compute-Optimal Large Language Models (arXiv 2203.15556).

Die Autoren führten über 400 Trainingsläufe in einem Modellgrößen-Bereich von 70 Millionen bis 16 Milliarden Parametern durch und kamen zu einer anderen Schlussfolgerung als Kaplan:

Bei festem Compute-Budget sollten Modellgröße und Datenmenge gleichmäßig skaliert werden – etwa 20 Trainings-Tokens pro Modellparameter sind compute-optimal. Die Autoren testeten die Vorhersage, indem sie ein 70-Milliarden-Parameter-Modell (Chinchilla) auf 1,4 Billionen Tokens trainierten und damit Gopher (280 Milliarden Parameter, 300 Milliarden Tokens) bei gleichem Compute-Budget übertrafen (Hoffmann u. a. 2022).

Die Chinchilla-Korrektur hatte massive praktische Folgen: Sie zeigte, dass viele bestehende Frontier-Modelle (einschließlich GPT-3 mit 175 Milliarden Parametern auf etwa 300 Milliarden Tokens, also nur ~1,7 Tokens pro Parameter) deutlich unter-trainiert waren (Hoffmann u. a. 2022). Sie hatten zu wenige Daten relativ zu ihrer Größe gesehen.

Datenintensive Phase (ab 2023)

Mit Llama (Februar 2023; 7B/13B/33B/65B, etwa 1,0–1,4 Billionen Tokens), Llama 2 (Juli 2023; bis 70B, 2 Billionen Tokens) und insbesondere Llama 3 (April 2024; 8B/70B/405B, über 15 Billionen Tokens) wurde die Chinchilla-Empfehlung in der Praxis deutlich überschritten.

Llama 3 8B nutzt etwa 1.875 Trainings-Tokens pro Parameter (Grattafiori u. a. 2024) – fast das Hundertfache der Chinchilla-Empfehlung. Die Begründung: Während Training-Compute eine Einmalkosten darstellt, fallen Inferenz-Kosten bei jeder Modell-Anwendung an. Chinchilla-überoptimiert zu trainieren – also über das compute-optimale Verhältnis hinaus –, ergibt insgesamt günstigere Modelle, wenn sie häufig in der Inferenz verwendet werden.

Diese Verschiebung markiert eine zweite Phase der Skalierungsdebatte: Die ursprünglichen Scaling Laws bleiben gültig, ihre praktische Anwendung verschiebt sich aber von Trainings-Compute-Optimalität zu Gesamtkosten-Optimalität über den Modell-Lebenszyklus.

Inference-Time Scaling Laws (2024)

Im August 2024 publizierten Charlie Snell, Jaehoon Lee, Kelvin Xu und Aviral Kumar (DeepMind/UC Berkeley) die Arbeit Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (arXiv 2408.03314).

Die Autoren zeigten empirisch, dass zusätzliche Rechenleistung zur Inferenzzeit – durch Mehrfach-Sampling, Verifier-gestützte Suche, erweiterte Chain-of-Thought – auf bestimmten Aufgaben effizienter ist als zusätzliche Modellgröße. Diese Beobachtung legte die Grundlage der seit September 2024 etablierten Reasoning Models (OpenAI o1, DeepSeek R1, Claude Extended Thinking, Gemini 2.5 Thinking).

Test-Time Scaling Laws folgen ebenfalls vorhersagbaren Potenzgesetzen, allerdings mit anderen Exponenten als das klassische Train-Time Scaling. Die wichtige Pointe: Compute kann zwischen Trainings- und Inferenzphase gehandelt werden; bei bestimmten Aufgaben ist Inferenz-Compute günstiger.

Mathematische Formulierung

Die Kaplan-Gleichungen

Die Kaplan-Originalarbeit formulierte drei separate Beziehungen:

Modellgrößen-Skalierung (bei nicht limitierender Datenmenge):

L(N) = (Nₒ/N)^αₙ

mit Nₒ ≈ 8,8·10¹³ Parameter und αₙ ≈ 0,076.

Datenmengen-Skalierung (bei nicht limitierender Modellgröße):

L(D) = (Dₒ/D)^αD

mit Dₒ ≈ 5,4·10¹³ Tokens und αD ≈ 0,095.

Compute-Skalierung (bei optimaler Aufteilung):

L(Cₘᵢₙ) = (Cₒ/Cₘᵢₙ)^αC

mit Exponent αC ≈ 0,050.

Die Chinchilla-Gleichung

Die Hoffmann-u.-a.-Arbeit verband Modellgröße und Datenmenge in einer einzigen Gleichung:

L(N, D) = E + A/N^α + B/D^β

mit empirisch geschätzten Werten E ≈ 1,69, A ≈ 406,4, B ≈ 410,7, α ≈ 0,34, β ≈ 0,28. Aus dieser Form folgt die compute-optimale Skalierung N ∝ C^a, D ∝ C^b mit a ≈ 0,5 und b ≈ 0,5. Praktisch heißt das: Bei einer Verdopplung des Compute-Budgets sollten sowohl Modellgröße als auch Datenmenge je um den Faktor √2 wachsen – daraus folgt das 20 Tokens pro Parameter-Verhältnis als optimaler Punkt.

Skalierung in verschiedenen Domänen

Scaling Laws wurden über die Sprachmodellierung hinaus auf andere Domänen ausgedehnt: maschinelle Übersetzung (Ghorbani u. a. 2021), Computer Vision (Zhai u. a. 2022 für Vision Transformer) und Reinforcement Learning.

Hinzu kommen multimodale Modelle (Henighan u. a. 2020, OpenAI, Scaling Laws for Autoregressive Generative Modeling) und Spracherkennung. Die spezifischen Exponenten variieren je nach Domäne, das prinzipielle Potenzgesetz-Verhalten ist robust.

Implikationen

Vorhersagbarkeit großer Modelle

Eine zentrale praktische Konsequenz der Scaling Laws: Die Leistung großer, teurer Modelle kann aus kleineren, billigen Trainingsläufen vorhergesagt werden. Diese Vorhersagbarkeit ist die Grundlage für Investitionsentscheidungen in Milliardenhöhe und für die Ankündigung von Modellgenerationen, die noch nicht vollständig trainiert wurden.

OpenAIs GPT-4-Veröffentlichung (März 2023) berichtete explizit, dass zentrale Leistungseigenschaften aus Trainingsläufen mit drei bis vier Größenordnungen weniger Compute vorhergesagt worden waren – eine direkte Anwendung der Scaling-Law-Methodik.

Skalierungsgesetz und Investitionen

Die Scaling Laws sind die quantitative Grundlage der seit 2020 getätigten massiven Investitionen in KI-Infrastruktur. Mit Beträgen von etwa 100 Millionen US-Dollar pro Frontier-Trainingslauf (2023), mehreren Hundert Millionen (2024) und Schätzungen über eine Milliarde US-Dollar (2025/2026) sind diese Entscheidungen ohne quantitative Vorhersehbarkeit nicht plausibel.

Microsoft/OpenAI haben mit dem Stargate-Projekt (Ankündigung Januar 2025) Investitionen in der Größenordnung von 500 Milliarden US-Dollar in Aussicht gestellt; Anthropic, Google, Meta und xAI haben vergleichbare Größenordnungen angekündigt.

Datenknappheit als Limitierungsfaktor

Eine wichtige Konsequenz der Chinchilla-Korrektur ist die Frage nach Datenverfügbarkeit. Villalobos u. a. (2024, Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data, ICML 2024) schätzen, dass der Bestand hochwertiger öffentlicher Trainingsdaten zwischen 2026 und 2032 erschöpft sein könnte. Diese Schätzung hat die Bedeutung synthetischer Daten erheblich erhöht.

Hardware-Investitionen und Lieferketten

Die Skalierung der Trainings-Compute-Anforderungen hat die globale Halbleiter-Lieferkette substantiell beeinflusst. NVIDIA-GPUs (H100, H200, B100, B200), Google TPUs (v4, v5p, v6/Trillium) und AMD Instinct (MI300, MI325) sind die zentralen Hardware-Komponenten; TSMC dominiert die Fertigung. Die geopolitische Dimension dieser Lieferketten – US-Exportbeschränkungen für High-End-GPUs nach China – hat seit 2022 substantielle Aufmerksamkeit erregt.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Verlust ≠ Fähigkeit: Scaling Laws sagen den aggregierten Verlust vorher, nicht spezifische Fähigkeiten. Wie der Eintrag zu Emergent Abilities (Wei u. a. 2022 vs. Schaeffer u. a. 2023) zeigt, kann sich kontinuierlicher Verlust-Abfall auf aggregierten Metriken als diskontinuierliches Verhalten in aufgabenspezifischen Metriken manifestieren. Die Vorhersage zukünftiger Fähigkeiten ist damit indirekter, als die einfachsten Scaling-Law-Lesarten suggerieren.

Asymptoten und Grenzen: Empirische Potenzgesetze gelten in dem Bereich, in dem sie gemessen wurden. Eine zentrale offene Frage ist, ob die Scaling Laws auch bei noch größeren Skalierungen – etwa bei 10²⁶ FLOPs und mehr – weiter gelten oder ob Sättigungs- oder Bruchpunkte auftreten.

Mehrere Frontier-Labore haben in nicht-öffentlichen Veröffentlichungen Hinweise auf abflachende Skalierungsraten bei sehr großen Modellen diskutiert; die empirische Beleglage ist begrenzt.

Eine öffentlich prominent gewordene Positionierung lieferte Ilya Sutskever – Mitautor der Kaplan-Arbeit von 2020 und seit 2024 Leiter des Labors Safe Superintelligence Inc. – im November 2025 im Dwarkesh-Patel-Podcast. Er bezeichnete die Phase des reinen Compute-, Daten- und Parameter-Skalierens (2020–2025, in seiner Terminologie „age of scaling”) als beendet und diagnostizierte eine Rückkehr zur „age of research”.

Sein Argument: Aktuelle Modelle blieben trotz hoher Benchmark-Werte in der Generalisierung brüchig, und mittlerweile werde mehr Compute in Reinforcement Learning als in Pre-Training investiert.

Sutskevers Aussage gilt als eine der öffentlich konkretesten Stellungnahmen einer Frontier-Lab-Führungsfigur zur Sättigungsfrage, auch wenn sie eine Einzelmeinung bleibt und nicht repräsentativ für die Position anderer Frontier-Labore sein muss.

Datenqualitäts-Abhängigkeit: Die Scaling Laws gelten unter der Annahme, dass die Trainingsdaten von vergleichbarer Qualität sind. Bei Datenquellen-Verschiebungen, Benchmark-Kontamination oder synthetischen Daten gelten die ursprünglichen Beziehungen nur eingeschränkt.

Generalisierbarkeit über Architekturen: Die ursprünglichen Scaling Laws wurden für Decoder-only-Transformer formuliert. Bei Mixture-of-Experts-Architekturen (Mixtral, DeepSeek-V3) und anderen Variationen gelten andere Skalierungsbeziehungen. Die Frage, ob es eine universelle Skalierungstheorie für neuronale Netze gibt, ist offen.

Wirtschaftliche und ökologische Folgen: Die Annahme, dass Skalierung lohnenswert sei, hat zu enormen Investitionen geführt – mit substantiellem Energie- und Wasserverbrauch, geopolitischen Konflikten um Hardware-Lieferketten und konzentrierter Marktmacht. Die Diskussion, ob die beobachteten Scaling Laws auch ökonomisch sinnvolle Skalierungsentscheidungen rechtfertigen, ist Gegenstand kontroverser Auseinandersetzung.

Anthropomorphisierung der Vorhersage: Manche Lesarten der Scaling Laws suggerieren, dass „AGI” oder „Superintelligenz” durch reine Skalierung erreichbar seien. Diese Position (vertreten etwa von Sutskever, Amodei und Teilen der OpenAI/Anthropic-Forschung) wird von anderen (LeCun, Marcus, Mitchell) als unzureichend begründet kritisiert.

Die Scaling Laws sagen Verlust voraus, nicht das Erreichen schlecht definierter Endpunkte wie generelle Intelligenz.

Stand 2025/2026

Scaling Laws bleiben im Verlauf der Jahre 2024 bis 2026 die quantitative Grundlage der Frontier-Modell-Entwicklung.

Mehrere methodische Verschiebungen sind sichtbar: Die Chinchilla-Überoptimierung mit deutlichem Tokens-pro-Parameter-Überschuss hat sich als praktische Norm etabliert, und Inference-Time Scaling Laws sind durch die Reasoning Models zur zweiten Skalierungsachse geworden. Die Frage nach Datenknappheit (Villalobos u. a. 2024) ist von der Theorie zur Praxis geworden und treibt die Entwicklung synthetischer Daten.

Auf der industriellen Seite werden Investitionen in der Größenordnung von 100 Milliarden bis 500 Milliarden US-Dollar getätigt (Stargate, Anthropic-AWS-Allianz, Google-Investitionen, xAI-Memphis).

Auf der Forschungsseite werden alternative Skalierungsbeziehungen für Reasoning, Mixture-of-Experts, multimodale Modelle und neue Architekturen wie Mamba untersucht.

Eine in der Sekundärliteratur aufkommende Frage betrifft das mögliche Ende der einfachen Trainings-Compute-Skalierung. Anekdoten über abflachende Skalierung in Frontier-Trainings haben 2024/2025 öffentliche Aufmerksamkeit erregt, ohne dass zunächst eindeutige öffentliche Belege publiziert worden wären.

Diese Lücke wurde durch Ilya Sutskevers öffentliche „Age of Scaling ist vorbei”-Diagnose (Dwarkesh-Patel-Podcast, November 2025) zumindest teilweise geschlossen, auch wenn offen bleibt, ob sich diese Einschätzung auf alle Frontier-Labore verallgemeinern lässt.

Verwandte Begriffe

• Large Language Models – Hauptanwendungsbereich
• Compute-Optimal Training – Konzept
• Test-Time Compute Scaling – zweite Skalierungsachse
• Datenknappheit – limitierender Faktor
• Bitter Lesson – ideengeschichtlicher Rahmen
• Stargate – Investitionsprogramm

Quellenangaben

1. Bommasani, Rishi / Hudson, Drew A. / Adeli, Ehsan u. a., 2021. On the Opportunities and Risks of Foundation Models. Stanford Center for Research on Foundation Models. arXiv: 2108.07258.
2. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
3. Caballero, Ethan / Gupta, Kshitij / Rish, Irina / Krueger, David, 2023. Broken Neural Scaling Laws. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2210.14891.
4. Ghorbani, Behrooz u. a., 2021. Scaling Laws for Neural Machine Translation. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2109.07740.
5. Grattafiori, Aaron u. a. (Meta AI), 2024. The Llama 3 Herd of Models. arXiv: 2407.21783.
6. Henighan, Tom u. a., 2020. Scaling Laws for Autoregressive Generative Modeling. OpenAI. arXiv: 2010.14701.
7. Hestness, Joel u. a., 2017. Deep Learning Scaling is Predictable, Empirically. Baidu Research. arXiv: 1712.00409.
8. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
9. Hooker, Sara, 2024. On the Limitations of Compute Thresholds as a Governance Strategy. Cohere For AI. arXiv: 2407.05694.
10. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
11. Schaeffer, Rylan / Miranda, Brando / Koyejo, Sanmi, 2023. Are Emergent Abilities of Large Language Models a Mirage? In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.15004.
12. Sevilla, Jaime u. a., 2022. Compute Trends Across Three Eras of Machine Learning. In: Proceedings of the 2022 International Joint Conference on Neural Networks (IJCNN 2022). arXiv: 2202.05924.
13. Snell, Charlie / Lee, Jaehoon / Xu, Kelvin / Kumar, Aviral, 2024. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv: 2408.03314.
14. Sutskever, Ilya, 2025. Ilya Sutskever – We’re Moving from the Age of Scaling to the Age of Research. Interview von Dwarkesh Patel, Dwarkesh Podcast, 25. November 2025. https://www.dwarkesh.com/p/ilya-sutskever-2
15. Sutton, Richard S., 2019. The Bitter Lesson. Incomplete Ideas (Blog).
16. Touvron, Hugo u. a., 2023. LLaMA: Open and Efficient Foundation Language Models. Meta AI. arXiv: 2302.13971.
17. Villalobos, Pablo u. a., 2024. Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2211.04325.
18. Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.
19. Zhai, Xiaohua / Kolesnikov, Alexander / Houlsby, Neil / Beyer, Lucas, 2022. Scaling Vision Transformers. In: Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022), S. 12104–12113. DOI: 10.1109/CVPR52688.2022.01179.

← Zurück zur Lexikon-Übersicht