Chinchilla

Chinchilla bezeichnet zweierlei: ein im März 2022 von DeepMind vorgestelltes Sprachmodell mit 70 Milliarden Parametern und – weit folgenreicher – das nach diesem Modell benannte Skalierungsgesetz aus der Arbeit Training Compute-Optimal Large Language Models von Jordan Hoffmann und einundzwanzig weiteren Autorinnen und Autoren.

Dessen Kernaussage lautet, dass bei festem Rechenbudget Modellgröße und Trainingsdatenmenge im Gleichschritt wachsen sollten: Verdoppelt man die Parameterzahl, muss man auch die Zahl der Trainings-Tokens verdoppeln.

Als Faustregel hat sich daraus das Verhältnis von etwa zwanzig Tokens pro Parameter eingebürgert. Die Arbeit korrigierte die bis dahin maßgebliche Empfehlung von Kaplan u. a. (2020), Parameter deutlich stärker zu skalieren als Daten, und verschob damit die industrielle Trainingspraxis grundlegend. Seit 2024 stehen sowohl die statistische Herleitung eines der drei Schätzverfahren als auch die praktische Geltung der Regel unter Druck.

Zusammenfassung

Chinchilla ist der Referenzpunkt, an dem sich seit 2022 praktisch jede Budgetentscheidung im Pre-Training großer Sprachmodelle orientiert.

Die Ausgangslage war eine Anomalie: Die einflussreichen Scaling Laws von Kaplan u. a. hatten empfohlen, ein gegebenes Rechenbudget vor allem in Parameter zu investieren und das Training deutlich vor Konvergenz abzubrechen. Die Modellgeneration 2020 bis 2022 folgte dieser Vorgabe – GPT-3 mit 175 Milliarden Parametern, Gopher mit 280 Milliarden, Megatron-Turing NLG mit 530 Milliarden –, wurde dabei aber auf vergleichsweise kleinen Datenmengen trainiert.

Hoffmann u. a. trainierten über 400 Modelle zwischen 70 Millionen und mehr als 16 Milliarden Parametern auf 5 bis 500 Milliarden Tokens und kamen zu dem gegenteiligen Befund: Die damaligen Großmodelle seien erheblich untertrainiert.

Zum Beleg trainierten sie Chinchilla mit 70 Milliarden Parametern auf 1,4 Billionen Tokens – dasselbe Rechenbudget wie Gopher, aber ein Viertel der Parameter und die vierfache Datenmenge.

Chinchilla übertraf Gopher, GPT-3, Jurassic-1 und Megatron-Turing NLG auf einer breiten Palette nachgelagerter Aufgaben und erreichte auf MMLU eine durchschnittliche Genauigkeit von 67,5 Prozent gegenüber 60,0 Prozent bei Gopher. Der praktische Nebeneffekt war beträchtlich: Ein Viertel der Parameter bedeutet ein Viertel der Rechenkosten pro Inferenzschritt.

Die Industrie hat die Lehre daraufhin schneller weitergedreht, als die Arbeit selbst vorsah.

Bereits LLaMA (Februar 2023) trainierte bewusst jenseits des compute-optimalen Punktes, weil das Trainingsoptimum die Kosten der späteren Nutzung ignoriert. Diese Praxis des Overtraining ist seither Standard: Nach Erhebungen von Epoch AI stieg das durchschnittliche Verhältnis von Trainings-Tokens zu aktiven Parametern bei offengewichtigen Modellen von rund 10 im Jahr 2022 auf etwa 300 im Jahr 2025.

Parallel dazu wies eine Replikation von Besiroglu u. a. (2024) nach, dass das dritte der drei Schätzverfahren der Originalarbeit statistisch fehlerhaft war – ein Befund, den einer der Erstautoren bestätigte, ohne dass die Arbeit auf arXiv jemals korrigiert worden wäre.

Begriffsgeschichte

Die Vorgeschichte beginnt im Januar 2020 mit Scaling Laws for Neural Language Models von Jared Kaplan, Sam McCandlish und acht weiteren Autoren bei OpenAI.

Die Arbeit zeigte, dass der Kreuzentropie-Verlust eines Sprachmodells als Potenzgesetz von Modellgröße, Datenmenge und Rechenaufwand abhängt, und zwar über mehr als sieben Größenordnungen hinweg.

Ihre praktische Schlussfolgerung formulierte das Abstract unmissverständlich: Größere Modelle seien deutlich stichprobeneffizienter, weshalb optimal recheneffizientes Training bedeute, sehr große Modelle auf vergleichsweise bescheidenen Datenmengen zu trainieren und deutlich vor Konvergenz abzubrechen.

In der später von Hoffmann u. a. verwendeten Notation – die optimale Parameterzahl skaliert mit dem Rechenbudget C als C hoch a, die optimale Tokenzahl als C hoch b – entspricht das Werten von a = 0,73 und b = 0,27.

Diese Empfehlung prägte die Modellgeneration der folgenden zwei Jahre. Die GPT-Familie, Gopher (Rae u. a., 2021) und Megatron-Turing NLG wuchsen in der Parameterzahl, während die Trainingsdatenmenge weitgehend konstant blieb: Gopher sah mit 280 Milliarden Parametern nur 300 Milliarden Tokens, also etwas mehr als ein Token pro Parameter.

Am 29. März 2022 veröffentlichte dasselbe Labor, das Gopher trainiert hatte, die Gegenthese.

Zu den Autoren gehörten neben Hoffmann und Sebastian Borgeaud auch Arthur Mensch, der ein Jahr später Mistral mitgründen sollte, außerdem Jack W. Rae, der Erstautor der Gopher-Arbeit, und Oriol Vinyals. Das Modell erhielt den Namen Chinchilla in Fortsetzung der DeepMind-Nagetiernomenklatur – Gopher, die Taschenratte, war der große, träge Vorgänger, Chinchilla das kleinere, schnellere Nachfolgetier.

Die Namensgebung transportiert die Pointe der Arbeit: Kleiner und länger trainiert schlägt größer und kurz trainiert.

Methodische Grundlagen

Hoffmann u. a. schätzen dieselbe Größe – die optimale Aufteilung eines Rechenbudgets zwischen Parametern und Tokens – mit drei unabhängigen Verfahren. Diese Redundanz ist das eigentliche argumentative Rüstzeug der Arbeit und zugleich der Punkt, an dem sie später angegriffen wurde.

Der erste Ansatz, Fix model sizes and vary number of training tokens, trainiert Modellfamilien fester Größe unterschiedlich lang und liest aus der Hüllkurve der Trainingsverläufe ab, welche Modellgröße bei welchem Rechenaufwand den geringsten Verlust erzielt.

Der zweite Ansatz, IsoFLOP profiles, dreht die Perspektive um: Für neun feste Rechenbudgets zwischen 6 · 10^18 und 3 · 10^21 FLOP variiert man die Modellgröße und sucht das Minimum der resultierenden U-förmigen Verlustkurve. Der dritte Ansatz, Fitting a parametric loss function, passt an sämtliche Endverluste eine geschlossene Funktionsform an:

L(N, D) = E + A / N^α + B / D^β

Dabei steht E für den irreduziblen Verlust, den auch ein unendlich großes, unendlich lang trainiertes Modell nicht unterschreiten kann; die beiden anderen Terme beschreiben, wie weit ein endliches Modell und ein endlicher Datensatz davon entfernt bleiben. Aus den geschätzten Exponenten α und β folgt die Aufteilungsvorschrift analytisch: a = β / (α + β) und b = 1 − a.

Die drei Verfahren lieferten in der Originalarbeit Werte von a = 0,50, a = 0,49 und a = 0,46 – hinreichend nah beieinander, um als wechselseitige Bestätigung zu gelten, und weit entfernt von Kaplans 0,73. Aus der Nähe von a und b zu 0,5 folgt die praktische Regel, Modellgröße und Datenmenge gleich schnell zu skalieren.

Für Gophers Rechenbudget von 5,76 · 10^23 FLOP ergab sich als optimale Konfiguration ein Modell mit rund 67 Milliarden Parametern auf etwa 1,5 Billionen Tokens. Chinchilla wurde mit 70 Milliarden Parametern auf 1,4 Billionen Tokens genau in diesem Bereich gebaut; daraus stammt die kanonische Faustregel von zwanzig Tokens pro Parameter.

Wichtig ist, dass diese Zahl keine Naturkonstante ist, sondern ein aus den Fits abgeleiteter Punktwert. Sie gilt streng genommen nur für die verwendete Architektur, den verwendeten Datensatz, den verwendeten Optimierer und den betrachteten Skalenbereich – und sie beantwortet ausschließlich die Frage nach minimalem Trainingsaufwand für einen gegebenen Verlust.

Empirische Befunde

Der Nachweis am Einzelmodell fiel deutlich aus. Chinchilla übertraf Gopher (280 Milliarden Parameter), GPT-3 (175 Milliarden), Jurassic-1 (178 Milliarden) und Megatron-Turing NLG (530 Milliarden) auf einer breiten Palette nachgelagerter Aufgaben.

Auf dem Wissensbenchmark MMLU erreichte Chinchilla im Fünf-Schuss-Setting 67,6 Prozent gegenüber 60,0 Prozent bei Gopher; das Abstract nennt eine durchschnittliche Genauigkeit von 67,5 Prozent und einen Vorsprung von mehr als sieben Prozentpunkten.

Zum Vergleich führt die Arbeit die durchschnittliche Leistung menschlicher Fachleute mit 89,8 Prozent an sowie eine Fachleute-Prognose, die für Juni 2023 einen Stand von 63,4 Prozent erwartet hatte – Chinchilla übertraf diese Prognose also mehr als ein Jahr im Voraus.

Der zweite, ökonomisch wichtigere Befund steht bereits im Abstract: Weil Chinchilla nur ein Viertel der Parameter von Gopher hat, benötigt es auch für Feinabstimmung und Inferenz substanziell weniger Rechenleistung. Genau dieser Nebensatz – nicht die Trainingsoptimalität – hat die weitere Entwicklung bestimmt.

Overtraining und Inferenzökonomie

Die erste große Modellfamilie, die aus Chinchilla eine andere Konsequenz zog als die Autoren selbst, war LLaMA.

Touvron u. a. hielten 2023 fest, dass das Ziel von Hoffmann u. a. die beste Aufteilung eines Trainingsbudgets sei, dieses Ziel aber das Inferenzbudget außer Acht lasse, das beim Betrieb eines Modells im großen Maßstab entscheidend werde.

Ihre Formulierung ist zur Standardbegründung des Overtraining geworden: Obwohl es billiger sein möge, ein großes Modell auf ein bestimmtes Leistungsniveau zu trainieren, sei ein kleineres, länger trainiertes Modell in der Inferenz letztlich günstiger.

Konkret verwiesen sie darauf, dass Hoffmann u. a. für ein Zehn-Milliarden-Modell 200 Milliarden Tokens empfehlen, während sich die Leistung eines Sieben-Milliarden-Modells auch jenseits einer Billion Tokens noch verbessere. LLaMA 7B und 13B wurden auf 1,0 Billionen Tokens trainiert, 33B und 65B auf 1,4 Billionen – beim kleinsten Modell also mit rund dem Siebenfachen des Chinchilla-Verhältnisses.

Sardana u. a. (2023) haben diese Intuition formalisiert, indem sie die Chinchilla-Gleichungen um einen Inferenzterm erweiterten. Ihr Ergebnis: Wer mit nennenswerter Inferenznachfrage rechnet – die Arbeit setzt als Größenordnung eine Milliarde Anfragen an –, sollte kleiner und länger trainieren als Chinchilla-optimal.

In 47 eigenen Trainingsläufen verbesserte sich die Modellqualität bis zu Verhältnissen von 10.000 Tokens pro Parameter weiter. Sie merken zugleich kritisch an, dass Skalierungsgesetze, die nur aus Daten bei üblichen Token-Parameter-Verhältnissen gefittet werden, den Nutzen zusätzlicher Tokens in solchen Extrembereichen überschätzen.

Gadre u. a. (2024) haben mit 104 Modellen zwischen 0,011 und 6,9 Milliarden Parametern gezeigt, dass sich das Verhalten stark übertrainierter Läufe zuverlässig aus Experimenten vorhersagen lässt, die 300-mal weniger Rechenleistung kosten.

Empirisch lässt sich die Verschiebung an offengewichtigen Modellen ablesen. Nach der Auswertung von Somala und Edelman (2025) für Epoch AI wächst das Verhältnis von Trainings-Tokens zu aktiven Parametern seit 2022 um den Faktor 3,1 pro Jahr, mit einem 90-Prozent-Intervall von 2,1 bis 4,9. Llama 3.3 70B liegt bei rund 214 Tokens pro Parameter, Qwen2.5-72B bei etwa 248, DeepSeek-V3 bei etwa 400 pro aktivem Parameter, EXAONE 4.0 32B bei rund 438.

Chinchilla selbst steht in derselben Datenbank bei exakt 20. Ege Erdil hat für Epoch AI (2024) daraus den Schluss gezogen, dass Spitzenmodelle seit 2023 wieder kleiner geworden sind – getrieben von Inferenznachfrage, Distillation, dem Wechsel von Kaplan zu Chinchilla und dem Aufkommen von Test-Time-Compute.

Kontroversen und Kritik

Der interessanteste Streit um Chinchilla betrifft nicht die Regel, sondern ihre Herleitung.

Im April 2024 veröffentlichten Tamay Besiroglu, Ege Erdil, Matthew Barnett und Josh You (Epoch AI) Chinchilla Scaling: A replication attempt.

Da die Rohdaten der Originalarbeit nie publiziert wurden, rekonstruierten sie den Datensatz aus deren Abbildungen und versuchten, den dritten Schätzansatz nachzuvollziehen. Sie kamen zu drei Befunden: Die berichteten Schätzwerte seien mit den ersten beiden Verfahren unvereinbar, sie passten schlecht zu den extrahierten Daten, und die angegebenen Konfidenzintervalle seien implausibel eng.

Der letzte Punkt ist der schärfste. Hoffmann u. a. geben für a ein Intervall von 0,454 bis 0,455 an und für b eines von 0,542 bis 0,543 – eine Präzision von drei Nachkommastellen aus rund 400 Beobachtungen. Besiroglu u. a. rechnen vor, dass man für ein derart enges Intervall auf die Ergebnisse von nahezu 600.000 Trainingsläufen zurückgreifen müsste, während die Originalarbeit vermutlich weniger als 500 durchgeführt hat.

Der zweite Punkt ist inhaltlich folgenreicher. Aus den in der Arbeit berichteten Parametern – E = 1,69, A = 406,4, B = 410,7, α = 0,34, β = 0,28 – folgt eine Skalierungsvorschrift von rund siebzig Tokens pro Parameter. Das widerspricht dem Verhältnis von zwanzig, mit dem Chinchilla tatsächlich trainiert wurde, und den Ergebnissen der ersten beiden Ansätze.

Der Neufit von Besiroglu u. a. ergibt E = 1,8172, A = 482,01, B = 2085,43, α = 0,3478, β = 0,3658 und daraus a = 0,5126 – also ein optimales Verhältnis von etwa 25,6 Tokens pro Parameter, vereinbar sowohl mit der Chinchilla-Praxis als auch mit den Ansätzen 1 und 2. Die vielzitierte Zahl 20 stimmt demnach, aber die formale Herleitung, aus der sie zu folgen schien, stimmte nicht.

Bemerkenswert ist der Ausgang. Nach Erscheinen der ersten Fassung der Replikation klärten die Originalautoren zwei Ursachen auf, die Besiroglu u. a. in der zweiten Fassung dokumentieren. Erstens waren die im Fließtext angegebenen Parameter gerundet; der wahre Datenexponent liegt nach den Kommentaren im TeX-Quelltext der Originalarbeit bei etwa 0,2849 statt 0,28, was für einen typischen Datensatz von 10^11 Tokens eine positive Verzerrung in der Größenordnung von 13 Prozent einführt.

Zweitens – und dies bestätigte Sebastian Borgeaud 2024 öffentlich auf Twitter – hatten die Autoren die Huber-Verlustwerte über die Datenpunkte gemittelt, statt sie zu summieren; die dadurch hohe Verlustskala ließ ihren L-BFGS-B-Optimierer vorzeitig abbrechen, sodass die Schätzung bei suboptimalen Parameterwerten stehen blieb und auch das Bootstrapping unrealistisch enge Intervalle produzierte.

Der Fehler war also numerisch, nicht konzeptionell. Eine korrigierte Fassung der Originalarbeit ist auf arXiv gleichwohl nie erschienen: Der Eintrag 2203.15556 führt bis heute nur die Version vom 29. März 2022.

Die Replikation endet mit einer Warnung, die häufig überlesen wird: Das eigene Modell der Autoren sei für Trainingsläufe ab 10^26 FLOP mit Verhältnissen zwischen 4 und 40 Tokens pro Parameter vereinbar. Im Extrapolationsbereich, in dem die Frontier-Labore heute operieren, ist die Chinchilla-Regel also erheblich unschärfer, als ihre Popularität nahelegt.

Eine zweite Kontroverse betrifft das Verhältnis zu Kaplan u. a. Porian u. a. (2024) haben die Kaplan-Skalierung auf zwei Datensätzen reproduziert und die Diskrepanz auf drei Faktoren zurückgeführt: die Rechenkosten der letzten Schicht, die Dauer des Learning-Rate-Warmups und die skalenabhängige Optimierer-Abstimmung.

Werden diese korrigiert, stimmen beide Gesetze überein. Kaplan u. a. hatten also nicht falsch gemessen, sondern eine Größe anders gezählt und Hyperparameter nicht mitskaliert. Entgegen einer Vermutung von Hoffmann u. a. sei zudem ein sorgfältig abgestimmter Learning-Rate-Zerfall für die Gültigkeit des Chinchilla-Gesetzes nicht wesentlich.

Stand 2025/2026

Zwei Entwicklungen begrenzen die Reichweite der Chinchilla-Regel. Die erste ist Datenknappheit. Villalobos u. a. prognostizieren, dass Modelle bei Fortschreibung der gegenwärtigen Trends zwischen 2026 und 2032 auf Datensätzen trainiert werden, die dem gesamten verfügbaren Bestand öffentlicher, von Menschen erzeugter Textdaten entsprechen – und früher, wenn übertrainiert wird. Genau das geschieht.

Muennighoff u. a. (2023) haben untersucht, was in diesem Regime passiert: Bis zu vier Epochen wiederholter Daten verändern den Verlust gegenüber einmaligen Daten kaum, bei stärkerer Wiederholung fällt der Grenznutzen zusätzlicher Rechenleistung jedoch gegen null.

Chinchilla-Optimalität setzt unbegrenzt verfügbare frische Tokens voraus; sobald diese Annahme fällt, verschiebt sich das Optimum wieder zugunsten von Parametern – oder zugunsten von Mixture-of-Experts-Architekturen, synthetischen Daten und Dateneffizienz.

Die zweite Entwicklung sind Reasoning-Modelle. Seit Snell u. a. (2024) gezeigt haben, dass sich zusätzliche Inferenzrechenleistung nach eigenen Gesetzmäßigkeiten in Leistung umsetzen lässt – in einer FLOP-abgeglichenen Auswertung konnte ein kleineres Modell mit Test-Time-Compute ein vierzehnmal größeres übertreffen –, und seit DeepSeek-R1 (Guo u. a., 2025) diese Lernform in reinem Reinforcement Learning zugänglich gemacht hat, ist das Rechenbudget eines Modells nicht mehr identisch mit seinem Trainingsbudget. Damit verliert die Frage, wie ein Trainingsbudget optimal aufzuteilen sei, ihre Alleinstellung.

Der derzeit weitestgehende Versuch, beide Achsen wieder zusammenzuführen, stammt von Roberts u. a. (April 2026). Ihre Train-to-Test-Skalierungsgesetze optimieren Modellgröße, Trainings-Tokens und Zahl der Inferenz-Stichproben gemeinsam unter einem festen Gesamtbudget.

Ihr Ergebnis: Sobald Inferenzkosten mitgerechnet werden, verschieben sich die optimalen Pre-Training-Entscheidungen radikal ins Overtraining-Regime – und zwar weit außerhalb des Bereichs, den übliche Pre-Training-Skalierungsstudien überhaupt abdecken. Sie bestätigen den Befund, indem sie Modelle im vorhergesagten Optimum trainieren, und zeigen, dass er auch das Post-Training überlebt.

Verwandte Arbeiten wie Bian u. a. (2025) weisen zudem darauf hin, dass Modelle gleicher Größe je nach Architekturform bis zu 3,5-fach unterschiedliche Inferenzlatenz aufweisen können – eine Dimension, die bei Chinchilla gar nicht vorkommt.

Was bleibt, ist ein präzises, aber schmales Ergebnis. Chinchilla beantwortet korrekt die Frage, wie ein reines Trainingsbudget aufzuteilen ist, wenn Daten unbegrenzt und Inferenzkosten irrelevant sind. Beide Voraussetzungen sind 2026 nicht mehr gegeben.

Die historische Leistung der Arbeit liegt entsprechend weniger in der Zahl 20 als darin, dass sie eine kollektive Fehlallokation von Rechenleistung sichtbar gemacht und die Branche daran gewöhnt hat, Trainingsentscheidungen empirisch statt intuitiv zu treffen – eine Gewohnheit, die sich in der Replikationsdebatte dann gegen die Arbeit selbst richtete.

Quellenangaben

Besiroglu, Tamay u. a., 2024. Chinchilla Scaling: A replication attempt. arXiv: 2404.10102
Bi, Xiao u. a., 2024. DeepSeek LLM: Scaling Open-Source Language Models with Longtermism. arXiv: 2401.02954
Bian, Song u. a., 2025. Scaling Inference-Efficient Language Models. arXiv: 2501.18107
Erdil, Ege, 2024. Frontier language models have become much smaller. Epoch AI, Gradient Updates, 13. Dezember 2024.
Gadre, Samir Yitzhak u. a., 2024. Language models scale reliably with over-training and on downstream tasks. arXiv: 2403.08540
Grattafiori, Aaron u. a., 2024. The Llama 3 Herd of Models. Meta AI. arXiv: 2407.21783
Guo, Daya u. a. (DeepSeek-AI), 2025. DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning. Nature, 645 (8081), 633–638. DOI: 10.1038/s41586-025-09422-z
Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
Muennighoff, Niklas u. a., 2023. Scaling Data-Constrained Language Models. arXiv: 2305.16264
Porian, Tomer u. a., 2024. Resolving Discrepancies in Compute-Optimal Scaling of Language Models. arXiv: 2406.19146
Rae, Jack W. u. a., 2021. Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv: 2112.11446
Roberts, Nicholas u. a., 2026. Test-Time Scaling Makes Overtraining Compute-Optimal. arXiv: 2604.01411
Sardana, Nikhil u. a., 2023. Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. arXiv: 2401.00448
Snell, Charlie / Lee, Jaehoon / Xu, Kelvin / Kumar, Aviral, 2024. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv: 2408.03314.
Somala, Venkat / Edelman, Yafah, 2025. Training open-weight models is becoming more data intensive. Epoch AI, Data Insights, 1. August 2025.
Touvron, Hugo u. a., 2023. LLaMA: Open and Efficient Foundation Language Models. Meta AI. arXiv: 2302.13971.
Villalobos, Pablo u. a., 2024. Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2211.04325.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.