Die Skalierungshypothese ist die Annahme, dass sich die Fähigkeiten von KI-Systemen im Wesentlichen durch mehr Rechenleistung, mehr Daten und mehr Parameter steigern lassen – und dass für allgemeine Intelligenz keine grundlegend neuen Ideen nötig sind, sondern nur die Fortsetzung dieser Steigerung.
Zusammenfassung
Die Hypothese ist keine Theorie, sondern eine Wette auf die Fortsetzung einer beobachteten Regelmäßigkeit. Diese Regelmäßigkeit wurde 2020 in den Scaling Laws beschrieben: Der Vorhersagefehler eines Sprachmodells fällt mit dem eingesetzten Aufwand nach einem einfachen Potenzgesetz.
Der Befund war überraschend, weil er über mehrere Größenordnungen glatt verlief und keine Sättigung zeigte. Wer die Kurve kennt, kann die Leistung eines noch nicht trainierten Modells vorhersagen.
Daraus wurde eine Programmatik. Wenn Fähigkeiten dem Aufwand folgen und der Aufwand sich steigern lässt, dann ist die Entwicklung eine Frage der Mittel und nicht der Einsicht – eine Position, die die Investitionen der Jahre 2020 bis 2025 mitbegründete.
Seit 2024 wird über ihre Grenzen gestritten. Weder ist der Befund widerlegt, noch trägt er so weit, wie die stärkste Fassung der Hypothese behauptet.
Begriffsgeschichte
Vor 2020 galt das Größerwerden von Modellen als eine Verbesserung unter vielen. Die Erwartung war, dass Fortschritt aus besseren Architekturen kommt – so wie er zuvor aus dem Transformer gekommen war.
Die Arbeit von Jared Kaplan und Kollegen bei OpenAI verschob diese Erwartung. Sie zeigte, dass die Modellgröße, die Datenmenge und die Rechenleistung den Fehler nach glatten Potenzgesetzen bestimmen – und dass architektonische Einzelheiten dagegen wenig ausmachen.
2022 korrigierte die Chinchilla-Arbeit von DeepMind die Aufteilung: Die damals üblichen Modelle waren im Verhältnis zu ihrer Größe deutlich unterrainiert. Das änderte die Rechnung, nicht das Prinzip.
Die Hypothese in ihrer starken Form wurde in Blogbeiträgen und Interviews des OpenAI- und Anthropic-Umfelds vertreten, selten in Fachaufsätzen. Sie ist eine Position, keine Veröffentlichung.
Ab 2024 mehrten sich Stimmen, die ein Nachlassen berichteten. Ilya Sutskever beschrieb im November 2025 einen Übergang vom Zeitalter des Skalierens zu einem Zeitalter der Forschung.
Methodische Grundlagen
Das Potenzgesetz. Der Vorhersagefehler fällt mit dem Aufwand nach einer Potenzfunktion. In doppelt logarithmischer Darstellung ergibt das eine Gerade – über mehr als sechs Größenordnungen.
Fehler ist nicht Fähigkeit. Die Gesetze gelten für den Vorhersagefehler. Wie sich dieser in Fähigkeiten übersetzt, ist die schwächste Stelle der Argumentation: Ein gleichmäßig fallender Fehler kann mit sprunghaft auftretenden Fähigkeiten einhergehen.
Drei Größen. Parameterzahl, Datenmenge und Rechenleistung. Die Chinchilla-Arbeit bestimmte, wie ein gegebenes Rechenbudget zwischen den ersten beiden aufzuteilen ist.
Vorhersagbarkeit als Werkzeug. Der praktische Wert liegt in der Planbarkeit: Kleine Läufe erlauben es, die Leistung eines großen vorherzusagen, bevor er begonnen wird.
Die Datengrenze. Die Gesetze setzen voraus, dass genügend Daten vorliegen. Bei hochwertigem menschlich verfasstem Text ist dieser Vorrat begrenzt – der Grund, warum synthetische Daten an Bedeutung gewannen.
Anwendungsfelder
Planung von Trainingsläufen. Der unmittelbarste Nutzen: Ein Lauf über Wochen und Millionenbeträge wird nicht mehr auf gut Glück begonnen.
Begründung von Investitionen. Die Hypothese liefert das Argument dafür, Rechenzentren im zweistelligen Milliardenbereich zu bauen: Wenn Fähigkeit dem Aufwand folgt, ist Aufwand die Strategie.
Prognosen zur Entwicklung. Zeitschätzungen für fortgeschrittene KI stützen sich häufig auf die Fortschreibung dieser Kurven.
Regulierung. Rechenleistungsschwellen als Anknüpfungspunkt setzen voraus, dass Rechenleistung ein Maß für Fähigkeit ist – eine Annahme, die aus der Hypothese stammt.
Kontroversen und Kritik
Vom Fehler zur Fähigkeit. Die Gesetze sagen den Vorhersagefehler vorher, nicht das Können. Der Schluss vom einen auf das andere ist die entscheidende Lücke und wird selten ausgewiesen.
Erschöpfung der Daten. Der Vorrat an hochwertigem Text ist endlich. Ob synthetische Daten ihn ersetzen können, ohne die Verteilung zu verarmen, ist offen.
Generalisierung. François Chollet wendet ein, dass Skalierung Interpolation verbessert, nicht Abstraktion. Seine Benchmarks zeigen Aufgaben, bei denen Größe über Jahre kaum half.
Wirtschaftliche Grenze. Die Potenzgesetze bedeuten abnehmenden Ertrag: Jede weitere Verbesserung kostet ein Vielfaches der vorigen. Auch ohne technische Schranke endet die Steigerung dort, wo sie sich nicht mehr rechnet.
Verschiebung statt Ende. Die Gegenrede der Vertreter lautet, dass sich die Skalierung nur verlagert habe – vom Vortraining zur Rechenzeit bei der Antwort. Die Reasoning-Modelle folgen eigenen Skalierungskurven.
Interessenlage. Die Hypothese begünstigt Akteure mit Kapital. Kritiker sehen darin einen Grund für ihre Verbreitung, der von ihrer Richtigkeit unabhängig ist.
Eine Hypothese über die eigene Zukunft
Die Skalierungshypothese hat eine ungewöhnliche Eigenschaft: Sie beeinflusst, wovon sie handelt.
Eine Regelmäßigkeit in der Natur bleibt bestehen, ob jemand an sie glaubt oder nicht. Die Skalierungskurve dagegen setzt voraus, dass jemand die Mittel aufbringt, sie fortzuschreiben – und diese Mittel fließen, weil an die Kurve geglaubt wird.
Damit ist die Hypothese in Teilen selbsterfüllend. Dass die Kurve zwischen 2020 und 2025 so glatt weiterlief, liegt auch daran, dass Investitionen in dieser Größenordnung getätigt wurden, weil man ihr Weiterlaufen erwartete.
Das macht ihre Prüfung schwierig. Ein Nachlassen der Fortschritte kann bedeuten, dass die Gesetze an eine Grenze stoßen – oder dass der Zufluss an Mitteln nachlässt und damit die Beobachtung, nicht die Regelmäßigkeit endet.
Was daraus folgt, ist Vorsicht bei beiden Lesarten. Die Hypothese ist besser belegt, als ihre Kritiker gelegentlich einräumen, und sie ist stärker an Bedingungen geknüpft, als ihre Vertreter mitzuteilen pflegen.
Verwandte Begriffe
- Scaling Laws – empirische Grundlage der Hypothese
- Compute – Größe, deren Steigerung sie verlangt
- Chinchilla – Arbeit zur optimalen Aufteilung
- Emergent Abilities – strittiger Übergang vom Fehler zur Fähigkeit
- François Chollet – prominenter Gegner der Hypothese
- Intelligence Explosion – konkurrierende Erklärung eines Fähigkeitssprungs
- Synthetische Daten – Antwort auf die Datengrenze
- Frontier Models – Modelle am oberen Ende der Kurve
Quellenangaben
- Chollet, François (2019): On the Measure of Intelligence. arXiv: 1911.01547.
- Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
- Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
- Sutton, Richard S., 2019. The Bitter Lesson. Incomplete Ideas (Blog).
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.