Datenknappheit

Datenknappheit bezeichnet im Kontext des Sprachmodell-Trainings die absehbare Erschöpfung des verfügbaren, öffentlich zugänglichen, von Menschen erzeugten Textmaterials. Während Scaling Laws nahelegen, Modellgröße und Trainingsdatenmenge im Gleichgewicht zu halten, wächst die verfügbare Datenmenge deutlich langsamer als der Bedarf großer Modelle.

Zusammenfassung

Die 2022 vorgestellte Chinchilla-Regel empfiehlt, ein Sprachmodell mit rund 20 Trainings-Tokens je Parameter zu trainieren, um bei gegebenem Rechenbudget die beste Leistung zu erzielen. Diese Empfehlung setzt implizit voraus, dass genügend hochwertiger Text verfügbar ist, um sie einzuhalten.

Für sehr große Modelle stößt diese Annahme an eine reale Grenze: Der gesamte Bestand öffentlich verfügbaren, von Menschen verfassten Textmaterials im Internet ist selbst nach großzügiger Schätzung begrenzt.

Pablo Villalobos und Kollegen bei Epoch AI berechneten 2024, dass Modelle bei Fortschreibung der damaligen Wachstumstrends zwischen 2026 und 2032 auf Datensätzen trainiert werden müssten, die dem gesamten verfügbaren Bestand öffentlicher, hochwertiger, von Menschen erzeugter Textdaten entsprechen.

Noch früher wäre dieser Punkt erreicht, wenn Anbieter ihre Modelle bewusst über die Chinchilla-Empfehlung hinaus mit mehr Tokens trainieren – seit 2023 verbreitete Praxis.

Begriffsgeschichte

Solange Sprachmodelle deutlich kleiner waren als der verfügbare Textbestand, spielte die Frage nach der Grenze der Datenmenge keine praktische Rolle. Mit der Chinchilla-Arbeit von Jordan Hoffmann und Kollegen bei DeepMind 2022 rückte das Verhältnis von Modellgröße und Datenmenge erstmals systematisch in den Fokus: Bei festem Rechenbudget sollte die Trainingsdatenmenge proportional zur Modellgröße wachsen, nicht wie zuvor üblich langsamer.

Diese Erkenntnis führte dazu, dass Modellentwickler ab 2023 begannen, ihre Modelle mit deutlich mehr Trainings-Tokens zu versorgen als zuvor üblich, teils bewusst über die als rechenoptimal geltende Chinchilla-Marke hinaus. Der Grund: Ein kleineres, länger trainiertes Modell ist im Betrieb günstiger als ein größeres, kürzer trainiertes – eine Praxis, die den Verbrauch verfügbarer Textdaten erheblich beschleunigte.

Villalobos und Kollegen legten 2024 die erste systematische Projektion vor, wann der verfügbare Bestand hochwertiger, öffentlich zugänglicher Textdaten erschöpft sein könnte. Ihre Schätzung ergab ein Zeitfenster zwischen 2026 und 2032, abhängig von der Wachstumsrate der Modellgröße und davon, wie großzügig „verfügbar” und „hochwertig” definiert werden.

Parallel dazu untersuchten Niklas Muennighoff und Kollegen 2023, was geschieht, wenn Trainingsdaten mehrfach wiederholt statt einmalig verwendet werden. Ihr Befund: Bis zu vier Wiederholungen derselben Daten verändern den Trainingsverlust gegenüber einmalig genutzten Daten kaum – bei stärkerer Wiederholung sinkt der Nutzen zusätzlicher Rechenleistung jedoch gegen null, ein Effekt, der als eine der wenigen praktikablen Antworten auf Datenknappheit gilt.

Methodische Grundlagen

Was als verfügbare Daten zählt. Schätzungen zur Datenknappheit hängen stark davon ab, welche Textquellen mitgezählt werden – öffentlich zugängliches Webmaterial, Bücher, wissenschaftliche Publikationen, private Kommunikation außerhalb des Internets. Je enger die Definition, desto früher wird die Grenze erreicht.

Wiederholtes Training auf denselben Daten. Die von Muennighoff und Kollegen untersuchte Strategie, denselben Datensatz mehrfach zu durchlaufen, verzögert die Erschöpfung, ohne sie aufzuheben – der Grenznutzen zusätzlicher Wiederholungen sinkt schnell.

Synthetische Daten. Ein zweiter Ansatz besteht darin, Trainingsdaten durch andere Sprachmodelle erzeugen zu lassen, statt sie ausschließlich aus menschlich verfasstem Text zu gewinnen. Der Ansatz vergrößert die verfügbare Datenmenge, wirft aber die Frage auf, ob und wie stark sich Fehler und Verzerrungen des erzeugenden Modells auf das trainierte Modell übertragen.

Qualität statt reiner Menge. Ein dritter Weg verschiebt den Fokus von der Datenmenge auf die Datenqualität – sorgfältig kuratierte, geprüfte Datensätze können nach dieser Logik einen Teil des Mengenverlusts ausgleichen, auch wenn sich Qualität schwerer skalieren lässt als Quantität.

Anwendungsfelder

Skalierungsplanung großer Modelle. Trainingsteams berücksichtigen die verfügbare Datenmenge inzwischen als eigenständige Einschränkung neben Rechenleistung und Speicherbedarf, wenn sie die Größe eines neuen Modells festlegen.

Datenlizenzierung. Mit wachsender Knappheit gewinnen kommerzielle Vereinbarungen mit Verlagen, Nachrichtenagenturen und Plattformbetreibern an Bedeutung, um Zugang zu Textmaterial zu sichern, das nicht ohnehin frei verfügbar ist.

Multimodales Training. Ein Teil der Reaktion auf Datenknappheit im Textbereich besteht darin, Modelle verstärkt mit Bild-, Audio- und Videodaten zu trainieren, die (noch) nicht in gleichem Maß erschöpft sind wie reiner Text.

Kontroversen und Kritik

Unsichere Schätzgrundlage. Die Projektionen zur Datenknappheit hängen von Annahmen über künftiges Modellwachstum und die Definition „hochwertiger” Daten ab, die sich in wenigen Jahren als deutlich zu konservativ oder zu großzügig erweisen könnten – ähnlich wie frühere Vorhersagen zu Rechenleistung und Speicherkosten.

Rechtliche Grenzen statt physischer Knappheit. Ein Teil der Debatte betrifft nicht die physische Verfügbarkeit von Text, sondern die rechtliche: Urheberrechtlich geschütztes Material existiert reichlich, ist aber ohne Lizenz nicht nutzbar. Diese Einschränkung unterscheidet sich von echter Datenerschöpfung, wird in der öffentlichen Diskussion aber oft mit ihr vermischt.

Grenzen synthetischer Daten. Kritiker warnen vor einem sich selbst verstärkenden Qualitätsverlust, wenn Modelle zunehmend auf Ausgaben früherer Modelle statt auf menschlich verfasstem Text trainiert werden – ein Effekt, der in der Forschung als Modellkollaps diskutiert wird, dessen praktisches Ausmaß aber umstritten bleibt.

Stand 2025/2026

Datenknappheit gilt Stand 2025/2026 als anerkannte, aber noch nicht abschließend gelöste Grenze des Sprachmodell-Trainings. Die Branche begegnet ihr bislang mit einer Kombination aus mehrfacher Datenwiederholung, synthetischen Daten und multimodalem Training, ohne dass sich abschließend sagen ließe, welche dieser Strategien die Grenze dauerhaft verschiebt und welche nur aufschiebt.

Quellenangaben

Muennighoff, Niklas u. a., 2023. Scaling Data-Constrained Language Models. arXiv: 2305.16264.
Villalobos, Pablo u. a., 2024. Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2211.04325.

← Zurück zur Lexikon-Übersicht