Modellkollaps

Modellkollaps (englisch model collapse) bezeichnet einen Verfallsprozess generativer Modelle: Die von ihnen erzeugten Daten gelangen in den Trainingsdatensatz der nächsten Generation, und die Nachfolger verlieren Schritt für Schritt die Verbindung zur ursprünglichen Datenverteilung. Zuerst verschwinden die seltenen Fälle, später ähneln die Ausgaben einander immer stärker.

Zusammenfassung

Der Begriff geht auf eine Arbeit von Ilia Shumailov und Kolleg:innen zurück, die 2023 als Preprint und 2024 in Nature erschien. Sie zeigen, dass wahlloses Training auf modellerzeugten Inhalten zu unumkehrbaren Defekten führt, bei denen die „Ausläufer“ der ursprünglichen Verteilung verschwinden (Shumailov u. a. 2024).

Spätere Arbeiten schränken den Befund ein: Wo die Daten sich anhäufen, statt die älteren zu ersetzen, trat der Kollaps in den Versuchen nicht auf (Gerstgrasser u. a. 2024). Das Risiko hängt also davon ab, wie Trainingsdaten zusammengestellt werden.

Begriff und Herkunft

Shumailov u. a. definieren Modellkollaps als Prozess über Generationen gelernter generativer Modelle, in dem die von ihnen erzeugten Daten den Trainingsdatensatz der nächsten Generation verunreinigen. Die Nachfolger „missverstehen“ dadurch die Wirklichkeit.

Die Autor:innen unterscheiden einen frühen Kollaps, bei dem die Ränder der Verteilung verloren gehen, von einem späten, bei dem das Modell zu einer Verteilung mit stark verringerter Streuung zusammenschrumpft (Shumailov u. a. 2024).

Ebenfalls 2023 prägten Alemohammad und Kolleg:innen den Namen Model Autophagy Disorder (MAD), in Anlehnung an die Rinderseuche BSE. Ihre Untersuchung betrifft Bildmodelle und kommt zum Ergebnis: Ohne genug frische reale Daten in jeder Generation nehmen Qualität oder Vielfalt künftiger Modelle fortlaufend ab (Alemohammad u. a. 2023).

Wie der Verfall entsteht

Shumailov u. a. führen den Prozess auf drei Fehlerquellen zurück, die sich über die Generationen aufsummieren (Shumailov u. a. 2024):

• Statistischer Näherungsfehler. Weil jeweils nur endlich viele Stichproben vorliegen, geht mit jedem Schritt eine gewisse Information verloren. Seltene Ereignisse trifft es zuerst.
• Ausdrucksfehler. Ein Netz kann die wahre Verteilung nur begrenzt abbilden und erzeugt etwa Wahrscheinlichkeiten dort, wo die Originaldaten keine haben.
• Lernfehler. Das Trainingsverfahren selbst bringt Verzerrungen mit, etwa durch die Eigenheiten des Gradientenabstiegs.

Im einfachen Modell einer diskreten Verteilung ohne die beiden letzten Fehler zeigen sie, dass der Prozess unausweichlich in einem Zustand endet, in dem nur noch ein einziger Wert übrig ist. Dieses Ergebnis gilt für den Grenzfall unendlich vieler Generationen (Shumailov u. a. 2024).

Befunde bei Sprachmodellen

Für Sprachmodelle testeten die Autor:innen das Feinabstimmen des Modells OPT-125m auf dem Datensatz Wikitext2. Jede Generation wurde mit den Texten der vorherigen trainiert (Shumailov u. a. 2024).

Ohne Originaldaten in späteren Generationen verlor das Modell nach Angabe der Autor:innen 20 bis 28 Punkte bei der Perplexität (einem Fehlermaß: je höher, desto schlechter).

Blieben zehn Prozent der Originaldaten erhalten, fiel der Leistungsverlust nur gering aus.

Ein Beispiel der Autor:innen: Auf einen Eingabetext über Kirchtürme folgte nach neun Generationen eine Aufzählung von Hasen mit schwarzen, weißen, blauen, roten und gelben Schwänzen (Shumailov u. a. 2024).

Einschränkungen und Gegenbefunde

Anhäufen statt Ersetzen. Gerstgrasser u. a. bestätigen, dass der Ersatz der Originaldaten durch die Daten jeder Generation zum Kollaps tendiert. Wenn dagegen die Daten der Generationen zusammen mit den echten Daten angehäuft werden, blieb der Kollaps aus.

Sie fanden das bei Sprachmodellen verschiedener Größe, bei Diffusionsmodellen für Molekülstrukturen und bei Variational Autoencodern für Bilder. Im Rechenmodell mit linearen Modellen bleibt der Fehler beim Anhäufen nach oben begrenzt (Gerstgrasser u. a. 2024).

Wenige Generationen, Grenzwertaussagen. Die Autor:innen des Nature-Aufsatzes räumen ein, dass ihre Versuche nur wenige Generationen umfassen, die Theorie aber den Grenzfall betrifft. Ob ein vollständiger Kollaps eintritt, hänge vom Problem ab und könne schon nach wenigen Schritten, aber auch gar nicht eintreten (Shumailov u. a. 2024).

Unklare Lage im Alltag. Wie stark reale Trainingskorpora tatsächlich mit Modelltexten durchsetzt sind, klären die hier ausgewerteten Arbeiten nicht. Ob ein Kollaps im Training heutiger Modelle eine praktische Rolle spielt, lässt sich aus ihnen deshalb nicht ableiten.

Folgen für das Training

Shumailov u. a. sehen in ihren Ergebnissen einen Vorteil für Vorreiter („first mover advantage“). Wert gewinnen demnach Daten über echte menschliche Interaktionen. Neuere Modelle könnten es schwer haben, wenn ihnen Daten aus der Zeit vor der breiten Verbreitung der Technik oder der direkte Zugang zu menschlich erzeugten Daten fehlen.

Hinzu kommt die Frage der Herkunftsnachweise: Es ist nach Auffassung der Autor:innen unklar, wie sich modellerzeugte Inhalte im Netz im großen Maßstab verfolgen lassen (Shumailov u. a. 2024).

Für den Umgang mit synthetischen Daten sprechen beide Befundlinien dafür, sie nicht an die Stelle realer Daten zu setzen, sondern diese zu ergänzen.

Abgrenzung

Vom Mode Collapse bei GANs unterscheidet sich der Modellkollaps durch die Ursache: Dort verharrt ein Generator während eines einzelnen Trainings bei wenigen Ausgaben, hier entsteht der Verlust erst im Zusammenspiel mehrerer Modellgenerationen. Auch von katastrophalem Vergessen und von Datenvergiftung grenzen Shumailov u. a. den Kollaps ab: Beide erklären ihn nicht vollständig, weil die Ausgangslage eine andere ist (Shumailov u. a. 2024).

Verwandte Begriffe

• Fine-Tuning – Nachtrainieren eines Modells, in dem der Kollaps ebenfalls auftritt
• Trainingsdaten – das Material, dessen Herkunft den Kollaps bestimmt
• Pre-Training – Trainingsphase mit dem größten Datenbedarf
• Data Poisoning – absichtliche Verunreinigung von Trainingsdaten

Quellenangaben

1. Alemohammad, Sina u. a., 2023. Self-Consuming Generative Models Go MAD. arXiv: 2307.01850.
2. Gerstgrasser, Matthias u. a., 2024. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv: 2404.01413.
3. Shumailov, Ilia u. a., 2024. AI Models Collapse When Trained on Recursively Generated Data. In: Nature 631, S. 755–759. DOI: 10.1038/s41586-024-07566-y (Preprint 2023: The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv: 2305.17493.)

← Zurück zur Lexikon-Übersicht