Generalisierung

Generalisierung bezeichnet im maschinellen Lernen die Fähigkeit eines trainierten Modells, die aus den Trainingsdaten gelernten Muster und Zusammenhänge auf zuvor ungesehene Daten zu übertragen und dort zuverlässig richtige Vorhersagen zu treffen. Ein Modell generalisiert gut, wenn seine Leistung auf neuen, im Training nicht vorgekommenen Beispielen annähernd der Leistung auf den Trainingsdaten entspricht; es generalisiert schlecht, wenn es zwar die Trainingsdaten nahezu perfekt abbildet, bei neuen Daten aber deutlich schlechter abschneidet.

Zusammenfassung

Generalisierung ist das zentrale Ziel jedes überwachten und selbstüberwachten Lernverfahrens: Ein Modell soll nicht die Trainingsdaten speichern, sondern die zugrunde liegende Struktur des Problems erfassen. Der Gegenbegriff ist Overfitting (Überanpassung) – der Zustand, in dem ein Modell Trainingsdaten samt ihres Rauschens und ihrer Zufälligkeiten memoriert, statt die dahinterliegende Regelmäßigkeit zu lernen. Das Spannungsfeld zwischen Anpassungsfähigkeit und Generalisierungsfähigkeit wird klassisch als Bias-Variance-Tradeoff beschrieben: Ein zu einfaches Modell (hoher Bias) generalisiert schlecht, weil es die Struktur der Daten nicht abbilden kann (Underfitting); ein zu komplexes Modell (hohe Varianz) generalisiert schlecht, weil es zufällige Schwankungen der Trainingsdaten mitlernt.

Gemessen wird Generalisierung praktisch über die Differenz zwischen Trainingsfehler und Testfehler auf zurückgehaltenen, im Training nicht verwendeten Daten. Die statistische Lerntheorie – maßgeblich geprägt durch Vladimir Vapnik und Alexey Chervonenkis in den 1960er- und 1970er-Jahren – liefert mit Konzepten wie der VC-Dimension formale Schranken dafür, wie stark der Testfehler vom Trainingsfehler abweichen kann, in Abhängigkeit von der Kapazität des Modells und der Menge der Trainingsdaten. In der Praxis des Deep Learning haben sich diese klassischen Schranken als zu pessimistisch erwiesen: Sehr große neuronale Netze generalisieren häufig gut, obwohl ihre Kapazität nach klassischer Theorie eine Überanpassung erwarten ließe – ein Befund, der in den 2010er- und 2020er-Jahren zu einer Neubewertung des Verhältnisses von Modellgröße und Generalisierung geführt hat, unter anderem durch das Phänomen des Double Descent.

Abgrenzung

Overfitting – Overfitting ist der konkrete Fehlerzustand (Trainingsfehler niedrig, Testfehler hoch), Generalisierung die übergeordnete Eigenschaft, die dabei verfehlt wird; ein Modell mit gutem Generalisierungsvermögen ist per Definition eines, das nicht überangepasst ist.

Transfer Learning – Transfer Learning überträgt Wissen zwischen unterschiedlichen, aber verwandten Aufgaben oder Domänen (etwa von einem vortrainierten Sprachmodell auf eine Spezialaufgabe); Generalisierung dagegen betrifft bereits die Übertragung innerhalb derselben Aufgabe von Trainings- auf Testdaten.

Begriffsgeschichte

Statistische Wurzeln

Das Grundproblem – wie zuverlässig sich aus einer endlichen Stichprobe auf die Grundgesamtheit schließen lässt – ist so alt wie die Statistik selbst. Für das maschinelle Lernen wurde es ab den 1960er-Jahren durch Vladimir Vapnik und Alexey Chervonenkis systematisch formalisiert. Ihre 1971 veröffentlichte Arbeit zur gleichmäßigen Konvergenz relativer Häufigkeiten zu Wahrscheinlichkeiten legte den Grundstein für die statistische Lerntheorie und führte mit der VC-Dimension ein Maß für die Kapazität einer Modellklasse ein: je höher die VC-Dimension, desto mehr unterschiedliche Datenkonfigurationen kann eine Modellklasse exakt anpassen – und desto größer das Risiko der Überanpassung bei begrenzten Trainingsdaten.

Bias-Variance-Zerlegung und klassisches maschinelles Lernen

In den 1990er-Jahren etablierte sich mit der Bias-Variance-Zerlegung des Vorhersagefehlers ein zweites zentrales Vokabular. Sie zerlegt den erwarteten Testfehler eines Modells in drei Anteile: Bias (systematischer Fehler durch zu einfache Modellannahmen), Varianz (Empfindlichkeit gegenüber der konkreten Trainingsstichprobe) und irreduziblem Rauschen. Praktisch führte dieses Bild zu Verfahren wie Kreuzvalidierung, Regularisierung und frühem Trainingsabbruch (Early Stopping), die alle das Ziel verfolgen, die Modellkomplexität so zu wählen, dass Bias und Varianz gemeinsam minimiert werden.

Deep Learning und die Krise der klassischen Intuition

Mit dem Aufstieg tiefer neuronaler Netze ab den 2010er-Jahren geriet die klassische Bias-Variance-Intuition unter Druck. Netze mit weit mehr Parametern als Trainingsbeispielen – also Modelle, die nach klassischer Theorie hoffnungslos überangepasst sein müssten – zeigten in der Praxis oft exzellente Generalisierung. Zhang u. a. demonstrierten 2017 in der vielzitierten Arbeit Understanding Deep Learning Requires Rethinking Generalization, dass sich Standardnetze so trainieren lassen, dass sie zufällig vertauschte Labels perfekt memorieren – und dass die üblichen Regularisierungstechniken diese Fähigkeit zur Memorierung kaum einschränken. Das zeigte, dass klassische Kapazitätsmaße wie die VC-Dimension allein nicht erklären, warum dieselben Netze bei echten Labels dennoch gut generalisieren.

Belkin u. a. beschrieben 2019 in Reconciling Modern Machine-Learning Practice and the Classical Bias-Variance Trade-off das Phänomen des Double Descent: Der Testfehler folgt bei wachsender Modellkomplexität nicht der klassischen U-Kurve, sondern fällt zunächst, steigt in der Nähe des sogenannten Interpolationspunkts – an dem das Modell die Trainingsdaten gerade exakt anpasst – noch einmal an, um danach bei weiter wachsender Überparametrisierung erneut zu fallen. Dieser zweite Abfall erklärt, warum sehr große, überparametrisierte Modelle trotz scheinbar maximaler Kapazität oft besser generalisieren als mittelgroße Modelle nahe der Interpolationsschwelle.

Methodische Grundlagen

Generalisierung wird methodisch über mehrere miteinander verzahnte Ansätze gesteuert:

Datenaufteilung und Validierung. Der Standardweg, Generalisierung zu messen, ist die Trennung von Trainings-, Validierungs- und Testdaten. Das Modell lernt ausschließlich auf den Trainingsdaten, die Validierungsdaten dienen der Modellauswahl und Hyperparameter-Abstimmung, und die Testdaten liefern eine möglichst unverfälschte Schätzung der tatsächlichen Generalisierungsleistung. Kreuzvalidierung – etwa k-fache Kreuzvalidierung – verbessert diese Schätzung bei kleinen Datensätzen, indem mehrere Aufteilungen kombiniert werden.

Regularisierung. Techniken wie L1- und L2-Regularisierung (Gewichtsstrafen), Dropout, Batch-Normalisierung und Datenaugmentierung schränken die effektive Kapazität eines Modells ein oder zwingen es, robustere, weniger auf einzelne Trainingsbeispiele zugeschnittene Repräsentationen zu lernen. Early Stopping – das Beenden des Trainings, sobald der Validierungsfehler zu steigen beginnt, während der Trainingsfehler weiter sinkt – ist eine der ältesten und wirksamsten Formen impliziter Regularisierung.

Skalierung von Daten und Modellen. Empirisch zeigt sich, dass mehr und vielfältigere Trainingsdaten die Generalisierung meist zuverlässiger verbessern als architektonische Eingriffe allein – ein Zusammenhang, der in der Debatte um die Skalierungshypothese eine zentrale Rolle spielt. Bei großen, selbstüberwacht vortrainierten Modellen (siehe Selbstüberwachtes Lernen, Pre-Training) verschiebt sich die Frage der Generalisierung zusätzlich: Es geht nicht mehr nur um Generalisierung innerhalb einer festen Aufgabe, sondern um Übertragung auf völlig neue, im Vortraining nicht explizit vorgesehene Aufgaben – ein Feld, das eng an Transfer Learning anschließt.

Induktive Verzerrung (Inductive Bias). Jedes Modell trägt durch seine Architektur eingebaute Annahmen darüber, welche Art von Mustern es bevorzugt erkennt – etwa die Translationsinvarianz von Convolutional Neural Networks oder die Aufmerksamkeitsstruktur von Transformer-Architekturen in neuronalen Netzen. Eine gut zur Aufgabe passende induktive Verzerrung kann Generalisierung mit deutlich weniger Trainingsdaten ermöglichen als eine Architektur ohne entsprechende Annahmen.

Anwendungsfelder

In der Bildklassifikation zeigt sich mangelnde Generalisierung klassisch daran, dass ein Modell auf Trainingsbildern nahezu fehlerfrei klassifiziert, bei leicht veränderten Aufnahmebedingungen – anderes Licht, andere Perspektive, andere Kamera – jedoch deutlich schlechter abschneidet. Datenaugmentierung, Transfer Learning von vortrainierten Netzen und Regularisierung sind hier Standardwerkzeuge.

Bei großen Sprachmodellen zeigt sich Generalisierung unter anderem darin, ob ein Modell Aufgaben löst, die in dieser Form nicht Teil der Trainingsdaten waren – etwa neuartige Rechenaufgaben, ungewohnte Formulierungen oder Aufgabenkombinationen. Die Fähigkeit, aus wenigen Beispielen im Prompt heraus neue Aufgaben zu lösen (Few-Shot- und Zero-Shot-Generalisierung), gilt als eines der auffälligsten Merkmale sehr großer Sprachmodelle und wird in der Diskussion um Emergent Abilities verhandelt. Gleichzeitig zeigt die Forschung zu Halluzination und zu Benchmark-Kontamination, dass scheinbar gute Generalisierungsleistung teilweise auf Kontamination von Testdaten durch Trainingsmaterial oder auf oberflächliche Musteranpassung statt echten Verständnisses zurückgehen kann.

In sicherheitskritischen Bereichen wie autonomem Fahren oder medizinischer Diagnostik ist Generalisierung auf sogenannte Out-of-Distribution-Daten – Daten, die statistisch merklich von den Trainingsdaten abweichen – eine der zentralen Herausforderungen: Ein Modell, das auf Trainings- und Testdaten aus derselben Verteilung gut abschneidet, kann bei realen, leicht abweichenden Bedingungen versagen, ohne dass dies aus den Standardmetriken ersichtlich wird.

Kontroversen und Kritik

Die Erklärung dafür, warum stark überparametrisierte tiefe Netze überhaupt gut generalisieren, gilt in Teilen der Forschung weiterhin als offenes theoretisches Problem. Klassische Kapazitätsmaße wie die VC-Dimension sagen für solche Netze eine massive Überanpassung voraus, die empirisch häufig ausbleibt; das Double-Descent-Phänomen liefert eine empirische Beschreibung, aber keine vollständige theoretische Erklärung des zugrunde liegenden Mechanismus.

Umstritten ist zudem, wie stark die beobachtete Generalisierungsleistung großer, aus dem Internet trainierter Modelle durch schlichte Erinnerung an im Trainingskorpus enthaltenes Material statt durch abstrahiertes Verständnis erklärt wird. Untersuchungen zu Benchmark-Kontamination zeigen, dass Testdaten bekannter Evaluationsdatensätze teilweise Bestandteil der Trainingskorpora waren, was gemessene Generalisierungsleistung künstlich anhebt und den Vergleich zwischen Modellen erschwert. Kritiker:innen wenden zudem ein, dass ein Teil der als „Generalisierung” gefeierten Fähigkeiten großer Sprachmodelle eher als sehr flexible Interpolation zwischen im Training gesehenen Mustern zu verstehen sei als als Generalisierung im engeren, aus der Lerntheorie stammenden Sinn – eine Position, die eng mit der grundsätzlicheren Debatte um Emergent Abilities und um die Interpretierbarkeit neuronaler Netze verknüpft ist. Befürworter:innen halten dagegen, dass die Fähigkeit, neuartige Aufgabenkombinationen und ungesehene Formulierungen zuverlässig zu bewältigen, über bloße Interpolation hinausgeht – der Streit ist bislang nicht abschließend entschieden.

Quellenangaben

Vapnik, V. N.; Chervonenkis, A. Ya., 1971. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. In: Theory of Probability and Its Applications, 16 (2), S. 264–280.
Vapnik, Vladimir N., 1998. Statistical Learning Theory. Wiley.
Zhang, Chiyuan; Bengio, Samy; Hardt, Moritz; Recht, Benjamin; Vinyals, Oriol, 2017/2021. Understanding Deep Learning Requires Rethinking Generalization. In: Proceedings of ICLR 2017; erweitert veröffentlicht als Understanding Deep Learning (Still) Requires Rethinking Generalization, Communications of the ACM, 64(3), 2021, S. 107–115.
Belkin, Mikhail; Hsu, Daniel; Ma, Siyuan; Mandal, Soumik, 2019. Reconciling Modern Machine-Learning Practice and the Classical Bias-Variance Trade-off. In: Proceedings of the National Academy of Sciences, 116 (32), S. 15849–15854.
Nakkiran, Preetum; Kaplun, Gal; Bansal, Yamini; Yang, Tristan; Barak, Boaz; Sutskever, Ilya, 2019/2021. Deep Double Descent: Where Bigger Models and More Data Hurt. In: Journal of Statistical Mechanics: Theory and Experiment, 2021 (12), arXiv:1912.02292.
Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron, 2016. Deep Learning. MIT Press.

← Zurück zur Lexikon-Übersicht