Overfitting

Overfitting (Überanpassung) bezeichnet im maschinellen Lernen den Zustand, in dem ein Modell die Trainingsdaten einschließlich ihres Rauschens und ihrer zufälligen Eigenheiten memoriert, statt die dahinterliegende, verallgemeinerbare Struktur des Problems zu lernen. Kennzeichnend ist eine wachsende Kluft zwischen Trainingsfehler und Testfehler: Während der Fehler auf den Trainingsdaten mit fortschreitendem Training weiter sinkt, steigt der Fehler auf zuvor ungesehenen Daten wieder an. Ein überangepasstes Modell schneidet auf den Daten, die es kennt, hervorragend ab – und auf neuen Daten spürbar schlechter, als es seine Trainingsleistung vermuten ließe.

Zusammenfassung

Overfitting ist der klassische Fehlerzustand, den jedes Trainingsverfahren im maschinellen Lernen zu vermeiden versucht, und der unmittelbare Gegenpol zu Generalisierung: Ein Modell generalisiert per Definition genau dann gut, wenn es nicht überangepasst ist. Das Phänomen entsteht, weil ein Modell mit ausreichend hoher Kapazität – etwa ein neuronales Netz mit vielen Parametern oder ein Entscheidungsbaum mit vielen Verzweigungsebenen – nicht nur die systematischen Muster in den Trainingsdaten abbilden kann, sondern auch deren zufällige Abweichungen, Messfehler und Ausreißer. Ein solches Modell erreicht auf den Trainingsdaten einen sehr niedrigen, im Extremfall nahezu verschwindenden Fehler, weil es die Beispiele im Grunde auswendig gelernt hat, statt eine übertragbare Regel zu abstrahieren.

Formal beschreibt die statistische Lerntheorie Overfitting als eine Situation, in der die empirische Fehlerrate auf der Trainingsstichprobe systematisch von der tatsächlichen, aber unbeobachtbaren Fehlerrate auf der zugrunde liegenden Datenverteilung abweicht. Diese Kluft wächst typischerweise mit der Kapazität des Modells und schrumpft mit der Menge der verfügbaren Trainingsdaten – ein Zusammenhang, den die Bias-Variance-Zerlegung des Vorhersagefehlers seit den 1990er-Jahren als Spannungsfeld zwischen zwei Fehlerquellen beschreibt: Bias, der systematische Fehler eines zu einfachen Modells (Underfitting), und Varianz, die Empfindlichkeit eines zu komplexen Modells gegenüber der konkreten Trainingsstichprobe (Overfitting). Die praktische Gegenmaßnahme besteht darin, die effektive Modellkomplexität zu begrenzen oder zusätzliche Information einzubringen, die das Modell zu robusteren, weniger auf Einzelbeispiele zugeschnittenen Repräsentationen zwingt – Verfahren, die unter dem Sammelbegriff Regularisierung zusammengefasst werden.

Abgrenzung

Generalisierung – Generalisierung ist die übergeordnete Zieleigenschaft eines Modells, Muster auf ungesehene Daten zu übertragen; Overfitting ist der konkrete Fehlerzustand, in dem diese Eigenschaft verfehlt wird. Ein Modell mit guter Generalisierungsleistung ist per Definition eines, das nicht überangepasst ist – Overfitting beschreibt die Pathologie, Generalisierung das gesuchte Gegenteil.

Begriffsgeschichte

Frühe statistische Grundlagen

Das Grundproblem, dass ein zu flexibles Modell zufällige Schwankungen einer Stichprobe fälschlich als bedeutsames Muster interpretiert, ist in der Statistik älter als das maschinelle Lernen selbst und wurde dort lange unter Begriffen wie „Überparametrisierung” oder „Ausreißeranpassung” diskutiert. Für die algorithmische Lerntheorie wurde das Problem ab den 1960er- und 1970er-Jahren durch Vladimir Vapnik und Alexey Chervonenkis systematisch gefasst: Ihre Arbeiten zur gleichmäßigen Konvergenz relativer Häufigkeiten führten mit der VC-Dimension ein formales Maß für die Kapazität einer Modellklasse ein und lieferten Schranken dafür, wie stark der Fehler auf neuen Daten vom Trainingsfehler abweichen kann – je höher die Kapazität im Verhältnis zur Menge der Trainingsdaten, desto größer das Risiko der Überanpassung.

Bias-Variance-Zerlegung und klassisches maschinelles Lernen

In den 1990er-Jahren etablierte sich mit der Bias-Variance-Zerlegung ein zweites zentrales Vokabular, das Overfitting als Extremfall hoher Varianz beschreibt. Parallel entwickelten sich in dieser Zeit die heute klassischen Gegenmaßnahmen: Kreuzvalidierung zur zuverlässigeren Schätzung der tatsächlichen Modellleistung, Gewichtsstrafen (L1- und L2-Regularisierung) zur Begrenzung der effektiven Modellkomplexität sowie Early Stopping – das Abbrechen des Trainings, sobald der Fehler auf einer zurückgehaltenen Validierungsmenge zu steigen beginnt, während der Trainingsfehler weiter sinkt. Diese drei Verfahren bilden bis heute das methodische Grundgerüst, mit dem Overfitting in der Praxis erkannt und eingedämmt wird.

Deep Learning: Dropout und die Neubewertung klassischer Intuitionen

Mit dem Aufstieg tiefer neuronaler Netze ab den 2010er-Jahren gewann Overfitting neue praktische Dringlichkeit, weil solche Netze oft Millionen bis Milliarden Parameter bei vergleichsweise begrenzten Trainingsdatenmengen besitzen. Srivastava, Hinton, Krizhevsky, Sutskever und Salakhutdinov stellten 2014 mit Dropout eine Regularisierungstechnik vor, die während des Trainings zufällig einen Teil der Neuronen eines Netzes deaktiviert und damit verhindert, dass sich das Netz zu stark auf einzelne, hoch spezialisierte Ko-Adaptionen zwischen Neuronen verlässt – eine der einflussreichsten Antworten auf Overfitting im Deep Learning.

Gleichzeitig geriet die klassische Intuition, dass mehr Parameter zwangsläufig zu mehr Overfitting führen, unter Druck. Zhang, Bengio, Hardt, Recht und Vinyals zeigten 2017 in der vielzitierten Arbeit Understanding Deep Learning Requires Rethinking Generalization, dass sich Standardnetze so trainieren lassen, dass sie zufällig vertauschte Labels perfekt memorieren – ein extremer Fall von Overfitting –, während dieselben Architekturen bei echten Labels dennoch gut generalisieren. Belkin, Hsu, Ma und Mandal beschrieben 2019 mit dem Double-Descent-Phänomen, dass der Testfehler bei wachsender Modellkapazität nicht der klassischen U-Kurve folgt, sondern in der Nähe des Punktes, an dem ein Modell die Trainingsdaten gerade exakt interpoliert, noch einmal ansteigt, um bei weiter wachsender Überparametrisierung erneut zu fallen. Die ausführliche Darstellung dieser Debatte und ihrer Konsequenzen für das Verständnis von Modellkapazität gehört zum Artikel Generalisierung; für Overfitting ist vor allem relevant, dass der klassische Zusammenhang „mehr Kapazität gleich mehr Überanpassung” im Deep Learning nur noch bedingt gilt und dass moderne, stark überparametrisierte Modelle Overfitting teils anders vermeiden, als die klassische Theorie vorhersagt.

Methodische Grundlagen

Erkennung. Overfitting wird praktisch daran erkannt, dass der Fehler auf einer zurückgehaltenen Validierungs- oder Testmenge signifikant über dem Trainingsfehler liegt und diese Lücke im Trainingsverlauf wächst, während der Trainingsfehler weiter sinkt oder stagniert. Die grafische Darstellung von Trainings- und Validierungsfehler über die Trainingsepochen – die Lernkurve – ist das Standardwerkzeug, um den Punkt zu identifizieren, an dem sich Trainings- und Validierungsfehler zu entkoppeln beginnen.

Regularisierung. Unter diesem Sammelbegriff stehen Techniken, die einem Modell explizit oder implizit Beschränkungen auferlegen, um Overfitting entgegenzuwirken: L1- und L2-Gewichtsstrafen bestrafen große Parameterwerte und begünstigen einfachere Lösungen; Dropout deaktiviert während des Trainings zufällig Neuronen und erzwingt redundante, robustere Repräsentationen; Batch-Normalisierung normalisiert Zwischenaktivierungen und wirkt als Nebeneffekt ebenfalls leicht regularisierend; Datenaugmentierung vergrößert effektiv die Trainingsmenge durch systematische Variation vorhandener Beispiele (etwa Drehung, Zuschnitt oder Rauschen bei Bildern) und erschwert es dem Modell, sich auf oberflächliche Eigenheiten einzelner Beispiele zu verlassen.

Early Stopping. Da der Validierungsfehler bei fortschreitendem Training typischerweise zunächst sinkt und dann wieder ansteigt, sobald das Modell beginnt, Trainingsdaten zu memorieren statt zu generalisieren, lässt sich Overfitting begrenzen, indem das Training an dem Punkt beendet wird, an dem der Validierungsfehler sein Minimum erreicht – unabhängig davon, ob der Trainingsfehler noch weiter sinken würde. Early Stopping gilt als eine der ältesten und rechnerisch günstigsten Formen impliziter Regularisierung, weil es keine zusätzliche Modifikation der Architektur oder Verlustfunktion erfordert.

Kreuzvalidierung. Um zu verhindern, dass die Bewertung eines Modells selbst durch eine zufällig günstige oder ungünstige Aufteilung von Trainings- und Testdaten verzerrt wird, teilt k-fache Kreuzvalidierung den Datensatz in mehrere Teilmengen auf und trainiert das Modell wiederholt, wobei jede Teilmenge einmal als Validierungsmenge dient. Der gemittelte Fehler über alle Durchläufe liefert eine robustere Schätzung der tatsächlichen Generalisierungsleistung als eine einzelne Trainings-Test-Aufteilung und macht Overfitting an eine bestimmte Aufteilung sichtbarer.

Datenmenge und -qualität. Da die Kluft zwischen Trainings- und Testfehler mit der Menge der verfügbaren Trainingsdaten tendenziell schrumpft, ist die Vergrößerung und Diversifizierung des Trainingsdatensatzes selbst eine wirksame Gegenmaßnahme gegen Overfitting – oft wirksamer als architektonische Eingriffe allein. Verrauschte oder fehlerhafte Trainingsdaten begünstigen Overfitting zusätzlich, weil ein Modell mit ausreichender Kapazität dazu neigt, auch systematisch falsche Beispiele zu memorieren, statt sie als Rauschen zu behandeln.

Anwendungsfelder

In der Bildklassifikation zeigt sich Overfitting klassisch daran, dass ein Modell auf Trainingsbildern nahezu fehlerfrei klassifiziert, bei neuen Aufnahmen mit anderem Bildhintergrund, anderer Beleuchtung oder anderer Kameraperspektive jedoch deutlich schlechter abschneidet – ein Hinweis darauf, dass das Modell Merkmale gelernt hat, die für die spezifischen Trainingsbilder charakteristisch sind, aber nicht für die eigentliche Aufgabe. Datenaugmentierung, Dropout und Transfer Learning von vortrainierten Netzen gehören hier zu den Standardgegenmaßnahmen.

Bei tabellarischen Daten mit vergleichsweise wenigen Beispielen – etwa in der medizinischen Diagnostik oder im Finanzwesen – ist Overfitting besonders ausgeprägt, weil komplexe Modelle wie tiefe Entscheidungsbäume oder Gradient-Boosting-Ensembles bei kleinen Datensätzen leicht individuelle Fälle statt allgemeiner Zusammenhänge lernen. Kreuzvalidierung und explizite Kapazitätsbeschränkungen sind hier besonders wichtig, weil eine einzelne Trainings-Test-Aufteilung bei kleinen Datensätzen die tatsächliche Generalisierungsleistung nur unzuverlässig schätzt.

Bei großen Sprachmodellen äußert sich Overfitting unter anderem als Memorierung: Ein Modell kann Teile seines Trainingskorpus – etwa bestimmte Textpassagen, Codeausschnitte oder personenbezogene Daten – wortwörtlich reproduzieren, statt daraus verallgemeinerbares sprachliches oder faktisches Wissen zu extrahieren. Dieses Phänomen überschneidet sich mit Fragen des Datenschutzes und der Urheberrechtsdebatte, weil memorierte Trainingsdaten unter Umständen im Modellausgang extrahierbar sind. Zugleich verschärft Benchmark-Kontamination – wenn Evaluationsdaten versehentlich Teil des Trainingskorpus waren – die Beurteilung, ob gemessene Leistung echte Generalisierung oder verdecktes Overfitting an die Testdaten widerspiegelt.

Kontroversen und Kritik

Die klassische Lehrmeinung, dass ein Modell mit mehr Parametern als Trainingsbeispielen zwangsläufig überanpasst, hat sich für moderne, stark überparametrisierte neuronale Netze als unvollständig erwiesen. Das Double-Descent-Phänomen zeigt, dass Overfitting im Sinne einer wachsenden Trainings-Test-Lücke am Interpolationspunkt zwar auftritt, mit weiter wachsender Modellgröße aber wieder zurückgehen kann – ein Befund, der in Teilen der Forschung weiterhin als nicht vollständig verstanden gilt und der die klassische Bias-Variance-Intuition als Erklärung für das Verhalten sehr großer Netze relativiert. Die ausführliche Debatte um dieses Phänomen wird im Artikel Generalisierung behandelt.

Umstritten ist zudem, wie scharf sich Overfitting an Trainingsdaten von einer erwünschten, aber schwer von Memorierung zu unterscheidenden Anpassungsfähigkeit trennen lässt. Bei großen Sprachmodellen etwa ist es nicht immer eindeutig feststellbar, ob eine bestimmte Ausgabe auf abstrahiertem Wissen beruht oder auf wörtlicher Wiedergabe memorierter Trainingsdaten, was Fragen nach Urheberrecht, Datenschutz und der tatsächlichen Neuheit generierter Inhalte aufwirft. Kritiker:innen wenden ferner ein, dass ein Teil dessen, was in Benchmarks als gute Generalisierungsleistung erscheint, tatsächlich Overfitting an die spezifische Formulierung oder Struktur bekannter Testaufgaben sein könnte, ohne dass Standardmetriken dies zuverlässig aufdecken.

Quellenangaben

Vapnik, V. N.; Chervonenkis, A. Ya., 1971. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. In: Theory of Probability and Its Applications, 16 (2), S. 264–280.
Srivastava, Nitish; Hinton, Geoffrey; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan, 2014. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. In: Journal of Machine Learning Research, 15 (56), S. 1929–1958.
Zhang, Chiyuan; Bengio, Samy; Hardt, Moritz; Recht, Benjamin; Vinyals, Oriol, 2017/2021. Understanding Deep Learning Requires Rethinking Generalization. In: Proceedings of ICLR 2017; erweitert veröffentlicht als Understanding Deep Learning (Still) Requires Rethinking Generalization, Communications of the ACM, 64(3), 2021, S. 107–115.
Belkin, Mikhail; Hsu, Daniel; Ma, Siyuan; Mandal, Soumik, 2019. Reconciling Modern Machine-Learning Practice and the Classical Bias-Variance Trade-off. In: Proceedings of the National Academy of Sciences, 116 (32), S. 15849–15854.
Prechelt, Lutz, 1998. Early Stopping – But When? In: Neural Networks: Tricks of the Trade, Lecture Notes in Computer Science, Band 1524, Springer, S. 55–69.
Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron, 2016. Deep Learning. MIT Press.

← Zurück zur Lexikon-Übersicht