Dropout

Dropout bezeichnet eine 2012 von Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever und Ruslan Salakhutdinov an der University of Toronto eingeführte Regularisierungstechnik für neuronale Netze, bei der während des Trainings in jeder Iteration eine zufällig ausgewählte Teilmenge der Einheiten temporär aus dem Netz entfernt wird.

Die ursprüngliche Beschreibung erfolgte in dem Preprint Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors (arXiv: 1207.0580, Juli 2012); die kanonische Vollausarbeitung erschien 2014 als Dropout: A Simple Way to Prevent Neural Networks from Overfitting in Journal of Machine Learning Research 15. Dropout ist eine der einflussreichsten methodischen Innovationen des Deep Learning der 2010er Jahre und gehört seitdem zum Standardrepertoire der praktischen Netzarchitektur.

Zusammenfassung

Dropout adressiert das Problem des Overfitting in tiefen Netzen mit hoher Parameteranzahl: Ein Netz mit Millionen oder Milliarden von Parametern kann sich an die Trainingsdaten so eng anpassen, dass es auf neuen Daten schlechter generalisiert.

Hintons Lösungsidee – entwickelt nach eigener Darstellung in einer Bankerklärungs-Analogie (regelmäßige Bewegung von Mitarbeitenden verhindere Korruptionskartelle) – besteht darin, in jeder Trainingsiteration einen festgelegten Anteil der Einheiten (typisch 50 % in voll verbundenen Schichten, 20 % in Eingabeschichten) zufällig auf null zu setzen.

Die verbleibenden Einheiten müssen redundante Repräsentationen erlernen, weil sie sich nicht auf das Vorhandensein spezifischer anderer Einheiten verlassen können – die zentrale theoretische Behauptung lautet, dass Dropout Co-Adaption unterbindet.

Bei der Inferenz (im Testen) sind alle Einheiten aktiv; ihre Aktivierungen werden mit der Dropout-Wahrscheinlichkeit skaliert, um die effektive Aktivierungsstärke konstant zu halten.

Mathematisch lässt sich Dropout als näherungsweise Modellmittelung über exponentiell viele Sub-Netze interpretieren (eine Form des Ensemble Learning mit geteilten Gewichten) oder im Bayes’schen Rahmen als näherungsweise variational inference (Gal/Ghahramani 2016). Dropout war eine der zentralen Komponenten der AlexNet-Architektur (Krizhevsky, Sutskever, Hinton 2012) und damit des seitherigen Deep-Learning-Booms.

Funktionsweise

Algorithmus

In einer Schicht l mit Aktivierungen a⁽ˡ⁾ wird während des Trainings ein binärer Zufallsvektor r⁽ˡ⁾ gezogen, dessen Komponenten unabhängig Bernoulli-verteilt mit Wahrscheinlichkeit p (Beibehaltungswahrscheinlichkeit, keep probability) den Wert 1 und mit Wahrscheinlichkeit 1−p den Wert 0 annehmen.

Die Aktivierungen werden komponentenweise mit r⁽ˡ⁾ multipliziert: ã⁽ˡ⁾ = r⁽ˡ⁾ ⊙ a⁽ˡ⁾. Damit sind in jeder Trainingsiteration etwa (1−p) der Einheiten der Schicht deaktiviert.

Der Backpropagation-Algorithmus propagiert in dieser Iteration die Gradienten nur durch die aktiven Einheiten zurück.

Inferenz

Bei der Anwendung des trainierten Netzes auf neue Daten sind alle Einheiten aktiv. Um die Erwartungswerte der Aktivierungen zwischen Training (mit reduzierter Aktivierung) und Inferenz (mit voller Aktivierung) anzugleichen, werden die Gewichte (oder äquivalent die Aktivierungen) mit p skaliert.

In der heute üblichen Implementierung inverted dropout wird stattdessen während des Trainings durch p dividiert, sodass die Inferenz ohne Skalierung erfolgen kann.

Übliche Dropout-Raten

In der Praxis haben sich folgende Wahrscheinlichkeiten als robust erwiesen: für voll verbundene Schichten p = 0,5 (also 50 % der Einheiten werden in jeder Iteration deaktiviert); für Eingabeschichten p = 0,8 bis 0,9 (also 10–20 % Deaktivierung); für konvolutionelle Schichten typischerweise geringere Raten oder keine Anwendung von Standard-Dropout. Die optimale Wahl ist hyperparameterabhängig und wird durch Kreuzvalidierung bestimmt.

Theoretische Interpretationen

Co-Adaption-Hypothese

In der Originalformulierung (Hinton u. a. 2012) wird Dropout als Mittel gegen Co-Adaption (auch co-adaptation) beschrieben: Wenn zwei Einheiten konsistent gemeinsam aktiv sind, lernen sie unter Umständen abhängige Detektoren, die nur in der gemeinsamen Konstellation funktionieren. Dropout verhindert diese gegenseitige Anpassung, indem es die Einheiten zwingt, unabhängig nützlich zu sein.

Ensemble-Interpretation

Eine zweite Interpretation versteht Dropout als näherungsweise Mittelung über alle Sub-Netze, die durch unterschiedliche Dropout-Konfigurationen entstehen können.

Bei n Einheiten und einer Dropout-Rate von 0,5 sind das 2ⁿ mögliche Sub-Netze, die alle die Gewichte gemeinsam nutzen. Die Inferenz mit allen Einheiten und skalierten Aktivierungen entspricht näherungsweise dem geometrischen Mittel der Vorhersagen aller dieser Sub-Netze (Srivastava u. a. 2014).

Bayes’sche Interpretation

Yarin Gal und Zoubin Ghahramani (Dropout as a Bayesian Approximation, ICML 2016) zeigen, dass Dropout als näherungsweise variational inference in einem Bayes’schen neuronalen Netz interpretiert werden kann. Aus dieser Perspektive liefert Dropout nicht nur Regularisierung, sondern auch eine Schätzung der epistemischen Unsicherheit der Modellvorhersagen, wenn Dropout auch bei der Inferenz aktiv gehalten wird (Monte Carlo Dropout).

Theoretische Einschränkungen

Die Co-Adaption-Hypothese ist in der Theorie nicht in jedem Detail bewiesen; die Ensemble-Interpretation ist nur für lineare Netze exakt und in nichtlinearen Architekturen näherungsweise gültig.

Die Bayes’sche Interpretation setzt spezifische Verteilungsannahmen voraus, die in der Praxis nicht streng erfüllt sind. Wei, Kakade und Ma (2020) sowie weitere Arbeiten haben gezeigt, dass die Wirksamkeit von Dropout in der Praxis auf einem Zusammenspiel mehrerer Effekte beruht.

Begriffsgeschichte und Vorgänger

Vorgängerideen

Die Grundidee, neuronale Netze durch Rauschen zu regularisieren, reicht in Vorformen in die 1980er und 1990er Jahre zurück. Noise Injection (Sietsma/Dow 1991; Bishop 1995) und Stochastic Pooling sind verwandte, aber nicht identische Konzepte. Die spezifische Idee, Einheiten statt Aktivierungen zu rauschen, und die theoretische Anbindung an Co-Adaption und Modellmittelung ist Hintons 2012er Innovation.

Nitish Srivastava – der zur Zeit der Publikation Hintons Doktorand an der University of Toronto war – hat in seiner 2013er Masterarbeit Improving Neural Networks with Dropout die ausführliche empirische Validierung des Verfahrens vorgelegt.

Wirkungsgeschichte

Dropout wurde innerhalb weniger Jahre nach 2012 zur Standardtechnik der Deep-Learning-Praxis. AlexNet (2012), VGGNet (2014) und Inception (2014) verwenden Dropout in ihren voll verbundenen Schichten. Die zugehörige JMLR-Publikation von 2014 ist eine der meistzitierten Arbeiten der maschinellen Lernforschung.

Varianten und Verfeinerungen

Auf das Standard-Dropout folgten mehrere Varianten:

DropConnect (Wan u. a. 2013): Statt der Einheiten werden einzelne Verbindungen (Gewichte) zufällig deaktiviert.

Spatial Dropout (Tompson u. a. 2015): In konvolutionellen Schichten werden ganze Merkmalskanäle gemeinsam deaktiviert, statt einzelner Pixel-Aktivierungen – eine Anpassung an die räumliche Struktur von Bilddaten.

Variational Dropout (Kingma, Salimans, Welling 2015; Gal/Ghahramani 2016): Eine Bayes’sch fundierte Variante mit gelernten Dropout-Raten.

DropPath / Stochastic Depth (Huang u. a. 2016): In Residual-Netzwerken werden ganze Schichten zufällig übersprungen.

DropBlock (Ghiasi u. a. 2018): In konvolutionellen Schichten werden zusammenhängende räumliche Blöcke deaktiviert.

Stellung in der heutigen Praxis

Mit der Etablierung von Batch Normalization (Ioffe/Szegedy 2015), Layer Normalization und insbesondere mit der Dominanz der Transformer-Architektur (Vaswani u. a. 2017) hat Dropout in einigen Anwendungsfeldern an relativer Bedeutung verloren. In modernen Transformer-Sprachmodellen wird Dropout typischerweise nur mit geringen Raten (oft 0,0–0,1) in spezifischen Teilen der Architektur eingesetzt.

In den voll verbundenen Schichten klassischer Architekturen und in vielen Computer-Vision-Anwendungen bleibt es jedoch eine Standardkomponente.

Eine 2025 auf der ACL vorgestellte Studie (Liu, Bauer, Manning 2025) verstärkt diesen Trend empirisch: Beim heute in der LLM-Praxis üblichen Single-Epoch-Pretraining verschlechtert Dropout die nachgelagerte Leistung in Sprachmodellierung, Morphosyntax, Frage-Antwort-Aufgaben und natürlichsprachlicher Inferenz messbar; die Autoren empfehlen, Dropout in dieser Trainingsphase moderner Sprachmodelle ganz wegzulassen.

Patentstreit

Die Firma Google LLC – bei der Hinton seit 2013 angestellt war – hat 2014 ein US-Patent auf das Dropout-Verfahren angemeldet (US-Patent 9,406,017, erteilt 2016).

Diese Patentierung wurde in der akademischen Community kontrovers diskutiert: Während Hinton und Google argumentierten, das Patent diene defensiven Zwecken (Schutz vor Trolling), wiesen Kritiker:innen darauf hin, dass die Patentierung einer breit publizierten und in offenen Forschungsarbeiten dokumentierten Methode den Open-Science-Geist der Deep-Learning-Forschung untergrabe.

Eine praktische Durchsetzung des Patents ist nach öffentlich zugänglichen Quellen nicht erfolgt.

Einordnung

Dropout ist ein Knotenpunkt in Hintons Werk: Es verbindet die personellen Einträge Geoffrey Hinton, Ilya Sutskever (Mit-Autor) und Ruslan Salakhutdinov (Mit-Autor) mit der zentralen Praxis-Architektur AlexNet (in der Dropout erstmals breit wirkmächtig zur Anwendung kam) und über die JMLR-2014-Publikation mit der Standardisierung des Deep-Learning-Repertoires.

Der Eintrag ergänzt die Backpropagation-Linie (Trainingsalgorithmus) um die Regularisierungs-Komponente. Theoretisch verbindet er die Distributed Representations-Tradition (über die Co-Adaption-Hypothese) mit der heutigen Bayesian Deep Learning-Forschung (über die Gal/Ghahramani-Interpretation).

Kritik

Substantielle Kritik richtet sich auf drei Linien:

Theoretische Unschärfe der Co-Adaption-Hypothese: Die in der Originalpublikation präsentierte intuitive Begründung ist nicht streng formalisiert; in der theoretischen ML-Literatur (Wei u. a. 2020) wird argumentiert, dass die empirisch beobachtete Wirksamkeit von Dropout nicht vollständig durch die Co-Adaption-Erzählung erklärt wird. Diese Kritik betrifft die theoretische Verankerung, nicht die praktische Wirksamkeit.

Rückläufige Bedeutung in modernen Architekturen: In Transformer-Sprachmodellen und neueren Computer-Vision-Architekturen mit Batch- oder Layer-Normalization wird Dropout in deutlich reduzierter Form eingesetzt oder ganz weggelassen. Die Beobachtung impliziert, dass Dropout in der heutigen Praxis nicht mehr in allen Kontexten unverzichtbar ist.

Patentierung: Die Patentanmeldung durch Google (US 9,406,017, 2014/2016) ist in Teilen der akademischen Community als problematische Privatisierung einer offen publizierten Methode kritisiert worden.

Verwandte Begriffe

• Geoffrey Hinton – Senior-Autor
• Nitish Srivastava – Doktorand und Erst-Autor der JMLR-Arbeit 2014
• Ruslan Salakhutdinov – Mit-Autor
• Monte Carlo Dropout – Bayes’sche Anwendungsform
• Ensemble Learning – verwandtes Konzept
• Bayesian Deep Learning – theoretischer Anschluss
• Overfitting / Regularisierung – übergeordnete Problemklasse

Quellenangaben

1. Bishop, Christopher M., 1995. Training with Noise Is Equivalent to Tikhonov Regularization. In: Neural Computation 7 (1), S. 108–116. DOI: 10.1162/neco.1995.7.1.108.
2. Gal, Yarin / Ghahramani, Zoubin, 2016. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning. In: Proceedings of the 33rd International Conference on Machine Learning (ICML 2016), S. 1050–1059.
3. Ghiasi, Golnaz / Lin, Tsung-Yi / Le, Quoc V., 2018. DropBlock: A Regularization Method for Convolutional Networks. In: Advances in Neural Information Processing Systems 31 (NeurIPS 2018).
4. Hinton, Geoffrey E. / Srivastava, Nitish / Krizhevsky, Alex / Sutskever, Ilya / Salakhutdinov, Ruslan, 2012. Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors. arXiv: 1207.0580.
5. Hinton, Geoffrey E. / Krizhevsky, Alex / Sutskever, Ilya / Srivastava, Nitish, 2014/2016. System and Method for Addressing Overfitting in a Neural Network. US-Patent 9,406,017, erteilt 2. August 2016, Google LLC.
6. Huang, Gao / Sun, Yu / Liu, Zhuang / Sedra, Daniel / Weinberger, Kilian Q., 2016. Deep Networks with Stochastic Depth. In: European Conference on Computer Vision (ECCV 2016), S. 646–661. DOI: 10.1007/978-3-319-46493-0_39.
7. Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
8. Kingma, Diederik P. / Salimans, Tim / Welling, Max, 2015. Variational Dropout and the Local Reparameterization Trick. In: Advances in Neural Information Processing Systems 28 (NeurIPS 2015).
9. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
10. Liu, Houjun / Bauer, John / Manning, Christopher D., 2025. Drop Dropout on Single-Epoch Language Model Pretraining. In: Findings of the Association for Computational Linguistics: ACL 2025, S. 2157–2166. arXiv: 2505.24788.
11. Sietsma, Jocelyn / Dow, Robert J. F., 1991. Creating Artificial Neural Networks That Generalize. In: Neural Networks 4 (1), S. 67–79. DOI: 10.1016/0893-6080(91)90033-2.
12. Srivastava, Nitish, 2013. Improving Neural Networks with Dropout. Masterarbeit, University of Toronto.
13. Srivastava, Nitish / Hinton, Geoffrey E. / Krizhevsky, Alex / Sutskever, Ilya / Salakhutdinov, Ruslan, 2014. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. In: Journal of Machine Learning Research 15, S. 1929–1958.
14. Tompson, Jonathan / Goroshin, Ross / Jain, Arjun / LeCun, Yann / Bregler, Christoph, 2015. Efficient Object Localization Using Convolutional Networks. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2015), S. 648–656. DOI: 10.1109/CVPR.2015.7298664.
15. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
16. Wan, Li / Zeiler, Matthew / Zhang, Sixin / LeCun, Yann / Fergus, Rob, 2013. Regularization of Neural Networks using DropConnect. In: Proceedings of the 30th International Conference on Machine Learning (ICML 2013), S. 1058–1066.
17. Wei, Colin / Kakade, Sham / Ma, Tengyu, 2020. The Implicit and Explicit Regularization Effects of Dropout. In: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), S. 10181–10192.

← Zurück zur Lexikon-Übersicht