Adam (Adaptive Moment Estimation) ist ein Optimierungsverfahren für das Training neuronaler Netze, das Diederik P. Kingma und Jimmy Ba im Dezember 2014 als arXiv-Preprint veröffentlichten.
Zusammenfassung
Adam kombiniert zwei Vorläuferideen: Momentum-Verfahren, die einen laufenden Mittelwert der Gradienten zur Beschleunigung bilden, und RMSProp, das adaptive, parameterspezifische Lernraten anhand eines laufenden Mittelwerts der quadrierten Gradienten berechnet. RMSProp selbst löste ein Problem seines Vorgängers AdaGrad, dessen unbegrenzt akkumulierte Gradientensumme die Lernrate im Trainingsverlauf immer weiter schrumpfen ließ.
Methodische Grundlagen
Adam schätzt für jeden Parameter zwei laufende Größen. Das erste Moment ist ein exponentiell geglätteter Durchschnitt der Gradienten selbst – die Momentum-Komponente, die Richtung und Geschwindigkeit der Optimierung angibt. Das zweite Moment ist ein exponentiell geglätteter Durchschnitt der quadrierten Gradienten und zeigt an, wie stark ein Parameter typischerweise schwankt.
Die Aktualisierung teilt den geglätteten Gradienten durch die Wurzel des geglätteten quadrierten Gradienten. Parameter mit konsistent kleinen, informativen Gradienten erhalten dadurch größere effektive Schritte, Parameter mit großen, verrauschten Gradienten kleinere.
Da beide Größen zu Trainingsbeginn bei null starten und dadurch systematisch verzerrt sind, korrigiert Adam über eine Bias-Correction, die von der Anzahl bereits durchgeführter Schritte abhängt.
AdamW
AdamW, vorgeschlagen von Ilya Loshchilov und Frank Hutter 2017, entkoppelt den Weight-Decay-Schritt vom gradientenbasierten Adam-Update. Bei klassischem SGD sind L2-Regularisierung und Weight Decay mathematisch äquivalent – bei Adam gilt diese Äquivalenz nicht mehr, weil die adaptive Skalierung auch den Regularisierungsterm verzerrt.
AdamW wendet Weight Decay stattdessen direkt auf die Gewichte an und erzielte laut Originalpaper eine relative Verbesserung des Testfehlers von rund 15 Prozent gegenüber Adam. Es ist heute die meistgenutzte Variante beim Training großer Sprachmodelle.
Kritik und Grenzen
Reddi, Kale und Kumar zeigten 2018 anhand eines einfachen konvexen Beispiels, dass Adam in bestimmten Fällen nicht zur optimalen Lösung konvergiert – ein Fehler in der ursprünglichen Konvergenzgarantie. Als Korrektur schlugen sie Varianten mit „Langzeitgedächtnis” vergangener Gradienten vor, etwa AMSGrad.
Neuere Alternativen wie Lion (2023, Google) und Sophia (2023, Stanford) versprechen laut ihren Originalpapieren schnellere Konvergenz bei geringerem Rechenaufwand. Beide sind bislang primär Forschungsergebnisse – AdamW bleibt der breit etablierte Standard.
Verwandte Begriffe
- Backpropagation – liefert die Gradienten, die Adam verarbeitet
- Transformer – Architektur, deren Training fast immer auf AdamW beruht
- Deep Learning – das Feld, in dem Adam zum De-facto-Standard wurde
Quellenangaben
- Kingma, Diederik P. / Ba, Jimmy, 2014. Adam: A Method for Stochastic Optimization. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1412.6980.
- Loshchilov, Ilya / Hutter, Frank, 2017. Decoupled Weight Decay Regularization. In: Proceedings of the International Conference on Learning Representations (ICLR 2019). arXiv: 1711.05101.
- Reddi, Sashank J. / Kale, Satyen / Kumar, Sanjiv, 2018. On the Convergence of Adam and Beyond. ICLR 2018.
- Chen, Xiangning u. a., 2023. Symbolic Discovery of Optimization Algorithms. arXiv: 2302.06675.