Vanishing Gradient Problem

Das Vanishing Gradient Problem (deutsch Problem des verschwindenden Gradienten) bezeichnet die Beobachtung, dass die beim Training tiefer neuronaler Netze durch Backpropagation zurückpropagierten Fehlersignale mit jeder durchlaufenen Schicht – beziehungsweise, in rekurrenten Architekturen, mit jedem durchlaufenen Zeitschritt – exponentiell kleiner werden können, bis sie in den frühen Schichten numerisch praktisch verschwinden.

Die betroffenen Parameter erhalten dann keine verwertbare Lernrichtung mehr: Das Netz trainiert faktisch nur noch in seinen obersten Schichten, während die unteren nahe bei ihrer zufälligen Initialisierung verharren.

Ursache ist die multiplikative Struktur der Kettenregel, die den Gradienten über die Tiefe als Produkt vieler Jacobi-Matrizen darstellt; sind deren Beiträge im Mittel kleiner als eins, schrumpft das Produkt exponentiell. Dieselbe Struktur erzeugt bei Beiträgen größer als eins das spiegelbildliche Exploding Gradient Problem.

Die erste systematische Analyse stammt aus der Münchner Diplomarbeit von Sepp Hochreiter (1991); Yoshua Bengio, Patrice Simard und Paolo Frasconi zeigten 1994 unabhängig davon, dass das Problem für gradientenbasiertes Lernen langer Abhängigkeiten prinzipiell unvermeidbar ist.

Für Deep-Learning-Architekturen der Gegenwart gilt es als weitgehend entschärft – durch ReLU-Aktivierungen, varianzerhaltende Initialisierung, Normalisierungsschichten und vor allem Residualverbindungen –, besteht aber in abgewandelter Form in sehr tiefen Netzen, in rekurrenten Modellen mit langen Zeithorizonten und im Reinforcement Learning über lange Handlungssequenzen fort.

Zusammenfassung

Das Vanishing Gradient Problem ist der historisch wichtigste technische Grund dafür, dass tiefe neuronale Netze zwischen etwa 1990 und 2010 als praktisch untrainierbar galten.

Die Diagnose entstand in zwei getrennten Forschungslinien. Sepp Hochreiter analysierte in seiner Diplomarbeit Untersuchungen zu dynamischen neuronalen Netzen (Institut für Informatik, Technische Universität München, 1991, betreut von Jürgen Schmidhuber) den Fehlerfluss durch die Zeit in rekurrenten Netzen und zeigte, dass er entweder exponentiell abklingt oder exponentiell anwächst; die Arbeit ist auf Deutsch verfasst und blieb deshalb international lange schwer zugänglich.

Bengio, Simard und Frasconi bewiesen 1994 in den IEEE Transactions on Neural Networks ein schärferes Resultat: Damit ein rekurrentes System Information robust über lange Zeiträume speichern kann, muss es sich in der Nähe eines anziehenden Fixpunkts befinden – und genau diese Bedingung erzwingt, dass die Gradienten verschwinden.

Robustes Erinnern und gradientenbasiertes Lernen stehen also in einem Zielkonflikt. Die englischsprachige Zusammenführung beider Linien erschien 2001 als gemeinsames Buchkapitel von Hochreiter, Bengio, Frasconi und Schmidhuber in A Field Guide to Dynamical Recurrent Networks (Hrsg. Kolen/Kremer, IEEE Press).

Die Lösungsgeschichte verläuft in Wellen. Architektonisch antwortete Long Short-Term Memory (Hochreiter/Schmidhuber 1997) mit dem Constant Error Carousel, einem linearen Speicherpfad, an dem der Gradient unverändert entlangfließt.

Für Feedforward-Netze brachten unüberwachtes Pretraining (Hinton/Osindero/Teh 2006), die Ablösung der Sättigungsnichtlinearitäten durch ReLU (Nair/Hinton 2010; Glorot/Bordes/Bengio 2011), varianzerhaltende Initialisierung (Glorot/Bengio 2010; He u. a. 2015), Batch Normalization (Ioffe/Szegedy 2015) und schließlich Residualverbindungen (Srivastava u. a. 2015; He u. a. 2016) den Durchbruch.

Der Transformer (Vaswani u. a. 2017) erbt diese Lösung strukturell: Sein Residual Stream ist ein durchgehender additiver Pfad von der Eingabe zur Ausgabe, entlang dessen der Gradient ungedämpft zurückläuft; Layer Normalization hält die Skalen dazwischen stabil. Ob die Normalisierung vor oder nach dem Residualblock steht (Pre-LN vs. Post-LN), entscheidet dabei über die Gradientenskalen bei Initialisierung (Xiong u. a. 2020).

Begriffsgeschichte

Vorgeschichte: das Scheitern tiefer Netze

Der Backpropagation-Algorithmus war seit Mitte der 1980er Jahre etabliert, und die theoretischen Approximationseigenschaften mehrschichtiger Netze waren bekannt.

Empirisch aber zeigte sich hartnäckig, dass Netze mit mehr als zwei oder drei verborgenen Schichten schlechter abschnitten als flache – und dass rekurrente Netze Abhängigkeiten über mehr als etwa zehn Zeitschritte nicht lernten.

In der konnektionistischen Literatur der Zeit wurde das meist als Optimierungsproblem im Sinne lokaler Minima gedeutet. Dass es sich um einen strukturellen Effekt der Kettenregel handelt, wurde erst Anfang der 1990er Jahre präzise formuliert.

Hochreiter 1991

Sepp Hochreiter legte im Juni 1991 am Institut für Informatik der Technischen Universität München seine Diplomarbeit Untersuchungen zu dynamischen neuronalen Netzen vor. Sie analysiert den rückwärts fließenden Fehler in rekurrenten Netzen als Produkt über Zeitschritte und identifiziert die Bedingung, unter der dieses Produkt exponentiell abklingt beziehungsweise exponentiell anwächst.

Die Arbeit behandelt also beide Fälle – verschwindende und explodierende Gradienten – als zwei Erscheinungsformen desselben Mechanismus. Sie bleibt nicht bei der Diagnose stehen, sondern schlägt Gegenmaßnahmen vor, darunter eine Verkürzung der zu überbrückenden Sequenzen und, konzeptionell weit vorausgreifend, Einheiten mit konstantem Fehlerfluss, aus denen sechs Jahre später das Constant Error Carousel der LSTM-Zelle wurde.

Zwei Umstände haben die Rezeption geprägt. Erstens ist die Arbeit auf Deutsch verfasst und wurde nie als Zeitschriftenaufsatz publiziert. Zweitens ist eine Diplomarbeit formal keine begutachtete Veröffentlichung, weshalb die englischsprachige Zitationspraxis lange stattdessen auf die Arbeit von 1994 verwies.

Für die deutschsprachige Wissenschaftsgeschichte ist der Vorgang instruktiv: Ein Ergebnis erstrangiger Bedeutung entstand in München, wurde in der Sprache des Ortes formuliert und trat dadurch verzögert in den internationalen Diskurs ein.

Bengio, Simard und Frasconi 1993/1994

Unabhängig davon arbeiteten Yoshua Bengio, Paolo Frasconi und Patrice Simard an derselben Frage.

Eine erste Fassung erschien 1993 auf der IEEE International Conference on Neural Networks; die ausgearbeitete Version Learning Long-Term Dependencies with Gradient Descent Is Difficult erschien 1994 in den IEEE Transactions on Neural Networks (Band 5, Heft 2).

Ihr Beitrag ist qualitativ anderer Art als Hochreiters Analyse: Sie betrachten das rekurrente Netz als parametrisiertes dynamisches System und zeigen, dass die Bedingung, die Gradienten zum Verschwinden bringt, zugleich die notwendige Bedingung dafür ist, dass das System diskrete Zustandsinformation robust – das heißt gegen Rauschen unempfindlich – über lange Zeit speichert. Damit wird aus einer Beobachtung über ein bestimmtes Trainingsverfahren ein prinzipieller Zielkonflikt: Wer robustes Gedächtnis will, bekommt verschwindende Gradienten dazu.

Die Prioritätsfrage lässt sich damit präziser stellen, als sie meist beantwortet wird.

Hochreiter war 1991 zeitlich früher und hatte den Mechanismus samt beider Ausprägungen sowie einen Lösungsweg; Bengio, Simard und Frasconi lieferten 1993/94 den formalen Beweis der Unvermeidbarkeit und die Einbettung in die Theorie dynamischer Systeme. Beide Beiträge sind eigenständig, und die spätere gemeinsame Publikation der vier Autoren im Sammelband von Kolen und Kremer (2001) ist die authentischste Auskunft darüber, wie die Beteiligten selbst das Verhältnis sahen: Dort wird Hochreiters Analyse als der Ausgangspunkt für Standard-RNNs geführt und die Arbeit von 1994 als deren Verallgemeinerung auf beliebige parametrisierte dynamische Systeme.

Schmidhuber hat die Vorgeschichte in seinen historiographischen Übersichten (2015, 2022) wiederholt zugunsten der Münchner Linie akzentuiert; die Darstellungen sind sachlich prüfbar, ihre Gewichtung ist umstritten.

Methodische Grundlagen

Die Kettenregel über die Tiefe

Man betrachte ein Feedforward-Netz mit $L$ Schichten, in dem die Aktivierung der Schicht $l$ durch $h^{(l)} = f\!\left(W^{(l)} h^{(l-1)} + b^{(l)}\right)$ gegeben ist, und eine Verlustfunktion $\mathcal{L}$. Die Ableitung des Verlusts nach einer frühen Aktivierung ergibt sich nach der Kettenregel als Produkt der Schicht-Jacobi-Matrizen:

$$\frac{\partial \mathcal{L}}{\partial h^{(0)}} \;=\; \frac{\partial \mathcal{L}}{\partial h^{(L)}} \prod_{l=L}^{1} D^{(l)} W^{(l)}, \qquad D^{(l)} = \operatorname{diag}\!\left(f'\!\left(W^{(l)} h^{(l-1)} + b^{(l)}\right)\right)$$

Entscheidend ist, dass hier multipliziert und nicht addiert wird. Jede zusätzliche Schicht fügt einen weiteren Faktor hinzu. Liegt der typische Betrag dieser Faktoren systematisch unter eins, so fällt das Produkt exponentiell mit der Tiefe; liegt er über eins, wächst es exponentiell.

Ein Zwischenbereich, in dem der Gradient über hundert Schichten hinweg von selbst in einer brauchbaren Größenordnung bliebe, existiert nicht – er müsste über die gesamte Tiefe hinweg extrem genau getroffen werden. Genau in diesem Sinn sind das Vanishing- und das Exploding-Gradient-Problem nicht zwei Probleme, sondern zwei Seiten desselben: Sie sind die beiden generischen Ausgänge eines langen Produkts.

In rekurrenten Netzen (RNN) verschärft sich die Lage, weil dort in jedem Zeitschritt dieselbe Gewichtsmatrix $W$ angewendet wird. Der Gradient über $k$ Zeitschritte enthält damit im Wesentlichen die $k$-te Potenz einer festen Matrix. Der Spektralradius von $W$ – der größte Betrag ihrer Eigenwerte – entscheidet dann allein über das Verhalten: Ist er kleiner als eins, verschwindet der Gradient; ist er größer als eins, explodiert er.

Pascanu, Mikolov und Bengio haben diese Bedingung 2013 sauber ausformuliert und daraus zugleich die praktische Standardgegenmaßnahme für den explodierenden Fall abgeleitet, das Gradient Clipping: Übersteigt die Norm des Gradienten einen Schwellwert, wird er auf diesen Wert reskaliert, seine Richtung aber beibehalten.

Warum Sättigungsnichtlinearitäten das Problem verschärfen

Die Diagonalmatrix $D^{(l)}$ enthält die Ableitungen der Aktivierungsfunktion. Für die logistische Sigmoidfunktion $\sigma(x) = 1/(1+e^{-x})$ gilt $\sigma'(x) = \sigma(x)\,(1-\sigma(x))$, und dieser Ausdruck erreicht sein Maximum bei $x = 0$ mit dem Wert $0{,}25$. Jede Sigmoid-Schicht dämpft den Gradienten also bestenfalls auf ein Viertel und in aller Regel deutlich stärker, weil die Einheiten im Betrieb selten exakt im Nullpunkt sitzen.

Über zehn Schichten hinweg bedeutet allein dieser Faktor eine Dämpfung um mindestens $4^{-10}$, also etwa eine Millionstel. Der Tangens hyperbolicus ist mit $\tanh'(x) = 1 – \tanh^2(x)$ und einem Maximum von $1$ günstiger – deshalb war er in den 1990er Jahren die bessere Wahl –, aber auch er erreicht diesen Wert nur exakt im Nullpunkt und sättigt für große Argumente gegen null.

Das Wort Sättigung benennt den eigentlichen Mechanismus: Beide Funktionen sind beschränkt, laufen also für betragsgroße Eingaben in ein Plateau, auf dem die Ableitung praktisch verschwindet.

Eine gesättigte Einheit ist für den Gradienten eine Wand. Das erklärt, warum die Kombination aus Sättigungsnichtlinearität und ungünstiger Initialisierung besonders destruktiv wirkt: Zu große Anfangsgewichte treiben viele Einheiten sofort in die Sättigung, und das Netz ist von Beginn an in den unteren Schichten blind.

Kombiniert man die Beiträge, ergibt sich für Sigmoid-Netze eine handliche Faustregel, die schon im Kapitel von 2001 steht: Solange die Gewichte betragsmäßig unter etwa $4$ liegen, ist das Produkt aus Ableitung und Gewicht kleiner als eins, und der Gradient klingt garantiert exponentiell ab.

Lösungsansätze

Constant Error Carousel und LSTM (1997)

Die erste tragfähige Antwort war architektonisch. Die LSTM-Zelle (Hochreiter/Schmidhuber 1997) enthält einen Zellzustand, der über die Zeit durch eine lineare Selbstverbindung mit Gewicht eins weitergereicht wird. Entlang dieses Pfades ist die lokale Ableitung exakt eins, das Produkt über die Zeitschritte also konstant – daher der Name Constant Error Carousel.

Der Informationsfluss in diesen Pfad hinein und aus ihm heraus wird durch multiplikative Gates gesteuert, sodass das Netz lernen kann, wann es schreibt, liest und (ab der Erweiterung um das Forget Gate im Jahr 2000) löscht. Der entscheidende Kunstgriff ist, dass die Nichtlinearität aus dem Gedächtnispfad herausgenommen und in die Steuerung verlagert wird.

Unüberwachtes Pretraining (2006)

Für Feedforward-Netze bestand die erste praktikable Umgehung darin, die tiefen Schichten gar nicht erst per Backpropagation von oben trainieren zu müssen.

Geoffrey Hinton, Simon Osindero und Yee Whye Teh zeigten 2006, dass sich ein tiefes Netz Schicht für Schicht unüberwacht als Stapel von Restricted Boltzmann-Maschinen vortrainieren lässt und die anschließende überwachte Feinabstimmung dann von einer bereits sinnvollen Parameterkonfiguration ausgeht. Diese Arbeit gilt als Auslöser der Deep-Learning-Renaissance.

Methodisch war sie ein Umweg: Sie löste das Gradientenproblem nicht, sondern verringerte die Abhängigkeit von ihm. Ab etwa 2012 wurde Pretraining in dieser Form durch die direkteren Lösungen weitgehend verdrängt.

ReLU und Initialisierung (2010–2015)

Der wirksamste einzelne Eingriff war der Verzicht auf die Sättigung. Die Rectified Linear Unit $\mathrm{ReLU}(x) = \max(0, x)$ hat für positive Eingaben die Ableitung exakt eins – sie dämpft den Gradienten auf dem aktiven Pfad überhaupt nicht.

Vinod Nair und Geoffrey Hinton führten sie 2010 im Kontext von Boltzmann-Maschinen ein, Xavier Glorot, Antoine Bordes und Yoshua Bengio zeigten 2011 systematisch ihre Überlegenheit in tiefen überwachten Netzen; AlexNet machte sie 2012 zum Standard. Der Preis sind dauerhaft inaktive Einheiten mit Gradient null – das Problem der dying ReLUs –, dem Varianten wie Leaky ReLU, PReLU und GELU begegnen.

Parallel dazu wurde die Initialisierung von einer Heuristik zu einer abgeleiteten Größe. Glorot und Bengio zeigten 2010, dass die Varianz der Gewichte so gewählt werden muss, dass Aktivierungen und Gradienten ihre Skala über die Schichten hinweg annähernd erhalten; daraus folgt die nach ihnen benannte Xavier-Initialisierung, die die Varianz an der Zahl der ein- und ausgehenden Verbindungen ausrichtet.

Kaiming He und Kollegen passten das Argument 2015 an ReLU an, deren Halbierung des Signals einen Faktor zwei in der Varianz verlangt. Damit war das Netz zumindest bei Trainingsbeginn im richtigen Regime.

Normalisierung und Residualverbindungen (2015–2016)

Batch Normalization (Ioffe/Szegedy 2015) hält die Skalen nicht nur zu Beginn, sondern während des gesamten Trainings, indem sie die Aktivierungen je Mini-Batch standardisiert und anschließend mit gelernten Parametern reskaliert.

Der von den Autoren gegebene Erklärungsansatz – die Reduktion des internal covariate shift – ist später bestritten worden, der praktische Effekt auf die Trainierbarkeit tiefer Netze ist unbestritten. Layer Normalization überträgt dasselbe Prinzip auf die Merkmalsdimension einer einzelnen Sequenzposition und ist deshalb für rekurrente Modelle und Transformer die passende Variante.

Die strukturell tiefste Lösung sind Abkürzungen. Highway Networks (Srivastava/Greff/Schmidhuber 2015) übertrugen das LSTM-Gating auf die Tiefendimension eines Feedforward-Netzes; Residual Networks (He u. a. 2016) vereinfachten das zu einer ungewichteten Addition: Ein Block berechnet $y = x + F(x)$ statt $y = F(x)$.

Die Jacobi-Matrix dieses Blocks ist $I + \partial F/\partial x$, enthält also einen Identitätsanteil. Damit besitzt der Gradient neben dem gedämpften Pfad durch $F$ stets einen ungedämpften Pfad durch die Identität; die Kettenregel liefert eine Summe über alle Pfadkombinationen, von denen mindestens eine überhaupt keine Dämpfung erfährt. Netze mit über hundert Schichten wurden dadurch erstmals routinemäßig trainierbar.

Der Transformer als struktureller Erbe

Der Transformer (Vaswani u. a. 2017) übernimmt beide Bausteine als Grundgerüst. Jeder Block besteht aus Self-Attention und Feedforward-Teil, und beide sind in Residualverbindungen eingefasst. Der daraus entstehende Residual Stream ist ein durchgehender additiver Kanal von der Eingabe bis zur Ausgabe, in den jede Schicht ihren Beitrag hineinaddiert, statt ihn zu ersetzen.

Für den Gradienten bedeutet das einen Weg ohne einen einzigen dämpfenden Faktor: Das Problem wird nicht gelöst, sondern umgangen, weil die problematische multiplikative Verkettung gar nicht erst entsteht. In der mechanistischen Interpretierbarkeitsforschung ist der Residual Stream aus demselben Grund zum zentralen Beschreibungsobjekt geworden.

Offen blieb die Platzierung der Normalisierung. Die Originalarbeit setzt sie hinter den Residualblock (Post-LN), was zur Folge hat, dass die erwarteten Gradienten in den ausgangsnahen Schichten bei Initialisierung sehr groß sind – deshalb benötigten frühe Transformer ein sorgfältig abgestimmtes Warm-up der Lernrate.

Xiong und Kollegen zeigten 2020 theoretisch und empirisch, dass die Verlegung der Layer Normalization in den Residualzweig hinein (Pre-LN) die Gradienten bei Initialisierung gutartig macht und das Warm-up überflüssig wird.

Praktisch hat sich Pre-LN durchgesetzt; es gilt allerdings als etwas leistungsschwächer bei gleicher Tiefe, weshalb Zwischenformen wie DeepNorm (Wang u. a. 2022) vorgeschlagen wurden, die Stabilität und Endqualität kombinieren sollen und Transformer mit tausend Schichten trainierbar machten.

Kontroversen und Kritik

Die Prioritätsfrage ist die bekannteste Kontroverse. Sie wird in Übersichtsdarstellungen häufig verkürzt, indem entweder Hochreiter 1991 als alleiniger Entdecker oder Bengio u. a. 1994 als kanonische Referenz genannt wird. Beides ist unpräzise: Es handelt sich um zwei unabhängige Beiträge mit unterschiedlichem Charakter – eine frühere und umfassendere Mechanismusanalyse mit Lösungsvorschlag auf der einen, ein späterer Unmöglichkeitsbeweis auf der anderen Seite.

Die scharfe Zuspitzung des Streits geht wesentlich auf Schmidhubers wiederholte Interventionen zur Zuschreibungspraxis der Deep-Learning-Community zurück, die in der Sache oft belegt, im Ton aber wirkungsvoll polarisierend sind.

Umstritten ist auch, wie viel Erklärungskraft dem Vanishing Gradient rückblickend zukommt.

Die These, tiefe Netze seien vor 2006 wegen verschwindender Gradienten gescheitert, wird relativiert: Rechenleistung, Datenmengen und schwache Optimierungsverfahren hätten mindestens ebenso viel beigetragen, und die um 2015 gefundenen Lösungen wirken vermutlich auch über andere Kanäle – etwa eine günstigere Krümmungsstruktur der Verlustlandschaft – als nur über die Gradientenskala.

Ähnlich bei Batch Normalization: Der ursprünglich angeführte internal covariate shift gilt heute als unzureichende Begründung, ohne dass ein akzeptierter Ersatz vorläge. Man arbeitet mit Verfahren, deren Wirksamkeit besser belegt ist als ihr Wirkmechanismus.

Stand 2025/2026

Für die dominanten Architekturen der Gegenwart gilt das Problem als gelöst. Große Sprachmodelle mit Dutzenden bis über hundert Transformer-Blöcken werden ohne besondere Vorkehrungen trainiert, weil Residual Stream, Layer Normalization, ReLU-verwandte Aktivierungen und varianzerhaltende Initialisierung zum unhinterfragten Standardrepertoire gehören.

Was von der Problematik geblieben ist, sind Ingenieursfragen der Trainingsstabilität: Loss-Spikes bei sehr großen Modellen, das Zusammenspiel von Lernratenplan, Normalisierungsvariante und Zahlenformat sowie das notwendige Gradient Clipping – sämtlich Erscheinungsformen desselben Skalenproblems, nur auf der explodierenden Seite.

In abgewandelter Form besteht das Problem an drei Stellen fort. Erstens in Architekturen mit echter rekurrenter Zustandsfortschreibung, also State-Space-Modellen und modernen RNN-Varianten, deren Stabilitätsanalyse unmittelbar auf die Bedingungen von 1991 und 1994 zurückgeht.

Zweitens im Langkontext-Regime: Die Attention selbst hat keinen multiplikativen Tiefenpfad, aber die Frage, ob ein Trainingssignal aus einer Position hunderttausende Token entfernte Positionen noch sinnvoll beeinflusst, ist die strukturell gleiche.

Drittens und am deutlichsten im Reinforcement Learning über lange Horizonte, wo das Problem der zeitlichen Kreditzuweisung – welche der tausend Handlungen war für die späte Belohnung verantwortlich – dieselbe mathematische Signatur trägt und durch Diskontierung sogar bewusst herbeigeführt wird. In den Reasoning-Modellen, die über lange Gedankenketten trainiert werden, kehrt es damit an prominenter Stelle wieder.

Verwandte Begriffe

• Backpropagation – der Algorithmus, dessen Kettenregelstruktur das Problem überhaupt erzeugt
• Recurrent Neural Networks – Architekturklasse, in der das Problem zuerst und am schärfsten auftrat
• Long Short-Term Memory – erste architektonische Lösung über das Constant Error Carousel
• Sepp Hochreiter – Autor der ersten systematischen Analyse von 1991
• Yoshua Bengio – Ko-Autor des Unmöglichkeitsbeweises von 1994
• Jürgen Schmidhuber – Betreuer der Diplomarbeit von 1991 und Ko-Autor von LSTM
• Batch Normalization – Normalisierungsverfahren, das die Aktivierungsskalen während des Trainings stabil hält
• Layer Normalization – die im Transformer verwendete Normalisierungsvariante, zentral für die Pre-LN-Frage
• Transformer – umgeht das Problem strukturell über Residual Stream und Normalisierung
• Residualverbindungen (ResNet) – die additive Abkürzung, die den ungedämpften Gradientenpfad bereitstellt

Quellenangaben

1. Bengio, Yoshua u. a., 1993. The Problem of Learning Long-Term Dependencies in Recurrent Networks. IEEE International Conference on Neural Networks (ICNN), 1183–1188. DOI: 10.1109/ICNN.1993.298725
2. Bengio, Yoshua / Simard, Patrice / Frasconi, Paolo, 1994. Learning Long-Term Dependencies with Gradient Descent Is Difficult. In: IEEE Transactions on Neural Networks 5 (2), S. 157–166. DOI: 10.1109/72.279181.
3. Glorot, Xavier / Bengio, Yoshua, 2010. Understanding the Difficulty of Training Deep Feedforward Neural Networks. Proceedings of Machine Learning Research (AISTATS), 9, 249–256.
4. Glorot, Xavier u. a., 2011. Deep Sparse Rectifier Neural Networks. Proceedings of Machine Learning Research (AISTATS), 15, 315–323.
5. He, Kaiming u. a., 2015. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. arXiv: 1502.01852
6. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
7. Hinton, Geoffrey E. / Osindero, Simon / Teh, Yee-Whye, 2006. A Fast Learning Algorithm for Deep Belief Nets. In: Neural Computation 18 (7), S. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
8. Hochreiter, Sepp, 1991. Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Institut für Informatik, Technische Universität München.
9. Hochreiter, Sepp, 1998. The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6 (2), 107–116. DOI: 10.1142/S0218488598000094
10. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
11. Hochreiter, Sepp u. a., 2001. Gradient Flow in Recurrent Nets: The Difficulty of Learning Long-Term Dependencies. In: Kolen, John F. / Kremer, Stefan C. (Hrsg.): A Field Guide to Dynamical Recurrent Networks. IEEE Press.
12. Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
13. Nair, Vinod / Hinton, Geoffrey E., 2010. Rectified Linear Units Improve Restricted Boltzmann Machines. In: Proceedings of the 27th International Conference on Machine Learning (ICML 2010), S. 807–814.
14. Pascanu, Razvan u. a., 2013. On the Difficulty of Training Recurrent Neural Networks. Proceedings of Machine Learning Research (ICML), 28, 1310–1318. arXiv: 1211.5063
15. Schmidhuber, Jürgen, 2015. Deep Learning in Neural Networks: An Overview. In: Neural Networks 61, S. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
16. Schmidhuber, Jürgen, 2022. Annotated History of Modern AI and Deep Learning. arXiv: 2212.11279
17. Srivastava, Rupesh K. / Greff, Klaus / Schmidhuber, Jürgen, 2015. Highway Networks. NIPS 2015. arXiv: 1505.00387.
18. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
19. Wang, Hongyu u. a., 2022. DeepNet: Scaling Transformers to 1,000 Layers. arXiv: 2203.00555
20. Xiong, Ruibin u. a., 2020. On Layer Normalization in the Transformer Architecture. Proceedings of Machine Learning Research (ICML), 119, 10524–10533. arXiv: 2002.04745

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.