Recurrent Neural Networks

Recurrent Neural Networks (deutsch rekurrente neuronale Netze, abgekürzt RNN) sind neuronale Netze, deren Verbindungen Zyklen bilden: Die Ausgabe eines Verarbeitungsschritts fließt als Eingabe in den nächsten zurück.

Dadurch verfügen sie über einen internen Zustand, der Information über bereits Gesehenes trägt – ein Gedächtnis, das mit jedem Schritt fortgeschrieben wird. Das macht sie zur natürlichen Architektur für alles, was in einer Reihenfolge auftritt: Text, Sprache, Zeitreihen, Handschrift.

Von etwa 1997 bis 2017 waren rekurrente Netze der Standard der Sequenzverarbeitung. Der Transformer hat sie in fast allen Anwendungen verdrängt – nicht, weil er das Gedächtnisproblem besser löst, sondern weil er es umgeht.

Zusammenfassung

Ein rekurrentes Netz verarbeitet eine Folge Element für Element und führt dabei einen verborgenen Zustand mit. Bei jedem Schritt verrechnet es die aktuelle Eingabe mit dem Zustand des Vorschritts zu einem neuen Zustand. Alle Schritte benutzen dieselben Gewichte – das Netz ist in der Zeit entfaltet, nicht im Raum vervielfacht.

Genau daraus ergeben sich seine beiden bestimmenden Eigenschaften. Die Sequenzlänge ist nicht von der Architektur begrenzt, weil sie nur die Zahl der Schritte bestimmt. Und die Verarbeitung ist zwingend sequenziell, weil Schritt t den Zustand aus t−1 braucht.

Das theoretische Problem heißt Vanishing Gradients und wurde 1991 von Sepp Hochreiter beschrieben: Beim Training über viele Zeitschritte hinweg werden die Fehlersignale mit jedem Rückschritt kleiner, bis frühe Eingaben praktisch keinen Einfluss mehr haben. Ein Netz, das lange Abhängigkeiten lernen soll, kann sie nicht lernen.

Die Antwort darauf war LSTM (1997) mit einer Zellstruktur, die Information über Torschaltungen bewusst behält oder verwirft, später ergänzt um die einfachere GRU-Variante (2014). Das praktische Problem – die Unmöglichkeit, das Training zu parallelisieren – blieb ungelöst und wurde 2017 zum Grund für den Wechsel zur Attention-basierten Architektur.

Begriffsgeschichte

Frühe Formen (1982–1990)

John Hopfields Netze von 1982 waren vollständig rückgekoppelt, dienten aber der Musterspeicherung, nicht der Sequenzverarbeitung.

Die für die spätere Entwicklung entscheidenden Formen entstanden Ende der 1980er Jahre. Michael Jordan schlug 1986 eine Architektur vor, die die Netzausgabe in den nächsten Schritt zurückführt. Jeffrey Elman veränderte das 1990 in Finding Structure in Time an einer entscheidenden Stelle: Zurückgeführt wird nicht die Ausgabe, sondern die verborgene Schicht.

Elmans Arbeit ist der Ursprung der modernen Form und zugleich eine der wirkungsvollsten kognitionswissenschaftlichen Studien des Konnektionismus. Er zeigte, dass ein Netz, das nur das jeweils nächste Wort vorhersagen soll, dabei von selbst Wortarten und syntaktische Strukturen ausbildet – ohne dass ihm jemand Grammatik beigebracht hätte. Der Gedanke, dass Vorhersage allein Struktur hervorbringt, trägt bis zu den heutigen Sprachmodellen.

Das Gradientenproblem (1991–1994)

Sepp Hochreiter beschrieb das Problem 1991 in seiner Diplomarbeit an der TU München, betreut von Jürgen Schmidhuber. Yoshua Bengio, Patrice Simard und Paolo Frasconi analysierten es 1994 unabhängig und zeigten, dass es nicht an der Umsetzung liegt, sondern eine strukturelle Eigenschaft ist: Wer den Zustand über viele Schritte stabil halten will, bekommt dafür verschwindende Gradienten in Kauf.

Das Ergebnis war ernüchternd. Rekurrente Netze konnten in der Theorie beliebig lange Abhängigkeiten darstellen und sie in der Praxis nicht lernen.

LSTM und die Torschaltungen (1997)

Hochreiter und Schmidhuber veröffentlichten 1997 Long Short-Term Memory. Der Kern ist eine Zelle mit einem Zustand, der ohne Umformung von Schritt zu Schritt weitergereicht wird, und drei Toren, die steuern, was hineinkommt, was bleibt und was ausgegeben wird.

Weil der Zustand entlang dieses Pfades unverändert durchläuft, fließen auch die Gradienten ungedämpft zurück. Ein Vergessens-Tor kam 1999 durch Felix Gers hinzu und wurde rasch Standard.

Kyunghyun Cho und Kollegen legten 2014 mit der Gated Recurrent Unit eine Variante mit zwei statt drei Toren vor, die bei vergleichbarer Leistung weniger Parameter braucht.

Die kurze Blütezeit (2013–2017)

Zwischen 2013 und 2017 waren LSTM-Netze die Standardarchitektur der Sprachverarbeitung. Ilya Sutskever, Oriol Vinyals und Quoc Le formulierten 2014 mit Sequence to Sequence Learning das Encoder-Decoder-Schema: Ein Netz liest die Eingabe in einen Vektor, ein zweites erzeugt daraus die Ausgabe.

Dessen Engstelle war offensichtlich – der gesamte Eingabesatz musste durch einen Vektor fester Größe. Dzmitry Bahdanau, Cho und Bengio behoben das 2014 mit dem ersten Attention-Mechanismus, der dem Decoder erlaubt, bei jedem Ausgabeschritt auf alle Eingabezustände zuzugreifen.

Damit war Attention zunächst eine Ergänzung des rekurrenten Netzes. Die Arbeit Attention Is All You Need von 2017 zog daraus den Schluss, dass die Ergänzung genügt und das Netz entbehrlich ist.

Methodische Grundlagen

Entfaltung in der Zeit. Zum Training wird das Netz über die Sequenzlänge ausgerollt und wie ein tiefes Vorwärtsnetz behandelt, in dem alle Schichten dieselben Gewichte teilen. Das Verfahren heißt Backpropagation Through Time.

Abgeschnittene Entfaltung. Bei langen Sequenzen wird nur über ein Fenster von einigen Dutzend bis wenigen hundert Schritten zurückgerechnet, weil Speicherbedarf und Rechenzeit sonst linear mit der Länge wachsen.

Explodierende Gradienten. Das Gegenstück zum Verschwinden: Gradienten können ebenso gut anwachsen und das Training destabilisieren. Dagegen hilft ein Kappen der Gradientennorm – anders als beim Verschwinden ein wirksames und einfaches Mittel.

Bidirektionalität. Wo die vollständige Eingabe vorliegt, lassen sich zwei Netze in entgegengesetzter Richtung führen und ihre Zustände verbinden. Das war bei Aufgaben wie der Erkennung benannter Entitäten lange die beste verfügbare Lösung.

Anwendungsfelder

Bis 2017 deckten rekurrente Netze praktisch die gesamte Sequenzverarbeitung ab: maschinelle Übersetzung, Spracherkennung, Handschrifterkennung, Sprachsynthese, Zeitreihenvorhersage.

Heute sind sie dort geblieben, wo ihre Eigenheiten Vorteile sind. In eingebetteten Systemen und auf Sensordaten zählt der geringe Speicherbedarf – ein LSTM hält einen Zustand fester Größe, während der Transformer den gesamten bisherigen Kontext mitführt. Bei fortlaufenden Datenströmen ohne definiertes Ende ist die schrittweise Verarbeitung die passende Form.

Bemerkenswert ist die Rückkehr des Grundgedankens unter anderem Namen: Zustandsraummodelle wie Mamba (2023) verarbeiten Sequenzen wieder rekurrent, mit linearem statt quadratischem Aufwand in der Sequenzlänge, und umgehen das Trainingsproblem durch eine parallelisierbare Formulierung. Ob daraus eine echte Alternative wird, ist offen.

Kontroversen und Kritik

Der Parallelisierungsnachteil ist entscheidend, nicht die Modellgüte. LSTM-Netze waren nicht deutlich schlechter als frühe Transformer. Sie ließen sich nur nicht in derselben Weise auf Grafikprozessoren skalieren – und in einem Feld, dessen Fortschritt an Rechenleistung hängt, ist das der wirksamere Nachteil.

Zuschreibungsstreit. Schmidhubers Gruppe hat wiederholt geltend gemacht, dass zentrale Ideen der heutigen Architekturen – darunter eine 1992 beschriebene Form schneller Gewichte, die er als frühe Vorwegnahme linearer Attention liest – in der Rezeption zu wenig gewürdigt werden. Die Auseinandersetzung wird bis heute geführt.

Grenzen des Zustands. Ein Zustand fester Größe muss die gesamte Vorgeschichte komprimieren. Was einmal verworfen ist, lässt sich nicht zurückholen – während Attention prinzipiell auf jede frühere Position zugreifen kann. Das ist der eigentliche architektonische Unterschied, und er ist keine Frage der Größe.

Verwandte Begriffe

• LSTM – die Antwort auf das Gradientenproblem
• Transformer – die verdrängende Architektur
• Attention-Mechanismus – zuerst Ergänzung, dann Ersatz
• Self-Attention – der Schritt, der ohne Rekurrenz auskommt
• Konnektionismus – theoretischer Hintergrund
• Backpropagation – Grundlage des Trainings
• Jürgen Schmidhuber – Mit-Urheber des LSTM
• Neuronale Netze – übergeordnete Klasse

Quellenangaben

1. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2014. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv: 1409.0473.
2. Bengio, Yoshua / Simard, Patrice / Frasconi, Paolo, 1994. Learning Long-Term Dependencies with Gradient Descent Is Difficult. In: IEEE Transactions on Neural Networks 5 (2), S. 157–166. DOI: 10.1109/72.279181.
3. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
4. Elman, Jeffrey L., 1990. Finding Structure in Time. In: Cognitive Science 14 (2), S. 179–211.
5. Gers, Felix A. / Schmidhuber, Jürgen / Cummins, Fred, 2000. Learning to Forget: Continual Prediction with LSTM. In: Neural Computation 12 (10), S. 2451–2471. DOI: 10.1162/089976600300015015.
6. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
7. Hochreiter, Sepp, 1991. Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Institut für Informatik, Technische Universität München.
8. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
9. Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.
10. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.