Long Short-Term Memory

Long Short-Term Memory (Abkürzung LSTM) ist eine 1997 von Sepp Hochreiter und Jürgen Schmidhuber publizierte Variante rekurrenter neuronaler Netze (Recurrent Neural Networks, RNN). Ihre Innovation besteht in einem System aus Gating-Mechanismen: Input-Gate, Output-Gate und (ab 2000) Forget-Gate steuern den Informationsfluss durch eine Zelle mit internem Zustand und ermöglichen, dass Information über lange Zeiträume erhalten bleibt.

LSTM löst das in den 1980er Jahren beobachtete Vanishing-Gradient-Problem klassischer RNNs – die Beobachtung, dass Gradienten bei der Rückpropagation durch viele Zeitschritte exponentiell klein werden und das Lernen langer Abhängigkeiten unmöglich machen.

Die Originalarbeit (Hochreiter/Schmidhuber Neural Computation 9 (8), 1997, DOI 10.1162/neco.1997.9.8.1735) ist eine der meistzitierten Arbeiten der KI-Geschichte und etablierte LSTM als dominante Sequenzverarbeitungs-Architektur der 2010er Jahre.

Zentrale produktive Anwendungen umfassen Google Translate (ab 2016), Apple Siri, Amazon Alexa, Microsoft Cortana und die meisten kommerziellen Spracherkennungs-Systeme dieser Phase.

Ab 2017–2018 wurde LSTM in der NLP-Mainstream-Forschung durch Transformer-basierte Architekturen (Vaswani u. a. NeurIPS 2017) abgelöst, bleibt aber Stand 2025/2026 in Effizienz-orientierten Anwendungen, in der biomedizinischen Sequenzverarbeitung und durch die xLSTM-Erweiterung (Beck/Hochreiter u. a. NeurIPS 2024) relevant.

Zusammenfassung

LSTM entstand aus drei verbundenen Forschungsfragen der frühen 1990er Jahre: erstens dem Vanishing-Gradient-Problem (Hochreiters Diplomarbeit TU München 1991, Untersuchungen zu dynamischen neuronalen Netzen), zweitens der Frage, wie neuronale Netze lange Sequenz-Abhängigkeiten lernen können. Drittens floss Schmidhubers programmatische Tradition meta-lernender und selbst-referentieller Architekturen ein.

Die Lösung – constant error carousel in einer Zelle mit gated Informationsfluss – wurde 1997 in Neural Computation publiziert. Die Forget-Gate-Erweiterung (Gers/Schmidhuber/Cummins Neural Computation 2000, DOI 10.1162/089976600300015015) etablierte die heute kanonische LSTM-Architektur.

Wirkungsmächtige Anwendungen entstanden ab etwa 2014–2015 mit der Skalierung auf große Trainings-Datenmengen – Spracherkennung (Baidu Deep Speech, Hannun u. a. 2014), maschinelle Übersetzung (Sutskever/Vinyals/Le NeurIPS 2014 mit Sequence to Sequence Learning), Handschriftenerkennung, Robotik-Steuerung. Bloomberg Businessweek bezeichnete LSTM 2017 als „arguably the most commercial AI achievement”.

Mit der Veröffentlichung von Vaswani u. a. Attention Is All You Need (NeurIPS 2017) begann die Ablösung durch Transformer-Architekturen.

Stand 2025/2026 erlebt LSTM durch xLSTM (Beck u. a. NeurIPS 2024) und die Vision-LSTM-Linie (Alkin u. a. arXiv 2406.04303) eine Renaissance, die in Kombination mit State-Space-Modellen (Mamba) und linearen Transformer-Varianten als Effizienz-orientierte Alternative zur quadratischen Attention diskutiert wird.

Begriffsgeschichte

Vorgeschichte: Recurrent Neural Networks und Vanishing-Gradient-Problem (1982–1991)

Die Vorgeschichte LSTMs liegt in der frühen RNN-Tradition. Hopfield Networks (Hopfield 1982) etablierten die Idee rekurrenter Netze als Modelle assoziativer Erinnerung. Elman Networks (Elman Cognitive Science 1990) und Jordan Networks (Jordan 1986) entwickelten die Standard-Architektur einfacher rekurrenter Netze mit Backpropagation Through Time (BPTT, Werbos 1988).

Eine Schlüssel-Schwierigkeit wurde im Verlauf der späten 1980er Jahre und frühen 1990er Jahre dokumentiert: bei der Rückpropagation durch viele Zeitschritte werden Gradienten exponentiell klein (oder explodieren), was das Lernen langer Abhängigkeiten verhindert. Diese Beobachtung – später als Vanishing-Gradient-Problem bezeichnet – wurde von verschiedenen Autoren teilweise unabhängig dokumentiert.

Sepp Hochreiter analysierte das Problem systematisch in seiner Diplomarbeit Untersuchungen zu dynamischen neuronalen Netzen (TU München 1991, betreut von Jürgen Schmidhuber) – eine Arbeit, die Schmidhuber rückblickend als „eines der wichtigsten Dokumente der Machine-Learning-Geschichte” bezeichnete.

LSTM-Originalarbeit (1997)

Die Lösung wurde 1997 in Long Short-Term Memory (Hochreiter/Schmidhuber Neural Computation 9 (8), S. 1735–1780, DOI 10.1162/neco.1997.9.8.1735) publiziert.

Die Architektur kombinierte drei Komponenten: erstens die Memory Cell – eine Zelle mit linearem Selbst-Verbindungs-Pfad (das constant error carousel), die Gradienten ohne Vanishing durch Zeit-Schritte transportiert; zweitens das Input Gate, das steuert, welche neuen Informationen in die Zelle eingehen. Drittens kam das Output Gate hinzu, das steuert, welche Informationen aus der Zelle nach außen weitergegeben werden.

Die Originalarbeit wurde von Neural Computation zunächst abgelehnt, dann nach Revision angenommen. Sie erhielt in den ersten Jahren relativ wenig Aufmerksamkeit – das Feld konzentrierte sich auf andere Architekturen wie SVMs und einfache Feedforward-Netze.

Forget Gate und kanonische Architektur (2000)

Die heute übliche LSTM-Architektur entstand durch die Forget-Gate-Erweiterung von Felix Gers, Jürgen Schmidhuber und Fred Cummins (Learning to Forget: Continual Prediction with LSTM, Neural Computation 12 (10), 2000, DOI 10.1162/089976600300015015).

Das Forget Gate erlaubt der Zelle , gespeicherte Information aktiv zu vergessen – ohne dieses Gate sammelten LSTM-Zellen in langen Sequenzen immer mehr Information an, was zur Sättigung führte.

Skalierung und produktive Anwendung (2014–2016)

Wirkungsmächtig wurde LSTM erst mit der Skalierung auf große Trainings-Datenmengen ab 2014. Schlüsselarbeiten umfassen:

Sequence to Sequence Learning with Neural Networks (Sutskever/Vinyals/Le NeurIPS 2014, arXiv 1409.3215) – eines der ersten LSTM-basierten Modelle für maschinelle Übersetzung mit Encoder-Decoder-Architektur.

Deep Speech (Hannun u. a. 2014, arXiv 1412.5567) und Deep Speech 2 (Amodei u. a. ICML 2016, arXiv 1512.02595) bei Baidu unter Andrew Ng – LSTM-basierte End-to-End-Spracherkennung mit substantieller Wirkmacht.

Google Neural Machine Translation (Wu u. a. 2016, arXiv 1609.08144) – die Ablösung der statistischen maschinellen Übersetzung durch ein LSTM-basiertes Neural-Translation-System ab September 2016.

In den Folgejahren wurde LSTM methodisch in nahezu allen kommerziellen NLP- und Sprach-Systemen eingesetzt – Google Translate, Apple Siri, Amazon Alexa, Microsoft Cortana, Facebook-Übersetzung. Bloomberg Businessweek bezeichnete LSTM 2017 als „arguably the most commercial AI achievement”.

Transformer-Ablösung (2017–2018)

Die Ablösung von LSTM in der NLP-Mainstream-Forschung erfolgte mit Vaswani u. a. Attention Is All You Need (NeurIPS 2017, arXiv 1706.03762).

Die Transformer-Architektur ersetzte die rekurrente Verarbeitung durch parallele Self-Attention, was substantiell bessere Trainings-Parallelisierung ermöglichte. BERT (Devlin u. a. NAACL 2019) und GPT (Radford u. a. OpenAI 2018) etablierten die Transformer-Dominanz in der NLP-Forschung.

Im Verlauf 2018–2020 wurde LSTM in den meisten produktiven NLP-Systemen durch Transformer ersetzt. Google Translate wechselte 2019 zu Transformer-basierten Systemen.

xLSTM-Renaissance (2024)

Wirkungsmächtig war 2024 die Veröffentlichung von xLSTM: Extended Long Short-Term Memory (Beck, Pöppel, Spanring, Auer, Prudnikova, Kopp, Klambauer, Brandstetter, Hochreiter, arXiv 2405.04517, NeurIPS 2024) – entwickelt am Linz Institute of Technology (LIT) AI Lab unter Sepp Hochreiter.

xLSTM führt zwei zentrale Erweiterungen ein: Exponential Gating mit Normalisierung und Stabilisierung sowie modifizierte Memory-Strukturen – die sLSTM-Variante (mit skalarem Memory und Memory-Mixing) und die mLSTM-Variante (mit Matrix-Memory und covariance-Update-Regel, vollständig parallelisierbar).

Empirisch zeigte xLSTM in Sprachmodellierungs-Benchmarks methodisch konkurrenzfähige Leistung zu modernen Transformern und State-Space-Modellen (Mamba) bei vergleichbarer Skalierung. Die Vision-LSTM-Linie (Alkin/Beck/Pöppel/Hochreiter/Brandstetter arXiv 2406.04303, Juni 2024) übertrug xLSTM auf Computer-Vision-Anwendungen.

Im März 2025 folgte mit xLSTM 7B (Beck, Pöppel, Lippe, Kurle, Blies, Klambauer, Böck, Hochreiter, arXiv 2503.13427, ICML 2025) das erste vollständig offene xLSTM-Sprachmodell im Produktionsmaßstab – 7 Milliarden Parameter, veröffentlicht vom NX-AI-Team um Hochreiter. Es erreicht bei vergleichbarer Aufgabenleistung eine deutlich schnellere und speichereffizientere Inferenz als gleich große Llama- und Mamba-Modelle.

Verbindung zu State-Space-Modellen (2023–2026)

Parallel zur xLSTM-Renaissance entstand eine breitere Bewegung Beyond Transformers – Architekturen, die quadratische Self-Attention durch lineare Alternativen ersetzen.

Mamba (Gu/Dao 2023, arXiv 2312.00752) als State-Space-Model-Linie, RWKV (Peng u. a. 2023) als RNN-Transformer-Hybrid und Retention Networks (Sun u. a. 2023) sind verwandte Programmatiken. Stand 2025/2026 ist unklar, welche dieser Architekturen langfristig die quadratische Attention ablösen wird; LSTM/xLSTM ist eines der konkurrenzfähigen Kandidaten.

Methodische Grundlagen

Memory Cell und constant error carousel

Die Schlüsselidee. Eine LSTM-Zelle enthält einen internen Zustand (cell state), der über die Zeit-Schritte durch einen linearen Selbst-Verbindungs-Pfad transportiert wird. Dieser Pfad – das constant error carousel – sichert , dass Gradienten bei Backpropagation Through Time nicht exponentiell schrumpfen.

Gating-Mechanismen

Drei multiplikative Gates (in der kanonischen Form ab 2000):

Input Gate: kontrolliert, welche neuen Informationen in den Zell-Zustand eingehen.

Forget Gate: kontrolliert, welche Information aus dem Zell-Zustand vergessen wird.

Output Gate: kontrolliert, welche Information aus dem Zell-Zustand nach außen propagiert wird.

Alle Gates verwenden Sigmoid-Aktivierungen (Werte zwischen 0 und 1) und werden aus Eingabe und vorherigem Hidden State berechnet.

Backpropagation Through Time

LSTM wird durch Backpropagation Through Time (BPTT) trainiert – die zeitliche Entfaltung der Rekurrenz erlaubt die Anwendung der Standard-Backpropagation. Das constant error carousel in der Memory Cell verhindert das Vanishing-Gradient-Problem.

Bidirektionale LSTMs (BiLSTM)

Bidirectional LSTM (Graves/Schmidhuber 2005) verarbeitet Sequenzen in beiden Richtungen (vorwärts und rückwärts) und konkateniert die Hidden States. BiLSTM ist besonders erfolgreich in NLP-Aufgaben, in denen Kontext von beiden Seiten relevant ist.

Sequence-to-Sequence und Encoder-Decoder

Sequence to Sequence Learning (Sutskever/Vinyals/Le NeurIPS 2014) etablierte die Encoder-Decoder-Architektur: Ein Encoder-LSTM komprimiert die Eingabesequenz in einen Latent-Vektor, ein Decoder-LSTM generiert die Ausgabesequenz. Attention-Mechanismen (Bahdanau/Cho/Bengio ICLR 2015) erweiterten diese Architektur und sind direkte Vorläufer der Transformer-Self-Attention.

Varianten

Zahlreiche LSTM-Varianten wurden im Verlauf der Jahre publiziert:

Peephole Connections (Gers/Schmidhuber 2000) – Gates erhalten direkten Zugang zum Zell-Zustand.

GRU (Gated Recurrent Unit, Cho u. a. EMNLP 2014) – eine vereinfachte LSTM-Variante mit zwei statt drei Gates.

ConvLSTM (Shi u. a. NeurIPS 2015) – LSTM mit räumlichen Faltungs-Operationen für Video- und Wetterdaten.

xLSTM (Beck u. a. NeurIPS 2024) – Exponential Gating mit sLSTM- und mLSTM-Varianten.

LSTM: A Search Space Odyssey

Eine wirkungsmächtige systematische Analyse der LSTM-Varianten ist Greff/Srivastava/Koutník/Steunebrink/Schmidhuber LSTM: A Search Space Odyssey (IEEE Transactions on Neural Networks and Learning Systems 28, 2017, DOI 10.1109/TNNLS.2016.2582924). Die Arbeit dokumentierte systematisch, dass die kanonische LSTM-Architektur mit Forget-Gate durch keine der untersuchten Varianten substantiell übertroffen wurde.

Anwendungsfelder

Spracherkennung

Wirkungsmächtigste Anwendung der 2010er Jahre. Baidu Deep Speech, Google Speech, Apple Siri-Spracherkennung, Microsoft Speech, Amazon Alexa-Spracherkennung verwendeten LSTM-Architekturen.

Maschinelle Übersetzung

Google Translate ab September 2016 (GNMT), nachfolgend Microsoft, Facebook, Baidu. Stand 2025/2026 sind die meisten produktiven Übersetzungs-Systeme zu Transformer-Architekturen migriert.

Texterzeugung und NLP

Vor der Transformer-Wende dominante Architektur für Sprachmodellierung, Textgenerierung, Sentiment-Analyse, Named-Entity-Recognition.

Handschrifterkennung

Graves u. a. Connectionist Temporal Classification etablierten LSTM für Online-Handschrifterkennung – methodisch eine kommerziell relevante Anwendung in Tablet- und Stift-Eingaben.

Robotik und Reinforcement Learning

LSTM ist eine Standard-Architektur in Robotik-Steuerungs-Systemen und in Reinforcement-Learning-Agenten mit partieller Beobachtbarkeit. Verwendung in OpenAI Five (Dota 2), DeepMind AlphaStar (StarCraft II) und zahlreichen Robotik-Forschungs-Plattformen.

Biomedizin und Bioinformatik

Wichtige Anwendung. Protein-Struktur-Vorhersage, EHR-basierte Diagnose-Vorhersage, Genomik. Hochreiter und sein JKU-Linz-Team haben substantielle Beiträge geleistet.

Zeitreihen-Analyse

Finanz-Zeitreihen, Sensor-Daten, Klimadaten, IoT-Anwendungen. LSTM bleibt Stand 2025/2026 in vielen Zeitreihen-Anwendungen dominant – insbesondere wenn Trainings-Datenmengen moderat sind.

Spiele und autonome Systeme

Standardarchitektur für reaktive autonome Agenten in komplexen Umgebungen mit langen Abhängigkeiten.

Kontroversen und Kritik

Prioritäts-Auseinandersetzungen: Schmidhubers Prioritäts-Ansprüche zu Vorläufer-Arbeiten und zur LSTM-Genealogie sind in der Forschungs-Community kontrovers diskutiert. Insbesondere die Frage, ob die Hochreiter-Diplomarbeit 1991 oder Bengios Learning Long-Term Dependencies (Bengio/Simard/Frasconi 1994) das Vanishing-Gradient-Problem zuerst dokumentierte, ist Gegenstand laufender Auseinandersetzung.

Ablösung durch Transformer: Die Ablösung von LSTM durch Transformer ab 2017–2018 wird unterschiedlich beurteilt. Aus Performance-Perspektive sind Transformer in Skalierungs-Settings überlegen; aus Effizienz-Perspektive (Inferenz-Kosten, lineare Zeit-Komplexität, Streaming-Anwendungen) haben LSTM-Architekturen weiterhin Vorteile.

xLSTM-Bewertung: Die Bewertung der xLSTM-Renaissance ist Gegenstand laufender Diskussion. Befürworter:innen argumentieren, dass xLSTM Transformer-konkurrenzfähig sei und substantielle Effizienz-Vorteile biete.

Kritiker:innen argumentieren, dass die Wirkmacht von Transformer durch das umfangreiche Ökosystem (Hardware-Optimierungen, Software-Stack, Pretraining-Investitionen) so substantiell sei, dass alternative Architekturen nur in Nischen-Anwendungen relevant bleiben.

Wirkungsmächtigkeits-Bewertung: Die Frage, ob LSTM ein Schritt-Stein zur Transformer-Wende war oder eine eigenständige Tradition mit unabhängiger Wirkmacht, ist Gegenstand laufender Wissenschaftsgeschichts-Auseinandersetzung. Wirtschaftlich wirkungsmächtigste KI-Anwendungen der 2010er Jahre (Translate, Siri, Alexa) basierten auf LSTM.

Stand 2025/2026

Stand Mai 2026 ist LSTM nicht mehr die dominante Architektur der NLP-Forschung – diese Position hat Transformer seit etwa 2018 übernommen. LSTM bleibt aber in mehreren Anwendungsdomänen relevant: in Effizienz-orientierten Anwendungen (Edge Computing, Echtzeit-Verarbeitung), in der biomedizinischen Sequenzverarbeitung, in Zeitreihen-Analyse, in Robotik und Reinforcement Learning mit partieller Beobachtbarkeit.

Die xLSTM-Renaissance (Beck/Hochreiter u. a. NeurIPS 2024) ist eine der wirkungsmächtigsten Versuche, LSTM-Architekturen in der Frontier-Skalierungs-Phase konkurrenzfähig zu machen. Die parallele Entwicklung von State-Space-Modellen (Mamba), linearen Transformer-Varianten und RWKV bildet ein gemeinsames Forschungs-Feld Beyond Transformers.

Sepp Hochreiter – Mit-Autor der LSTM-Originalarbeit und Leiter des Institute for Machine Learning der Johannes Kepler Universität Linz – ist Stand 2025/2026 eine der einflussreichsten europäischen Stimmen in der Sequenzverarbeitungs-Forschung. Sein Team in Linz leitet die xLSTM-Entwicklung und treibt das ELLIS-Netzwerk (European Laboratory for Learning and Intelligent Systems) voran.

Offene Fragen umfassen die Bewertung des Verhältnisses zwischen LSTM/xLSTM, Transformer und State-Space-Modellen in der Frontier-Skalierungs-Phase, die Verbindung zu Reasoning-Modellen, die Effizienz-Vorteile in Edge- und Echtzeit-Anwendungen und die Wiederbelebung der RNN-Tradition.

Verwandte Begriffe

• Recurrent Neural Networks (RNN) – übergeordnete Architektur-Klasse
• Vanishing-Gradient-Problem – gelöstes Problem
• Mamba und State-Space-Modelle – verwandte alternative Architekturen

Quellenangaben

1. Alkin, Benedikt / Beck, Maximilian / Pöppel, Korbinian / Hochreiter, Sepp / Brandstetter, Johannes, 2024. Vision-LSTM: xLSTM as Generic Vision Backbone. arXiv: 2406.04303.
2. Amodei, Dario u. a., 2016. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin. In: Proceedings of the 33rd International Conference on Machine Learning (ICML 2016), S. 173–182. arXiv: 1512.02595.
3. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
4. Beck, Maximilian / Pöppel, Korbinian / Spanring, Markus / Auer, Andreas / Prudnikova, Oleksandra / Kopp, Michael / Klambauer, Günter / Brandstetter, Johannes / Hochreiter, Sepp, 2024. xLSTM: Extended Long Short-Term Memory. NeurIPS 2024. arXiv: 2405.04517.
5. Beck, Maximilian / Pöppel, Korbinian / Lippe, Phillip / Kurle, Richard / Blies, Patrick M. / Klambauer, Günter / Böck, Sebastian / Hochreiter, Sepp, 2025. xLSTM 7B: A Recurrent LLM for Fast and Efficient Inference. ICML 2025. arXiv: 2503.13427.
6. Bengio, Yoshua / Simard, Patrice / Frasconi, Paolo, 1994. Learning Long-Term Dependencies with Gradient Descent Is Difficult. In: IEEE Transactions on Neural Networks 5 (2), S. 157–166. DOI: 10.1109/72.279181.
7. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
8. Gers, Felix A. / Schmidhuber, Jürgen / Cummins, Fred, 2000. Learning to Forget: Continual Prediction with LSTM. In: Neural Computation 12 (10), S. 2451–2471. DOI: 10.1162/089976600300015015.
9. Graves, Alex / Schmidhuber, Jürgen, 2005. Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures. In: Neural Networks 18 (5–6), S. 602–610. DOI: 10.1016/j.neunet.2005.06.042.
10. Greff, Klaus / Srivastava, Rupesh K. / Koutník, Jan / Steunebrink, Bas R. / Schmidhuber, Jürgen, 2017. LSTM: A Search Space Odyssey. In: IEEE Transactions on Neural Networks and Learning Systems 28 (10), S. 2222–2232. DOI: 10.1109/TNNLS.2016.2582924.
11. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
12. Hannun, Awni u. a., 2014. Deep Speech: Scaling up End-to-End Speech Recognition. arXiv: 1412.5567.
13. Hochreiter, Sepp, 1991. Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Institut für Informatik, Technische Universität München.
14. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
15. Hopfield, John J., 1982. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. In: Proceedings of the National Academy of Sciences 79 (8), S. 2554–2558. DOI: 10.1073/pnas.79.8.2554.
16. Jordan, Michael I., 1986. Serial Order: A Parallel Distributed Processing Approach. Technical Report ICS 8604, Institute for Cognitive Science, University of California, San Diego.
17. Peng, Bo u. a., 2023. RWKV: Reinventing RNNs for the Transformer Era. arXiv: 2305.13048.
18. Shi, Xingjian u. a., 2015. Convolutional LSTM Network. NeurIPS 2015. arXiv: 1506.04214.
19. Sun, Quan / Fang, Yuxin / Wu, Ledell / Wang, Xinlong / Cao, Yue, 2023. EVA-CLIP: Improved Training Techniques for CLIP at Scale. arXiv: 2303.15389.
20. Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.
21. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
22. Werbos, Paul J., 1988. Generalization of Backpropagation with Application to a Recurrent Gas Market Model. In: Neural Networks 1 (4), S. 339–356. DOI: 10.1016/0893-6080(88)90007-X.
23. Wu, Yonghui u. a., 2016. Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv: 1609.08144.

← Zurück zur Lexikon-Übersicht