Deep Learning

Deep Learning (deutsch tiefes Lernen) bezeichnet ein Teilgebiet des maschinellen Lernens, das mit künstlichen neuronalen Netzen arbeitet, die aus einer Vielzahl hierarchisch übereinander gestapelter Schichten bestehen und in denen jede Schicht zunehmend abstraktere Repräsentationen der Eingabedaten lernt.

Der Begriff in seiner heute geläufigen Form wurde 2006 in einem Aufsatz von Geoffrey E. Hinton, Simon Osindero und Yee-Whye Teh (A Fast Learning Algorithm for Deep Belief Nets, Neural Computation 18 [7]) in der Maschinellen-Lernen-Forschung etabliert. Die ideengeschichtlichen Wurzeln reichen über LeCuns Convolutional Neural Networks (1989/1998) bis in die Anfänge der konnektionistischen Forschung der 1940er und 1950er Jahre zurück.

Zusammenfassung

Deep Learning hebt sich vom klassischen flachen maschinellen Lernen (Support Vector Machines, Decision Trees, einfache neuronale Netze mit einer oder zwei verborgenen Schichten) dadurch ab, dass es tiefe Architekturen nutzt – typisch zehn bis hunderte oder bei modernen Frontier-Modellen tausende Schichten. In ihnen extrahieren aufeinanderfolgende Schichten zunehmend abstraktere Merkmale aus den Daten.

Die zentrale theoretische Behauptung lautet, dass diese hierarchische Verarbeitung Representation Learning ermöglicht: Das Netz lernt selbständig nützliche Datenrepräsentationen, ohne dass diese durch menschlich gefertigte Feature Engineering-Schritte vorab konstruiert werden müssten.

Drei Faktoren ermöglichten den Durchbruch des Deep Learning ab 2006 und insbesondere ab 2012: substantiell vergrößerte Datensätze (ImageNet), GPU-Computing (NVIDIA CUDA seit 2007) und algorithmische Verfeinerungen (Dropout, ReLU, Batch Normalization, Residual Connections, Attention).

Mit dem ImageNet-Durchbruch von AlexNet 2012 und der seitherigen Entwicklung über VGG, ResNet, Transformer (Vaswani u. a. 2017) zu den heutigen großen Sprachmodellen ist Deep Learning zur dominanten Spielart des maschinellen Lernens geworden. Für die Debatte um Tech- und KI-Ideologien ist Deep Learning das technische Substrat, auf dem die heutigen Diskussionen um AGI, Superintelligenz und AI Alignment operieren.

Begriffsgeschichte

Vorgeschichte (1940er–1980er Jahre)

Die ideengeschichtlichen Wurzeln des Deep Learning liegen in der konnektionistischen Tradition: Warren McCullochs und Walter Pitts’ formales Neuronenmodell (1943) sowie Donald Hebbs Lerntheorie (The Organization of Behavior, 1949). Hinzu kommen Frank Rosenblatts Perzeptron (1958) und Marvin Minskys und Seymour Paperts kritische Analyse seiner Grenzen (Perceptrons, 1969).

Die zweite Welle des Konnektionismus in den 1980er Jahren ging von der Parallel Distributed Processing Group um David Rumelhart, James McClelland und Geoffrey Hinton an der University of California, San Diego aus. Sie etablierte die Backpropagation als Trainingsmethode mehrschichtiger Netze (Rumelhart, Hinton, Williams, Nature 1986).

LeCuns Convolutional Networks (1989–1998)

Yann LeCun entwickelte ab 1988 bei den AT&T Bell Laboratories die Convolutional Neural Networks (CNNs), eine biologisch inspirierte Architektur für die räumliche Mustererkennung. Sein 1998 publiziertes LeNet-5 (LeCun, Bottou, Bengio, Haffner, Proceedings of the IEEE 86 [11]) ist die kanonische Frühform der CNN-Architektur und war in den 1990er Jahren produktiv im Einsatz, etwa zur Erkennung handgeschriebener Ziffern auf US-Bankautomaten.

Zweiter AI Winter und Begriffsetablierung (2006)

In den späten 1990er und frühen 2000er Jahren stagnierte die akademische Aufmerksamkeit für neuronale Netze. Tiefes Training scheiterte am Vanishing-Gradient-Problem: Bei mehrschichtigen Netzen werden die Gradienten in den unteren Schichten so klein, dass kein effektives Lernen mehr stattfindet. Wettbewerbsstärkere Methoden wie Support Vector Machines (Cortes/Vapnik 1995) und Boosting (Freund/Schapire 1997) dominierten die Standard-Benchmarks.

Hintons 2006er Arbeit A Fast Learning Algorithm for Deep Belief Nets (mit Osindero und Teh, Neural Computation 18) führte das Verfahren des schichtweisen Vortrainings durch Restricted Boltzmann Machines ein und ermöglichte erstmals das praktische Training tiefer Netze. Dieser Aufsatz markiert in der Sekundärliteratur die Wiederbelebung des Deep Learning als eigenständiges Forschungsfeld.

Hinton, Salakhutdinov und Kollegen wendeten das Verfahren bald darauf erfolgreich auf Dimensionsreduktion und Bilderkennung an (Hinton/Salakhutdinov, Science 313, 2006).

Der AlexNet-Durchbruch (2012)

Der breite Durchbruch erfolgte 2012, als Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton mit AlexNet die ImageNet-Klassifikations-Challenge mit einem deutlichen Vorsprung gewannen und die Top-5-Fehlerrate von 26,2 auf 15,3 Prozent senkten.

AlexNet kombinierte CNN-Architektur, GPU-Training auf zwei NVIDIA GTX 580, ReLU-Aktivierungen und Dropout-Regularisierung. Die Sieger-Präsentation in Florenz am 30. September 2012 gilt als der Moment, an dem Deep Learning von einer akademischen Randposition zum dominanten Paradigma der Computer Vision wurde.

Folgearchitekturen (2014–2020)

Auf AlexNet folgten innerhalb weniger Jahre eine Reihe substantieller Architekturen: VGGNet (Simonyan/Zisserman 2014, sehr tiefe gleichmäßige Architektur) und GoogLeNet/Inception (Szegedy u. a. 2014, mit Inception-Modulen). Hinzu kamen ResNet (He u. a. 2015, Microsoft Research, mit Residual Connections zur Lösung des Vanishing-Gradient-Problems in sehr tiefen Netzen), DenseNet und EfficientNet.

Im Bereich der Sequenzmodellierung dominierten zunächst Long Short-Term Memory Netzwerke (LSTM, Hochreiter/Schmidhuber 1997) und Gated Recurrent Units; ab 2017 die Transformer-Architektur (Vaswani u. a., NeurIPS 2017).

Skalierungs- und Sprachmodell-Phase (ab 2020)

Mit GPT-3 (Brown u. a. 2020, 175 Milliarden Parameter) wurde die Skalierungshypothese – dass viele Fähigkeiten emergieren, sobald Modelle, Daten und Rechenleistung hinreichend skaliert werden – empirisch erhärtet (Kaplan u. a. 2020, Scaling Laws for Neural Language Models).

Die seitherige Frontier-Lab-Phase ist durch große Sprachmodelle wie ChatGPT (OpenAI, November 2022), GPT-4 (2023), Claude (Anthropic, 2023), Gemini (Google DeepMind, 2023) und Llama (Meta, 2023) geprägt; parallel Bild-, Video- und multimodale Modelle (DALL·E, Stable Diffusion, Sora). Die Diffusionsmodelle (Ho u. a. 2020, Denoising Diffusion Probabilistic Models) bilden eine zweite einflussreiche Modellklasse der generativen KI.

Methodische Grundlagen

Tiefe Architekturen

Eine tiefe Architektur umfasst typischerweise zehn bis hunderte Schichten. Eine Schicht besteht aus einer linearen Transformation (Matrix-Multiplikation der Eingabeaktivierungen mit den Gewichten der Schicht), gefolgt von einer nichtlinearen Aktivierungsfunktion (typisch ReLU, Sigmoid, Tanh oder Varianten).

Die Tiefe ermöglicht die hierarchische Komposition von Repräsentationen: Untere Schichten lernen lokale Merkmale (Kanten, Texturen), obere Schichten lernen abstrakte Konzepte (Objekte, Szenen).

Training durch Backpropagation und gradientenbasierte Optimierung

Das Training tiefer Netze erfolgt durch Backpropagation und gradientenbasierte Optimierungsverfahren – insbesondere Stochastic Gradient Descent mit Momentum oder adaptive Verfahren wie Adam (Kingma/Ba 2014), AdamW (Loshchilov/Hutter 2017).

Die Gradientenberechnung in tiefen Netzen wirft das Vanishing-Gradient-Problem auf, das durch Architekturwahl (Residual Connections), Normalisierungstechniken (Batch Normalization, Layer Normalization) und Initialisierungsschemata (Glorot, He) adressiert wird.

Wichtige Architekturklassen

Feedforward Networks (Multilayer Perceptrons) – die einfachste Form mit voll verbundenen Schichten.

Convolutional Neural Networks (CNNs) – räumlich strukturierte Architektur für Bildverarbeitung; Stammlinie von LeCun.

Recurrent Neural Networks (RNNs, LSTM, GRU) – für Sequenzverarbeitung; dominant in der NLP-Forschung 2010–2017.

Transformer – durch Self-Attention-Mechanismen geprägte Architektur (Vaswani u. a. 2017); heute dominant in NLP und zunehmend in Computer Vision (Vision Transformer, Dosovitskiy u. a. 2020).

Generative Adversarial Networks (GANs) – generative Architektur durch adversariales Training (Goodfellow u. a. 2014; entstanden in Bengios Labor).

Diffusionsmodelle – generative Architektur durch iteratives Entrauschen (Ho u. a. 2020); Grundlage der heutigen Bildgenerierungssysteme.

Variational Autoencoders (VAEs) – generative Architektur durch probabilistisches Latent-Variable-Modell (Kingma/Welling 2013).

Trainingsfaktoren

Drei Faktoren ermöglichten den Deep-Learning-Durchbruch:

Daten: Substantiell vergrößerte etikettierte Datensätze, insbesondere ImageNet (Deng, Fei-Fei u. a. 2009; 14 Millionen Bilder in 21.000 Kategorien).

Hardware: GPU-Computing (CUDA, ab 2007) ermöglichte parallelisiertes Training. Spezialhardware wie TPUs (Google, ab 2015) und heutige H100/B200-Chips (NVIDIA) sind speziell für Deep Learning optimiert.

Algorithmen: Dropout (2012), Batch Normalization (Ioffe/Szegedy 2015), Residual Connections (He u. a. 2015), Attention/Transformer (Vaswani u. a. 2017), Adaptive Optimizer (Adam, Kingma/Ba 2014).

Anwendungen

Deep Learning ist seit etwa 2015 in praktisch allen technologischen Anwendungsfeldern präsent.

Bildverarbeitung (medizinische Diagnostik, autonome Fahrzeuge, Gesichtserkennung), Sprachverarbeitung (maschinelle Übersetzung, Spracherkennung, Textgenerierung) und Spielsysteme (AlphaGo, AlphaStar, AlphaZero – DeepMind 2016–2018) gehören ebenso dazu wie Proteinfaltung (AlphaFold 2021, Chemie-Nobelpreis 2024 an Hassabis/Jumper).

Hinzu kommen Empfehlungssysteme, Wirkstoffentwicklung, Wetterprognose (Google DeepMind GraphCast 2023, GenCast 2024) und seit etwa 2022 die generative KI großer Sprachmodelle und Bildmodelle.

Einordnung

In Deep Learning laufen mehrere Entwicklungslinien zusammen:

Personell verbindet Deep Learning die Godfathers of Deep Learning mit der jüngeren Generation industrieller Forscher:innen (Ilya Sutskever, Evan Hubinger). Die personelle Genealogie ist von akademischen Doktorvater-Doktorand-Beziehungen geprägt – etwa Hinton-Sutskever-OpenAI, LeCun-FAIR, Bengio-Mila –, die die heutige Frontier-Lab-Landschaft strukturieren.

Technisch ist Deep Learning das übergeordnete Konzept über Backpropagation, Distributed Representations, Boltzmann-Maschine, AlexNet, Dropout, Capsule Networks, Forward-Forward Algorithm, Convolutional Neural Networks zugeordnet sind. Es ist das Substrat, auf dem die Alignment-Forschung operiert.

Ideologisch ist Deep Learning das technische Substrat der gegenwärtigen AGI- und Superintelligenz-Diskussion.

Die Frage, ob die heutige Deep-Learning-Skalierung zu allgemeiner Intelligenz führen kann, ist zentral in den Auseinandersetzungen zwischen LeCun (skeptisch, Deep Learning braucht qualitative Innovationen wie JEPA), Yudkowsky/Bostrom (besorgt, ausreichende Skalierung führt zu Kontrollproblemen) und der akademischen Mehrheit (uneinheitliche Positionen).

Aus der Tradition der Critical AI Studies (Bender, Gebru, Mitchell, Crawford) wird Deep Learning als leistungsfähiges, aber sozial und ökologisch problematisches Verfahren diskutiert.

Zentrale Kritikpunkte sind der Ressourcenverbrauch der Trainingsläufe, die Reproduktion von Bias aus Trainingsdaten, die ausbeuterischen Arbeitsbedingungen der Datenannotation und die diskursive Vereinnahmung durch hypothetische Langfristrisiken statt konkreter gegenwärtiger Schäden.

Kritik

Substantielle Kritik richtet sich auf vier Linien:

Theoretische Unschärfe: Trotz erheblicher empirischer Erfolge bleibt das theoretische Verständnis tiefer Netze begrenzt. Warum tiefe Netze trotz ihrer Überparametrisierung gut generalisieren (das Double-Descent-Phänomen, Belkin u. a. 2019), wie sie ihre Repräsentationen organisieren (die Mechanistic Interpretability-Forschung adressiert dies), und welche Aufgaben sie nicht lösen können, sind offene Forschungsfragen.

Datenhunger und ökologische Kosten: Das Training großer Modelle erfordert Größenordnungen mehr Daten und Rechenleistung als klassische Lernverfahren. Strubell, Ganesh, McCallum (2019, Energy and Policy Considerations for Deep Learning in NLP) haben die ökologischen Folgen der jüngeren Skalierung erstmals systematisch diskutiert; nachfolgende Arbeiten (Patterson u. a. 2021) haben die Energie- und Wasserbedarfe großer Trainingsläufe quantifiziert.

Bias und gesellschaftliche Folgen: Deep-Learning-Systeme reproduzieren und verstärken systematisch die Verzerrungen ihrer Trainingsdaten (Buolamwini/Gebru 2018, Gender Shades; Bender u. a. 2021, Stochastic Parrots). Diese Kritik adressiert nicht die Architektur als solche, sondern die typischen Datenpraktiken und die soziale Einbettung.

Symbolisch-konnektionistische Kritik: Aus der hybriden Tradition (Gary Marcus The Algebraic Mind, 2001; Neuro-Symbolic AI) wird argumentiert, dass Deep Learning für statistische Mustererkennung gut geeignet sei, aber durch symbolische Komponenten ergänzt werden müsse, um robuste Reasoning-Fähigkeiten zu erlangen.

Yann LeCun selbst hat seit 2022 mit seiner Joint Embedding Predictive Architecture (JEPA) eine ähnliche Diagnose vertreten, ohne sich der symbolischen Tradition anzuschließen.

Im November 2025 verließ LeCun Meta, um diese Diagnose als eigenständiges Forschungsprogramm zu verfolgen. Sein neu gegründetes, in Paris ansässiges Startup Advanced Machine Intelligence Labs (AMI Labs) entwickelt JEPA-artige Weltmodelle außerhalb des Sprachmodell-Paradigmas und sammelte im März 2026 eine Startfinanzierung von 1,03 Milliarden US-Dollar bei einer Unternehmensbewertung von 3,5 Milliarden US-Dollar ein.

Stand 2025/2026

Deep Learning ist im Verlauf der 2020er Jahre zur dominanten Spielart des maschinellen Lernens und der Künstlichen Intelligenz geworden.

Die jüngere Forschung konzentriert sich auf große Sprachmodelle und multimodale Systeme (Text-Bild-Audio-Video) sowie auf Reasoning-Modelle mit längeren Berechnungswegen (OpenAI o-Serie, DeepSeek R1, Anthropic Claude mit Extended Thinking).

Hinzu kommen agentische Systeme, die Werkzeuge nutzen und mehrstufige Aufgaben ausführen, sowie wissenschaftliche Anwendungen in Strukturbiologie, Materialwissenschaft und Klimatologie.

Parallel verstärken sich die Forschung zu Interpretierbarkeit (Mechanistic Interpretability, Sparse Autoencoder) und Sicherheit (AI Alignment, Red Teaming, Evaluations) sowie die politische Diskussion um Governance, Regulierung (EU AI Act) und ökologische Folgen.

Verwandte Begriffe

• Künstliche Intelligenz – übergeordnetes Forschungsfeld
• Maschinelles Lernen – übergeordnete Methodenfamilie
• Neuronale Netze – Modellklasse
• Distributed Representations – theoretischer Hintergrund
• Dropout – Regularisierungstechnik
• Geoffrey Hinton / Yoshua Bengio – Godfathers
• AI Alignment – Forschungsanschluss

Quellenangaben

1. Bastian, Matthias, 2026. „You certainly don’t tell a researcher like me what to do,” says LeCun as he exits Meta for his own startup. The Decoder, 3. Januar 2026.
2. Belkin, Mikhail / Hsu, Daniel / Ma, Siyuan / Mandal, Soumik, 2019. Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off. In: Proceedings of the National Academy of Sciences 116 (32), S. 15849–15854. DOI: 10.1073/pnas.1903070116.
3. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
4. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
5. Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), Proceedings of Machine Learning Research 81, S. 77–91.
6. Cortes, Corinna / Vapnik, Vladimir, 1995. Support-Vector Networks. In: Machine Learning 20 (3), S. 273–297. DOI: 10.1007/BF00994018.
7. Deng, Jia / Dong, Wei / Socher, Richard / Li, Li-Jia / Li, Kai / Fei-Fei, Li, 2009. ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), S. 248–255. DOI: 10.1109/CVPR.2009.5206848.
8. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
9. Freund, Yoav / Schapire, Robert E., 1997. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. In: Journal of Computer and System Sciences 55 (1), S. 119–139. DOI: 10.1006/jcss.1997.1504.
10. Goodfellow, Ian / Pouget-Abadie, Jean / Mirza, Mehdi / Xu, Bing / Warde-Farley, David / Ozair, Sherjil / Courville, Aaron / Bengio, Yoshua, 2014. Generative Adversarial Nets. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 2672–2680. arXiv: 1406.2661.
11. Goodfellow, Ian / Bengio, Yoshua / Courville, Aaron, 2016. Deep Learning.
12. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
13. Hinton, Geoffrey E. / Osindero, Simon / Teh, Yee-Whye, 2006. A Fast Learning Algorithm for Deep Belief Nets. In: Neural Computation 18 (7), S. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
14. Hinton, Geoffrey E. / Salakhutdinov, Ruslan R., 2006. Reducing the Dimensionality of Data with Neural Networks. In: Science 313 (5786), S. 504–507. DOI: 10.1126/science.1127647.
15. Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
16. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
17. Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
18. Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
19. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
20. Kingma, Diederik P. / Ba, Jimmy, 2014. Adam: A Method for Stochastic Optimization. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1412.6980.
21. Kingma, Diederik P. / Welling, Max, 2014. Auto-Encoding Variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014). Zuerst erschienen als Preprint arXiv: 1312.6114, Dezember 2013. arXiv: 1312.6114.
22. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
23. LeCun, Yann / Bottou, Léon / Bengio, Yoshua / Haffner, Patrick, 1998. Gradient-Based Learning Applied to Document Recognition. In: Proceedings of the IEEE 86 (11), S. 2278–2324. DOI: 10.1109/5.726791.
24. LeCun, Yann / Bengio, Yoshua / Hinton, Geoffrey, 2015. Deep Learning. In: Nature 521 (7553), S. 436–444. DOI: 10.1038/nature14539.
25. Loshchilov, Ilya / Hutter, Frank, 2017. Decoupled Weight Decay Regularization. In: Proceedings of the International Conference on Learning Representations (ICLR 2019). arXiv: 1711.05101.
26. Patterson, David u. a., 2021. Carbon Emissions and Large Neural Network Training. arXiv: 2104.10350.
27. Schmidhuber, Jürgen, 2015. Deep Learning in Neural Networks: An Overview. In: Neural Networks 61, S. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
28. Simonyan, Karen / Zisserman, Andrew, 2015. Very Deep Convolutional Networks for Large-Scale Image Recognition. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). Zuerst erschienen als Preprint arXiv: 1409.1556, September 2014.
29. Strubell, Emma / Ganesh, Ananya / McCallum, Andrew, 2019. Energy and Policy Considerations for Deep Learning in NLP. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), S. 3645–3650. DOI: 10.18653/v1/P19-1355.
30. Szegedy, Christian u. a., 2014. Intriguing Properties of Neural Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2014). arXiv: 1312.6199.
31. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht