Attention Is All You Need

Attention Is All You Need ist eine im Juni 2017 als arXiv-Preprint (arXiv 1706.03762) erschienene Arbeit; im Dezember 2017 erschien sie zudem in den Advances in Neural Information Processing Systems (NeurIPS 2017). Autorinnen und Autoren sind Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser und Illia Polosukhin.

Sie waren zu diesem Zeitpunkt überwiegend Forschende bei Google Brain und Google Research.

Die Arbeit führte die Transformer-Architektur ein: ein Sequenz-zu-Sequenz-Modell, das auf rekurrente Verbindungen und Faltungsoperationen vollständig verzichtet und stattdessen ausschließlich auf Multi-Head Self-Attention und positionsweise Feed-Forward-Schichten beruht.

Die Arbeit demonstrierte auf maschinellen Übersetzungs-Benchmarks (WMT 2014 Englisch-Deutsch, Englisch-Französisch) State-of-the-Art-Ergebnisse bei gleichzeitig erheblich kürzerer Trainingszeit als die bis dahin dominanten LSTM-basierten Architekturen und leitete damit eine methodische Verschiebung ein, die das gesamte Feld des maschinellen Lernens veränderte.

Stand 2025/2026 ist die Transformer-Architektur oder direkte Ableitungen davon die methodische Grundlage praktisch aller Frontier-Sprachmodelle (GPT-4, Claude, Gemini), multimodaler Systeme (CLIP, Flamingo, GPT-4V), Bildverarbeitungsmodelle (Vision Transformer, Swin Transformer) und Diffusionsmodelle (DiT, Stable Diffusion 3).

Zusammenfassung

Attention Is All You Need löste durch die Einführung des Transformers das bis 2017 dominante LSTM-basierte Sequenzmodellierungsparadigma ab – nicht durch eine schrittweise Verbesserung, sondern durch eine Architekturentscheidung, die das zentrale Bottleneck rekurrenter Netze beseitigte: ihre Sequentialität.

Da LSTMs Zeitschritte zwingend in Reihenfolge verarbeiten müssen, ist ihr Training auf modernen parallelen GPU- und TPU-Architekturen ineffizient; Transformers berechnen Beziehungen zwischen allen Positionen einer Sequenz gleichzeitig über Self-Attention und sind damit vollständig parallelisierbar.

Die folgenreichste Konsequenz dieser Eigenschaft ist nicht die Übersetzungsqualität von 2017, sondern die Skalierbarkeit. Transformer-Modelle profitieren stark und vorhersagbar von mehr Daten und mehr Rechenleistung – eine Eigenschaft, die durch die Scaling Laws (Kaplan u. a. 2020) theoretisch untermauert wurde und die Grundlage der GPT-3-, GPT-4- und Claude-Modellfamilien bildet.

Die Arbeit ist Stand 2026 eine der meistzitierten wissenschaftlichen Publikationen der Geschichte und hat die Zitationszahl von 250.000 überschritten – laut einer Nature-Analyse der meistzitierten Publikationen des 21. Jahrhunderts (Pearson u. a. 2025) liegt sie unter den zehn meistzitierten Arbeiten überhaupt.

Entstehungskontext

Autorenteam und institutioneller Hintergrund

Die acht Autorinnen und Autoren waren im Frühjahr 2017 überwiegend bei Google Brain (Vaswani, Shazeer, Parmar, Uszkoreit, Jones) und Google Research (Kaiser, Polosukhin) tätig; Aidan N. Gomez war als Praktikant aus der University of Toronto beteiligt.

Die Entstehung der Arbeit ist in der Sekundärliteratur als relativ rasch verlaufendes Forschungsprojekt beschrieben worden – von der Kernidee bis zum Einreichungsdatum vergingen nach Angaben der Autoren wenige Monate.

Die Erstautorin Ashish Vaswani ist heute bei Essential AI tätig. Noam Shazeer gründete Character.AI (2021), kehrte im August 2024 im Zuge eines Lizenz- und Personalabkommens zwischen Google und Character.AI als Ko-Leiter (VP Engineering) der Gemini-Modellentwicklung zu Google DeepMind zurück und wechselte im Juni 2026 zu OpenAI.

Jakob Uszkoreit gründete Inceptive (2021, RNA-Design); Llion Jones gründete Sakana AI (2023, Tokyo); Aidan Gomez gründete Cohere (2019).

Die Dezentralisierung des Autorenteams auf verschiedene KI-Startups nach 2017 ist in der Sekundärliteratur als Beispiel für die Beschleunigung des Technologietransfers aus Google heraus diskutiert worden.

Intellektuelle Vorgeschichte

Attention Is All You Need ist nicht die Erfindung des Attention-Mechanismus, sondern dessen radikale Verallgemeinerung.

Der erste Attention-Mechanismus für neuronale maschinelle Übersetzung wurde von Bahdanau, Cho und Bengio (ICLR 2015, arXiv 1409.0473) als Erweiterung des LSTM-basierten Seq2Seq-Modells (Sutskever/Vinyals/Le NeurIPS 2014) eingeführt: Der Decoder lernte, bei jedem Ausgabeschritt einen gewichteten Durchschnitt aller Encoder-Ausgaben zu berechnen.

Attention Is All You Need eliminierte die Encoder-Decoder-LSTM-Struktur vollständig und baute das gesamte Modell aus Attention-Mechanismen auf – daher der programmatische Titel.

Architektur

Multi-Head Self-Attention

Der Kernmechanismus des Transformers ist Self-Attention: Jede Position einer Eingabesequenz stellt eine Query $$q$$, jede andere Position liefert einen Key $$k$$ und einen Value $$v$$. Die Aufmerksamkeitsgewichte werden als normiertes Skalarprodukt berechnet:

$$\text{Attention}(Q, K, V) = \text{softmax}!\left(\frac{QK^T}{\sqrt{d_k}}\right) V$$

wobei $$d_k$$ die Dimension der Key-Vektoren ist und die Skalierung durch $$\sqrt{d_k}$$ numerische Stabilität sicherstellt. Multi-Head Attention führt diesen Mechanismus $$h$$-mal parallel in verschiedenen Projektionsräumen durch und konkateniert die Ergebnisse – dies ermöglicht dem Modell, gleichzeitig verschiedene Typen von Beziehungen zwischen Positionen zu lernen (syntaktische, semantische, ko-referentielle).

Encoder-Decoder-Struktur

Die ursprüngliche Transformer-Architektur für maschinelle Übersetzung besteht aus einem Encoder-Stack und einem Decoder-Stack, jeweils mit $$N=6$$ identischen Schichten. Jede Encoder-Schicht enthält eine Multi-Head Self-Attention-Sublayer und eine positionsweise Feed-Forward-Sublayer, jeweils gefolgt von Residual-Verbindung und Layer Normalization.

Der Decoder ergänzt eine zusätzliche Cross-Attention-Sublayer, die Decoder-Positionen auf Encoder-Ausgaben attendiert. Diese Encoder-Decoder-Struktur ist die Grundlage von T5 (Raffel u. a. 2020) und BART (Lewis u. a. 2020); für rein generative Sprachmodelle wurde sie auf den Decoder-Only-Stack vereinfacht – die Architektur von GPT-1 (Radford u. a. 2018) bis GPT-4 und Claude.

Positional Encoding

Da Self-Attention positionsinvariant ist – die Attention-Gewichte hängen nur von den Inhalten, nicht von der Reihenfolge ab –, fügt der Transformer Positional Encodings zu den Einbettungsvektoren hinzu.

Die Originalarbeit nutzt sinusoidale Funktionen verschiedener Frequenzen; spätere Arbeiten (BERT, GPT) ersetzten diese durch lernbare Positionseinbettungen. Neuere Architekturen (RoPE – Rotary Position Embeddings, Su u. a. 2021; ALiBi, Press u. a. 2022) entwickelten positions-relative Kodierungen, die bessere Extrapolation auf längere Sequenzen ermöglichen.

Skalierungseigenschaften

Die folgenreichste Eigenschaft des Transformers – im Jahr 2017 noch nicht vollständig absehbar – ist seine Skalierbarkeit. Da Training vollständig parallelisierbar ist, können Transformer-Modelle mit steigender Rechenleistung und Datenmenge effizient trainiert werden.

Scaling Laws for Neural Language Models (Kaplan u. a. 2020, arXiv 2001.08361) zeigte, dass Transformer-Modelle auf Sprachmodellierungs-Verlust vorhersagbar als Potenzfunktion von Modellgröße, Datenmenge und Rechenbudget skalieren – eine theoretische Grundlage, die das Investitionsregime der Frontier-Modell-Entwicklung strukturiert hat.

Wissenschaftliche Wirkung

Pretraining-Paradigma: BERT und GPT

Die unmittelbarste Nachfolge bestand in der Übertragung des Transformers auf das Pretraining-Fine-Tuning-Paradigma.

GPT (Radford u. a. OpenAI 2018) nutzte einen Decoder-Only-Transformer für autoregressive Sprachmodellierung; BERT (Devlin / Chang / Lee / Toutanova, NAACL 2019, arXiv 1810.04805) einen Encoder-Only-Transformer für bidirektionales Masked-Language-Modeling. Beide demonstrierten, dass Pretraining auf großen Textkorpora gefolgt von Fine-Tuning auf spezifischen Aufgaben LSTM-basierte State-of-the-Art-Systeme auf allen NLP-Benchmarks übertraf.

Diese Arbeitsteilung – Transformer als Pretraining-Backbone, Fine-Tuning als Anpassungsmechanismus – ist die Grundlage des gesamten Foundation-Model-Paradigmas (Bommasani u. a. 2021).

Sprachmodellskalierung: GPT-2, GPT-3, InstructGPT

GPT-2 (Radford u. a. OpenAI 2019) und GPT-3 (Brown u. a. NeurIPS 2020, arXiv 2005.14165) demonstrierten, dass Transformer-Sprachmodelle mit wachsender Parameterzahl (117M → 1,5B → 175B) qualitativ neue Fähigkeiten entwickeln – Few-Shot-Learning, Code-Generierung, mathematisches Reasoning –, ohne dass aufgabenspezifisches Training nötig ist.

Diese Beobachtung emergenter Fähigkeiten bei Skalierung ist einer der zentralen, aber auch umstrittensten Befunde der neueren KI-Forschung (Wei u. a. 2022, arXiv 2206.07682; Schaeffer u. a. 2023, arXiv 2304.15004).

Vision Transformer und multimodale Erweiterungen

An Image Is Worth 16×16 Words (Dosovitskiy u. a. ICLR 2021, arXiv 2010.11929) übertrug die Transformer-Architektur auf Bilder durch Patch-Tokenisierung; CLIP (Radford u. a. ICML 2021, arXiv 2103.00020) kombinierte Bild- und Text-Transformer durch kontrastives Training. Beide Arbeiten und ihre Nachfolger sind gesondert dargestellt.

Diffusion Transformer

Scalable Diffusion Models with Transformers (Peebles / Xie, ICCV 2023, arXiv 2212.09748) ersetzte den U-Net-CNN-Backbone in Latent-Diffusionsmodellen durch einen Transformer-Backbone – die Grundlage von Stable Diffusion 3 (Esser u. a. 2024) und Soras Video-Generierungsarchitektur (OpenAI Februar 2024).

Herausforderungen und Grenzen

Quadratische Komplexität

Self-Attention ist quadratisch in der Sequenzlänge: Bei $$n$$ Token sind $$n^2$$ Attention-Gewichte zu berechnen. Für lange Dokumente, hochauflösende Bilder oder Videosequenzen wird dies rechenintensiv.

Eine umfangreiche Forschungslinie – Longformer (Beltagy u. a. 2020), Performer (Choromanski u. a. 2021), FlashAttention (Dao u. a. NeurIPS 2022, arXiv 2205.14135) – adressiert dieses Problem durch Approximation, Fensterung oder hardware-optimierte Implementierung. FlashAttention ist Stand 2025/2026 die dominierende Implementierungsstrategie für Attention in produktiven Systemen.

Kontextfensterlänge

Die ursprüngliche Transformer-Implementierung war auf Sequenzlängen von 512 Token ausgelegt. Die Erweiterung auf lange Kontextfenster – 8k (GPT-4), 200k (Claude 3), 1M Token (Gemini 1.5) – erforderte neue Positional-Encoding-Strategien (RoPE, ALiBi), Speicheroptimierungen (FlashAttention, Gradient Checkpointing) und Trainingsanpassungen.

Interpretierbarkeit

Attention-Gewichte wurden früh als Interpretierbarkeits-Proxy verwendet – die Annahme, hohe Attention-Gewichte zeigten semantisch relevante Beziehungen.

Jain und Wallace (2019, arXiv 1902.10186) zeigten , dass Attention-Gewichte nicht zuverlässig mit Feature-Wichtigkeit korrelieren und damit keine robuste Erklärung liefern. Das Feld der Mechanistic Interpretability adressiert die interne Analyse von Transformer-Repräsentationen mit präziseren Werkzeugen.

Konkurrenz durch State-Space-Modelle

Ab 2022 entstanden mit S4 (Gu u. a. ICLR 2022) und Mamba (Gu/Dao arXiv 2312.00752) State-Space-Modelle, die lineare statt quadratische Komplexität in der Sequenzlänge bieten und für lange Sequenzen effizienter sind.

xLSTM (Beck u. a. 2024, arXiv 2405.04517) revialisierte LSTM-Architekturen mit parallelisierbarem Training. Stand 2025/2026 haben diese Architekturen Transformer nicht verdrängt, aber hybride Ansätze – Mamba-Transformer-Kombinationen (Jamba, AI21 Labs 2024) – deuten auf eine Konvergenz hin.

Stand 2025/2026

Stand August 2026 ist die Transformer-Architektur oder direkte Ableitungen davon die Grundlage aller bedeutenden Frontier-Sprachmodelle und multimodaler Systeme. Die Zitationszahl von Attention Is All You Need hat 250.000 überschritten – außergewöhnlich für eine Informatik-Publikation und unter den zehn meistzitierten Arbeiten des 21. Jahrhunderts (Pearson u. a. 2025).

Die acht Originalautoren haben Google zwischenzeitlich verlassen und verteilen sich auf mehrere KI-Startups, akademische Positionen und konkurrierende Frontier-Labs. Eine Ausnahme bildete Noam Shazeer, der von August 2024 bis Juni 2026 als Gemini-Ko-Leiter zu Google DeepMind zurückkehrte, bevor er zu OpenAI wechselte; damit ist aktuell erneut keiner der Originalautoren bei Google DeepMind tätig.

Aktive Entwicklungslinien umfassen: Mixture-of-Experts-Transformer (Fedus u. a. 2022; Mistral/Mixtral 2023), sparse Attention-Mechanismen, Hardware-ko-entworfene Attention-Varianten (FlashAttention-3, 2024) und die theoretische Analyse der Ausdrucksmächtigkeit von Transformers (Pérez u. a. 2021; Weiss u. a. 2021).

Offene Fragen umfassen die theoretische Erklärung emergenter Fähigkeiten bei Skalierung, die optimale Architektur für sehr lange Kontextfenster, das Verhältnis von Transformer-Expressivität zu State-Space-Modellen und die mechanistische Erklärung von In-Context-Learning ohne Gewichtsanpassung.

Verwandte Begriffe

• Vision Transformer – direkte Übertragung auf Bildverarbeitung; Dosovitskiy u. a. ICLR 2021
• CLIP – multimodales Modell auf Transformer-Basis
• Foundation Models – konzeptueller Rahmen für skalierte Transformer-Pretraining-Modelle
• LSTM – abgelöste Vorgängerarchitektur; Hochreiter/Schmidhuber 1997
• Diffusionsmodelle – DiT als Transformer-basierter generativer Backbone
• Mechanistic Interpretability – Forschungsfeld zur internen Analyse von Transformers
• Reinforcement Learning – RLHF als Trainingsparadigma auf Transformer-Basis
• Generative KI – übergeordnetes Anwendungsfeld

Quellenangaben

1. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
2. Beltagy, Iz / Peters, Matthew E. / Cohan, Arman, 2020. Longformer: The Long-Document Transformer. arXiv: 2004.05150.
3. Bommasani, Rishi / Hudson, Drew A. / Adeli, Ehsan u. a., 2021. On the Opportunities and Risks of Foundation Models. Stanford Center for Research on Foundation Models. arXiv: 2108.07258.
4. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
5. Choromanski, Krzysztof u. a., 2021. Rethinking Attention with Performers. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.14794.
6. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
7. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
8. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
9. Esser, Patrick / Kulal, Sumith / Blattmann, Andreas u. a., 2024. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2403.03206.
10. Fedus, William / Zoph, Barret / Shazeer, Noam, 2022. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. In: Journal of Machine Learning Research 23 (120), S. 1–39. arXiv: 2101.03961.
11. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
12. Jain, Sarthak / Wallace, Byron C., 2019. Attention is not Explanation. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 3543–3556. DOI: 10.18653/v1/N19-1357.
13. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
14. Lewis, Mike u. a., 2020. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), S. 7871–7880. DOI: 10.18653/v1/2020.acl-main.703.
15. Mehta, Ivan, 2024. Character.AI CEO Noam Shazeer Returns to Google. TechCrunch, 2. August 2024. techcrunch.com.
16. Pearson, Helen / Ledford, Heidi / Hutson, Matthew / Van Noorden, Richard, 2025. Exclusive: The Most-Cited Papers of the Twenty-First Century. In: Nature 640 (8059), S. 588–592, 15. April 2025. DOI: 10.1038/d41586-025-01125-9.
17. Peebles, William / Xie, Saining, 2023. Scalable Diffusion Models with Transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2212.09748. (DiT).
18. Press, Ofir / Smith, Noah A. / Lewis, Mike (2022): Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. In: Proceedings of ICLR 2022. arXiv: 2108.12409.
19. Pérez, Jorge / Barceló, Pablo / Marinkovic, Javier, 2021. Attention is Turing-Complete. In: Journal of Machine Learning Research 22 (75), S. 1–35.
20. Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
21. Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
22. Schaeffer, Rylan / Miranda, Brando / Koyejo, Sanmi, 2023. Are Emergent Abilities of Large Language Models a Mirage? In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.15004.
23. Schoon, Ben, 2026. Gemini’s Co-Lead Is Leaving Google to Join OpenAI. 9to5Google, 17. Juni 2026. 9to5google.com.
24. Su, Jianlin / Lu, Yu / Pan, Shengfeng / Murtadha, Ahmed / Wen, Bo / Liu, Yunfeng, 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv: 2104.09864.
25. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
26. Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.
27. Weiss, Gail / Goldberg, Yoav / Yahav, Eran, 2021. Thinking Like Transformers. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2106.06981.

← Zurück zur Lexikon-Übersicht