Attention-Mechanismus

Attention-Mechanismus (englisch attention mechanism; deutsch sinngemäß Aufmerksamkeits-Mechanismus) bezeichnet eine Klasse von Komponenten künstlicher neuronaler Netze. Sie erlauben einem Modell, bei der Verarbeitung eines Datenpunkts unterschiedlichen Teilen seiner Eingabe unterschiedliches Gewicht zuzuordnen und damit dynamisch zu entscheiden, welche Teile der Eingabe für die jeweilige Berechnung relevant sind.

Die in der heutigen KI-Forschung dominierende Form geht auf eine Arbeit von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio zurück. Diese wurde 2014 als arXiv-Preprint veröffentlicht und 2015 auf der ICLR vorgestellt (Neural Machine Translation by Jointly Learning to Align and Translate, arXiv: 1409.0473).

Sie wurde 2017 durch Vaswani u. a. (Attention Is All You Need, NeurIPS 2017) in der heute kanonischen Self-Attention-Form weiterentwickelt und damit zur architektonischen Grundlage praktisch aller heutigen großen Sprach- und Multimodalitätsmodelle.

Zusammenfassung

Der Attention-Mechanismus entstand als Antwort auf eine spezifische Schwäche der damals dominierenden Encoder-Decoder-Architekturen für maschinelle Übersetzung: Diese komprimierten den gesamten Eingabesatz in einen Vektor fester Länge, der bei langen Sätzen zum Informations-Engpass wurde.

Bahdanau und Kollegen schlugen 2014 vor, dem Decoder zu jedem Generierungsschritt Zugriff auf alle Encoder-Zustände zu geben, gewichtet durch Aufmerksamkeitsgewichte, die das Modell lernt. Diese Erweiterung verbesserte die Übersetzungsqualität substantiell und etablierte Attention als Standard.

Drei Generationen lassen sich unterscheiden:

• Additive Attention (Bahdanau u. a. 2014, mit einem kleinen feedforward Netz als Ähnlichkeitsfunktion).
• Multiplicative oder dot-product Attention (Luong, Pham, Manning 2015, EMNLP).
• Scaled dot-product Self-Attention (Vaswani u. a. 2017), die Attention als alleinige strukturbildende Komponente einsetzt und damit die Transformer-Architektur begründet.

Mathematisch operiert moderne Attention typischerweise über die Query-Key-Value-Formulierung: Für jede Position werden Query- und Key-Vektoren verglichen, die resultierenden Gewichte werden auf die Value-Vektoren angewendet.

Anwendungen reichen von der ursprünglichen maschinellen Übersetzung über Sprachmodelle, Computer Vision (Vision Transformer, Show-Attend-Tell), Audioverarbeitung (Whisper) und Strukturbiologie (AlphaFold) bis zu agentischen Systemen und multimodalen Architekturen.

Begriffsgeschichte

Kognitive Vorgeschichte

Die Bezeichnung Attention lehnt sich an kognitionswissenschaftliche Konzepte selektiver Aufmerksamkeit an, wie sie seit den 1950er Jahren in der experimentellen Psychologie diskutiert werden (Donald Broadbents Filter-Modell 1958, Anne Treismans Feature-Integration-Theorie 1980).

Der Bezug ist allerdings konzeptueller, nicht modellierungstechnischer Natur – die heutigen technischen Attention-Mechanismen werden in der Neurowissenschaft nicht als realistische Modelle biologischer Aufmerksamkeit verwendet.

Frühe Attention-Vorformen

Vor der Bahdanau/Cho/Bengio-Arbeit gab es eine Reihe von Vorläufern, die einzelne Aspekte der späteren Attention vorwegnahmen: Larochelle und Hinton (2010, Learning to combine foveal glimpses with a third-order Boltzmann machine, NeurIPS) modellierten visuelle Aufmerksamkeit als sequenzielle Glimpse-Auswahl.

Mnih u. a. (2014, Recurrent Models of Visual Attention, NeurIPS) entwickelten ein verwandtes Reinforcement-Learning-basiertes Modell. Memory Networks (Weston, Chopra, Bordes 2015) und Neural Turing Machines (Graves u. a. 2014) führten externe Speicherzugriffe durch erlernte Adressierung ein – strukturell verwandt mit später dominierender Attention.

Bahdanau, Cho, Bengio (2014/2015)

Der Durchbruch erfolgte mit Bahdanau, Cho und Bengios Arbeit Neural Machine Translation by Jointly Learning to Align and Translate, die im September 2014 auf arXiv erschien und 2015 auf der ICLR offiziell vorgestellt wurde.

Die Autoren erweiterten die damaligen RNN-Encoder-Decoder-Modelle für maschinelle Übersetzung (Sutskever, Vinyals, Le 2014, Sequence to Sequence Learning) um einen Attention-Mechanismus, der die in der klassischen statistischen Übersetzung gut etablierte Idee des Alignments zwischen Quell- und Zielsatzpositionen neuronal implementierte.

Statt den gesamten Quellsatz in einen Vektor fester Größe zu komprimieren, durfte der Decoder bei jedem Wort der Zielausgabe einen gewichteten Mittelwert aller Encoder-Zustände bilden – wobei das Modell die Gewichte selbst lernte.

Verfeinerung durch Luong (2015)

Minh-Thang Luong, Hieu Pham und Christopher D. Manning (Stanford) publizierten 2015 Effective Approaches to Attention-based Neural Machine Translation (EMNLP), in dem sie zwei Verfeinerungen einführten: globale vs. lokale Attention (lokale Attention betrachtet nur ein Fenster um eine geschätzte Alignment-Position) und einfachere multiplicative Attention-Funktionen, die rechnerisch effizienter waren als die ursprüngliche additive Variante.

Visuelle Attention (Show, Attend and Tell 2015)

Parallel entwickelten Xu, Ba, Kiros, Cho, Courville, Salakhutdinov, Zemel und Bengio die Attention-Idee für die Bildbeschreibung (Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, ICML 2015). Beim Generieren jedes Wortes der Beschreibung darf das Modell auf unterschiedliche Bildregionen „blicken”.

Die Arbeit zeigte, dass Attention die generierten Bildunterschriften nicht nur leistungsfähiger, sondern auch interpretierbarer machte – die Attention-Gewichte ließen sich als Visualisierungen darstellen.

Self-Attention und Transformer (2017)

Die entscheidende konzeptuelle Verschiebung erfolgte 2017. Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser und Polosukhin zeigten in Attention Is All You Need (NeurIPS 2017), dass die rekurrente Komponente – die alle Vorgängerarbeiten als Trägerstruktur nutzten – für den Erfolg von Attention nicht erforderlich war.

Wenn jede Eingabeposition auf jede andere Position aufmerksam werden kann (Self-Attention), wird die rekurrente Sequenzverarbeitung ersetzbar. Diese Beobachtung ermöglichte vollständig parallelisierbares Training und legte den Grundstein für die heutige Transformer-Architektur.

Effizienz- und Skalierungsforschung (ab 2018)

Mit der zunehmenden Skalierung von Modellen wurde die quadratische Komplexität der Standard-Self-Attention in der Sequenzlänge zum praktischen Engpass.

Eine Reihe von Effizienzvarianten entstand:

• Sparse Attention (Child u. a. 2019, Sparse Transformer; Longformer von Beltagy, Peters, Cohan 2020; Big Bird von Zaheer u. a. 2020).
• Linformer (Wang u. a. 2020) und Performer (Choromanski u. a. 2021) mit linearer Komplexität durch zufällige Feature-Maps.
• FlashAttention (Dao u. a. 2022) als hardware-optimierte Implementierung der exakten Attention.

Mit Multi-Head Latent Attention (MLA, DeepSeek-AI 2024, in DeepSeek-V2) wurde eine weitere einflussreiche Effizienzvariante eingeführt. Sie komprimiert Key- und Value-Vektoren durch eine niedrigrangige gemeinsame Projektion und reduziert damit den Speicherbedarf des KV-Cache bei der Inferenz drastisch.

Die Technik trug wesentlich zur vielbeachteten Kosteneffizienz von DeepSeek-V3 und DeepSeek-R1 (Ende 2024/Anfang 2025) bei und wurde seither auch in anderen Modellfamilien adaptiert.

Mathematische Formulierung

Allgemeine Struktur

Moderne Attention-Mechanismen folgen einer einheitlichen Formulierung. Gegeben eine Menge von Query-Vektoren Q, Key-Vektoren K und Value-Vektoren V (alle als Matrizen organisiert): Eine Attention-Funktion Attention(Q, K, V) berechnet eine gewichtete Summe der Value-Vektoren, wobei die Gewichte aus der Ähnlichkeit der Queries mit den Keys abgeleitet werden:

Attention(Q, K, V) = Softmax(score(Q, K)) · V

Die Wahl der Score-Funktion unterscheidet die historisch entwickelten Attention-Varianten.

Additive Attention (Bahdanau 2014)

Die Bahdanau-Variante nutzt ein kleines feedforward Netz mit einer tanh-Aktivierungsfunktion zur Berechnung der Ähnlichkeit zwischen einer Query q und einem Key k:

score(q, k) = vᵀ · tanh(Wₐq + Uₐk)

Diese Form ist ausdrucksstark, aber rechnerisch teurer als die später dominierenden Dot-Product-Varianten.

Dot-Product Attention (Luong 2015)

Die einfachste multiplicative Form berechnet die Ähnlichkeit als einfaches Skalarprodukt:

score(q, k) = qᵀ · k

Diese Form ist rechnerisch effizient durch hochoptimierte Matrix-Multiplikations-Operationen.

Scaled Dot-Product Attention (Vaswani 2017)

Die heute dominierende Form erweitert die Dot-Product Attention um eine Skalierung durch die Wurzel der Key-Dimension:

Attention(Q, K, V) = Softmax(Q · Kᵀ / √dₖ) · V

Die Skalierung durch √dₖ verhindert, dass die Skalarprodukte bei hochdimensionalen Vektoren in Sättigungsbereiche der Softmax-Funktion geraten und das Gradientensignal kollabiert.

Multi-Head-Attention

In der Transformer-Architektur wird die Attention-Operation parallel mit mehreren Sätzen unterschiedlicher Q-, K-, V-Projektionen ausgeführt (typisch 8, 16, 32 oder mehr Köpfe); die Ergebnisse werden konkateniert und durch eine lineare Projektion zusammengeführt. Die Idee ist, dass unterschiedliche Köpfe unterschiedliche Beziehungsmuster lernen können – etwa syntaktische versus semantische Bezüge, kurz- versus langreichweitige Abhängigkeiten.

Causal Attention und Masking

In autoregressiven Sprachmodellen (GPT, Claude, Llama) wird die Attention durch eine Maske eingeschränkt: Jedes Token darf nur auf vorausgehende Tokens aufmerksam werden, nicht auf zukünftige. Diese causal oder masked Attention wird durch das Setzen der entsprechenden Score-Werte auf minus unendlich vor der Softmax-Operation realisiert.

Typen und Anwendungen

Self-Attention vs. Cross-Attention

Self-Attention (Selbst-Aufmerksamkeit) ist Attention einer Sequenz auf sich selbst – Query, Key und Value werden aus derselben Eingabe abgeleitet. Dies ist die Grundoperation des Transformer-Encoders und der Decoder-only-Sprachmodelle.

Cross-Attention ist Attention einer Sequenz auf eine andere Sequenz – Query stammt aus der einen, Key und Value aus der anderen. Dies wird in der Encoder-Decoder-Architektur verwendet, in der der Decoder auf die Encoder-Repräsentation der Eingabe aufmerksam wird; auch in multimodalen Architekturen, in denen etwa Text-Tokens auf Bild-Tokens aufmerksam werden.

Visuelle Attention

In Computer-Vision-Anwendungen wird Attention auf Bilder oder Bildregionen angewendet. Der Vision Transformer (Dosovitskiy u. a. 2020) zerlegt Bilder in Patches und behandelt diese als Tokens; DETR (Carion u. a. 2020) nutzt Attention für Objektdetektion; SAM (Kirillov u. a. 2023, Segment Anything Model) für Segmentierung.

Die in Show, Attend and Tell (Xu u. a. 2015) entwickelte visuelle Attention zur Bildbeschreibung war eine frühe wirkmächtige Anwendung.

Multimodale Attention

In multimodalen Architekturen (GPT-4o, Claude 3 Opus mit Vision, Gemini 1.5) ermöglicht Attention die einheitliche Verarbeitung mehrerer Datenmodalitäten – Text kann auf Bilder achten, Audio kann auf Text achten, etc.

Naturwissenschaftliche Anwendungen

AlphaFold 2 (Jumper u. a., Nature 2021) und AlphaFold 3 (Abramson u. a., Nature 2024) nutzen Attention-Komponenten in einer komplexen Architektur zur Vorhersage von Protein- und biomolekularen Strukturen. Der Beitrag trug 2024 zum Chemie-Nobelpreis (an Demis Hassabis und John Jumper) bei.

Interpretierbarkeit

Ein in der frühen Attention-Forschung häufig hervorgehobener Vorteil war die Interpretierbarkeit der Attention-Gewichte: Sie lassen sich als Heatmap visualisieren und legen – so die Hoffnung – offen, worauf das Modell bei einer Entscheidung achtet.

In der NLP-Forschung der späten 2010er Jahre entstand jedoch eine substantielle Kritik dieser interpretativen Lesart. Jain und Wallace (2019, Attention Is Not Explanation, NAACL) zeigten, dass alternative Attention-Verteilungen oft die gleichen Modellvorhersagen erzeugen können – Attention-Gewichte sind also nicht unmissverständliche Erklärungen, sondern eine von mehreren möglichen Faktorisierungen.

Wiegreffe und Pinter (2019, Attention is not not Explanation, EMNLP) nuancierten die Diagnose.

Die Folgeforschung in Mechanistic Interpretability (Anthropic, Elhage u. a. 2021ff.) hat das Verständnis der Attention-Mechanismen durch detaillierte Schaltkreis-Analysen erheblich präzisiert, ohne die naiv-interpretative Lesart wiederherzustellen.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Rechenintensität: Die quadratische Komplexität der Standard-Self-Attention in der Sequenzlänge führt bei langen Kontextfenstern (32k, 128k, 1M Tokens) zu erheblichen Rechenanforderungen. Trotz der Effizienzvarianten (FlashAttention, Sparse Attention, Linear Attention) bleibt dies ein offenes Forschungsproblem.

Interpretationsfalle: Die populäre Lesart, Attention-Gewichte zeigten, worauf das Modell „achtet”, ist seit etwa 2019 als zu vereinfachend kritisiert worden. Attention-Gewichte sind statistische Korrelationen, keine kausalen Erklärungen.

Begriff: Die kognitionspsychologische Bezeichnung Attention wird in der Sekundärliteratur teilweise als anthropomorphisierende Wortwahl kritisiert, die suggeriert, dass das Modell etwas tut, das menschlicher Aufmerksamkeit funktional analog wäre – eine Annahme, die in der neurowissenschaftlichen Sekundärforschung nicht gestützt wird.

Alternativarchitekturen: Seit etwa 2023 haben Alternativarchitekturen wie Mamba (Gu/Dao 2023, State Space Models) und RWKV in spezifischen Domänen Konkurrenz zur Attention-basierten Verarbeitung erzeugt, ohne sie bislang breit zu verdrängen. Die Frage, ob Attention langfristig die dominante Architekturkomponente bleibt, ist offen.

Stand 2025/2026

Der Attention-Mechanismus bleibt die zentrale strukturbildende Komponente praktisch aller leistungsfähigen Sprach- und Multimodalitätsmodelle.

Die jüngere Forschung und Produktentwicklung haben Kontextfenster seit 2024/2025 deutlich vergrößert. Google Gemini bot bereits ab 2024 bis zu 1–2 Millionen Tokens (Gemini 1.5 Pro, später 2.0/2.5). Anthropic erweiterte Claude Sonnet 4 im August 2025 von 200.000 auf bis zu 1 Million Tokens, und Meta bewarb Llama 4 Scout (April 2025) mit einem Kontextfenster von bis zu 10 Millionen Tokens.

Parallel intensivieren sich effizientere Implementierungen (FlashAttention-2 und -3, Paged Attention für KV-Cache-Management), Hybridarchitekturen mit State Space Models und interpretierbarkeitsorientierte Schaltkreisanalysen.

In der Mechanistic-Interpretability-Forschung (Anthropic Interpretability Team, Neel Nanda u. a.) ist Attention Gegenstand detaillierter strukturierter Untersuchungen, die einzelne Attention-Köpfe als interpretierbare Schaltkreise rekonstruieren.

Verwandte Begriffe

• Transformer – Hauptarchitektur, die ausschließlich auf Attention basiert
• Cross-Attention – verwandte Variante in Encoder-Decoder
• Sparse Attention – Effizienzvariante
• Bahdanau-Attention – frühe additive Variante
• Luong-Attention – frühe multiplicative Variante
• Query-Key-Value-Formulierung – strukturelles Schema
• Multi-Head Latent Attention (MLA) – speicherreduzierende Variante (DeepSeek-V2, 2024)

Quellenangaben

1. Anthropic, 2025. Claude Sonnet 4 now supports 1M tokens of context. Anthropic Blog, 12. August 2025.
2. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2014. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv: 1409.0473.
3. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
4. Beltagy, Iz / Peters, Matthew E. / Cohan, Arman, 2020. Longformer: The Long-Document Transformer. arXiv: 2004.05150.
5. Carion, Nicolas / Massa, Francisco / Synnaeve, Gabriel / Usunier, Nicolas / Kirillov, Alexander / Zagoruyko, Sergey, 2020. End-to-End Object Detection with Transformers. In: Proceedings of the European Conference on Computer Vision (ECCV 2020). arXiv: 2005.12872.
6. Child, Rewon / Gray, Scott / Radford, Alec / Sutskever, Ilya, 2019. Generating Long Sequences with Sparse Transformers. arXiv: 1904.10509.
7. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
8. Choromanski, Krzysztof u. a., 2021. Rethinking Attention with Performers. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.14794.
9. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
10. DeepSeek-AI, 2024. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv: 2405.04434.
11. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
12. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
13. Elhage, Nelson u. a., 2021. A Mathematical Framework for Transformer Circuits. In: Transformer Circuits Thread, Anthropic.
14. Graves, Alex / Wayne, Greg / Danihelka, Ivo, 2014. Neural Turing Machines. arXiv: 1410.5401.
15. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
16. Jain, Sarthak / Wallace, Byron C., 2019. Attention is not Explanation. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 3543–3556. DOI: 10.18653/v1/N19-1357.
17. Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
18. Kirillov, Alexander u. a., 2023. Segment Anything. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2304.02643. (SAM).
19. Larochelle, Hugo / Hinton, Geoffrey E., 2010. Learning to combine foveal glimpses with a third-order Boltzmann machine. In: Advances in Neural Information Processing Systems 23 (NeurIPS 2010), S. 1243–1251.
20. Luong, Minh-Thang / Pham, Hieu / Manning, Christopher D., 2015. Effective Approaches to Attention-based Neural Machine Translation. In: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), S. 1412–1421. DOI: 10.18653/v1/D15-1166.
21. Meta AI, 2025. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation. Meta AI Blog, 5. April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
22. Mnih, Volodymyr / Heess, Nicolas / Graves, Alex / Kavukcuoglu, Koray, 2014. Recurrent Models of Visual Attention. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 2204–2212.
23. Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.
24. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
25. Wang, Sinong / Li, Belinda Z. / Khabsa, Madian / Fang, Han / Ma, Hao, 2020. Linformer: Self-Attention with Linear Complexity. arXiv: 2006.04768.
26. Weston, Jason / Chopra, Sumit / Bordes, Antoine, 2015. Memory Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1410.3916.
27. Wiegreffe, Sarah / Pinter, Yuval, 2019. Attention is not not Explanation. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP 2019), S. 11–20. DOI: 10.18653/v1/D19-1002.
28. Xu, Kelvin / Ba, Jimmy / Kiros, Ryan / Cho, Kyunghyun / Courville, Aaron / Salakhutdinov, Ruslan / Zemel, Richard S. / Bengio, Yoshua, 2015. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 2048–2057.

← Zurück zur Lexikon-Übersicht