Self-Attention

Self-Attention (deutsch Selbstaufmerksamkeit, auch intra-attention) bezeichnet einen Rechenschritt, in dem jede Position einer Sequenz sich mit allen Positionen derselben Sequenz vergleicht und ihre neue Darstellung als gewichtete Mischung aus ihnen bildet.

Das Gewicht ergibt sich aus der Ähnlichkeit der Positionen zueinander. Ein Wort wird also durch die Wörter beschrieben, die für es einschlägig sind – und welche das sind, entscheidet das Modell an jeder Stelle neu.

Self-Attention ist der Kern der Transformer-Architektur und damit die Rechenoperation, auf der praktisch alle heutigen großen Sprachmodelle beruhen.

Zusammenfassung

Der Mechanismus bildet jede Position auf drei Vektoren ab, die traditionell als Query, Key und Value bezeichnet werden – Anfrage, Schlüssel, Wert. Die Bezeichnung stammt aus der Vorstellung eines Nachschlagewerks: Die Anfrage einer Position wird gegen die Schlüssel aller Positionen gehalten, und die Werte derjenigen, die passen, gehen in das Ergebnis ein.

Zwei Eigenschaften folgen daraus unmittelbar. Der Zugriff auf entfernte Positionen kostet einen Schritt statt vieler – wo ein rekurrentes Netz Information über hundert Zeitschritte durchreichen muss, liegt sie hier direkt an. Und alle Positionen lassen sich gleichzeitig berechnen, weil keine auf das Ergebnis einer anderen wartet.

Der Preis ist der Aufwand. Weil jede Position mit jeder verglichen wird, wächst er quadratisch mit der Sequenzlänge. Das ist der Grund, warum Kontextfenster teuer sind, und der Ansatzpunkt aller Effizienzforschung an der Architektur.

Eine dritte Eigenschaft ist eine Schwäche, die eigens behoben werden muss: Self-Attention ist gegenüber der Reihenfolge blind. Vertauscht man zwei Positionen, ändert sich nichts. Die Reihenfolge muss der Eingabe deshalb gesondert beigegeben werden.

Begriffsgeschichte

Vorgeschichte: Attention als Zusatz (2014–2016)

Der erste Attention-Mechanismus stammt von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio (2014) und war eine Reparatur, kein Neuentwurf. In der damaligen Encoder-Decoder-Übersetzung musste der gesamte Quellsatz durch einen Vektor fester Größe; Attention erlaubte dem Decoder, bei jedem Ausgabeschritt auf alle Encoder-Zustände zurückzugreifen.

Entscheidend ist, dass dies Cross-Attention war: Die Ausgabeseite schaute auf die Eingabeseite. Der Schritt zur Selbstbezüglichkeit – eine Sequenz schaut auf sich selbst – wurde 2016 unter anderem von Jianpeng Cheng, Li Dong und Mirella Lapata unter dem Namen intra-attention vollzogen, zunächst weiterhin in Verbindung mit einem rekurrenten Netz.

Attention Is All You Need (2017)

Ashish Vaswani und Kolleg:innen bei Google zogen 2017 den radikalen Schluss: Wenn Attention den Zugriff auf beliebige Positionen ohnehin leistet, wird die Rekurrenz nicht mehr gebraucht. Der Titel der Arbeit ist das Argument.

Der Gewinn war nicht in erster Linie die Qualität, sondern die Parallelisierbarkeit. Ein rekurrentes Netz muss seine Schritte nacheinander durchlaufen, auch im Training; ein Transformer verarbeitet die gesamte Sequenz in einem Zug. Auf Grafikprozessoren bedeutet das eine um Größenordnungen bessere Ausnutzung – und in einem Feld, in dem Fortschritt an Rechenleistung hängt, war das der Ausschlag.

Die Arbeit führte zugleich zwei Details ein, die seither Standard sind: die Skalierung des Skalarprodukts und die Aufteilung in mehrere parallele Aufmerksamkeitsköpfe.

Ausbreitung (ab 2018)

Von 2018 an übernahmen beide dominierenden Modellfamilien die Architektur: BERT als reiner Encoder mit beidseitigem Kontext, die GPT-Familie als reiner Decoder mit maskierter, nur rückwärts gerichteter Attention.

2020 verließ der Mechanismus die Sprachverarbeitung. Der Vision Transformer zerlegt Bilder in Bildfelder und behandelt sie als Sequenz – womit Self-Attention zur Architektur wurde, die über Modalitäten hinweg dieselbe blieb.

Methodische Grundlagen

Die Berechnung. Aus der Eingabematrix werden über drei gelernte Projektionen die Matrizen Q, K und V gebildet. Das Ergebnis ist softmax(QKᵀ/√d)·V.

Warum die Wurzel. Das Skalarprodukt zweier Vektoren der Dimension d wächst im Mittel mit d. Ohne Dämpfung geriete die Softmax-Funktion in einen Bereich, in dem sie fast nur noch Nullen und Einsen ausgibt und ihre Gradienten verschwinden. Die Division durch die Wurzel aus d hält sie im arbeitsfähigen Bereich – ein unscheinbares Detail, ohne das die Architektur nicht trainierbar wäre.

Mehrere Köpfe. Statt einer Aufmerksamkeit werden mehrere parallel berechnet, jede in einem niedrigdimensionalen Unterraum, und ihre Ergebnisse verkettet. Die Deutung, dass jeder Kopf eine eigene Art von Beziehung erfasst – syntaktische Abhängigkeit hier, Koreferenz dort –, ist verbreitet und in Teilen belegt, aber nicht durchgängig haltbar.

Maskierung. Ein Modell, das den nächsten Token vorhersagen soll, darf nicht nach vorn schauen. Deshalb werden künftige Positionen vor der Softmax-Funktion auf minus unendlich gesetzt. Genau diese Maske trennt die Decoder- von der Encoder-Variante.

Positionsinformation. Da der Mechanismus reihenfolgeblind ist, muss die Position eigens kodiert werden – ursprünglich additiv über Sinusfunktionen, heute meist über rotierende Positionskodierung, die die Position in den Winkel zwischen Query und Key einbaut und dadurch über die Trainingslänge hinaus tragfähiger ist.

Anwendungsfelder

Self-Attention ist die Rechenoperation, die praktisch jedes heutige Frontier-Modell trägt – in Sprachmodellen, in Bildmodellen, in multimodalen Systemen, in AlphaFold für Proteinstrukturen und in Modellen für Audio und Video.

Die Aufmerksamkeitsgewichte sind zudem ein bevorzugter Gegenstand der Interpretierbarkeitsforschung, weil sie sich als Matrix darstellen und betrachten lassen. Ob sie erklären, worauf das Modell sich stützt, ist allerdings umstritten.

Kontroversen und Kritik

Quadratischer Aufwand. Die Verdopplung des Kontexts vervierfacht den Rechenaufwand. Die Gegenmittel – dünnbesetzte Aufmerksamkeitsmuster, Linearisierungen, speichereffiziente Implementierungen wie FlashAttention – lösen das Problem entweder nur teilweise oder gar nicht, sondern verschieben es. FlashAttention etwa senkt den Speicherbedarf erheblich, ohne die quadratische Zahl der Operationen anzutasten.

Sind Aufmerksamkeitsgewichte Erklärungen? Sarthak Jain und Byron Wallace argumentierten 2019 in Attention Is Not Explanation, dass sich zu einer Vorhersage oft ganz andere Gewichtsverteilungen finden lassen, die dasselbe Ergebnis liefern.

Sarah Wiegreffe und Yuval Pinter widersprachen im selben Jahr mit Attention Is Not Not Explanation und hielten den Schluss für zu weitgehend. Der Streit ist offen; Konsens ist allenfalls, dass Gewichte allein nicht genügen.

Ist Rekurrenz wirklich entbehrlich? Zustandsraummodelle wie Mamba (2023) erreichen mit rekurrenter Verarbeitung und linearem Aufwand vergleichbare Ergebnisse. Das legt nahe, dass der Sieg des Transformers ebenso sehr auf seiner Passung zur verfügbaren Hardware beruhte wie auf der Sache selbst.

Zuschreibung. Jürgen Schmidhuber hält eine 1992 von ihm beschriebene Form schneller Gewichte für eine Vorwegnahme des Mechanismus. Die Frage wird bis heute kontrovers diskutiert.

Verwandte Begriffe

• Transformer – Architektur, deren Kern Self-Attention bildet
• Attention-Mechanismus – der übergeordnete Begriff
• Recurrent Neural Networks – die abgelöste Architektur
• Vision Transformer – Übertragung auf Bilder
• GPT-Familie – Decoder-Variante mit Maskierung
• Tokenisierung – erzeugt die Positionen, auf denen der Mechanismus arbeitet
• Distributed Representations – Form der verarbeiteten Vektoren
• Jürgen Schmidhuber – Zuschreibungsdebatte

Quellenangaben

1. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2014. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv: 1409.0473.
2. Cheng, Jianpeng / Dong, Li / Lapata, Mirella, 2016. Long Short-Term Memory-Networks for Machine Reading. arXiv: 1601.06733.
3. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
4. Devlin, Jacob u. a., 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv: 1810.04805.
5. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv: 2010.11929.
6. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
7. Jain, Sarthak / Wallace, Byron C., 2019. Attention is not Explanation. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 3543–3556. DOI: 10.18653/v1/N19-1357.
8. Su, Jianlin / Lu, Yu / Pan, Shengfeng / Murtadha, Ahmed / Wen, Bo / Liu, Yunfeng, 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv: 2104.09864.
9. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
10. Wiegreffe, Sarah / Pinter, Yuval, 2019. Attention is not not Explanation. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP 2019), S. 11–20. DOI: 10.18653/v1/D19-1002.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.