Multi-Head Attention

Multi-Head Attention (deutsch etwa mehrköpfige Aufmerksamkeit) ist der zentrale Rechenschritt der Transformer-Architektur. Statt einer einzigen Aufmerksamkeitsrechnung laufen mehrere parallel ab, jede in einem eigenen, kleineren Unterraum; ihre Ergebnisse werden anschließend zusammengeführt.

Zusammenfassung

Aufmerksamkeit beantwortet für jede Position einer Folge die Frage, welche anderen Positionen für sie erheblich sind. Jedes Element stellt eine Anfrage, jedes trägt einen Schlüssel und einen Wert; die Übereinstimmung von Anfrage und Schlüssel bestimmt, wie stark ein Wert einfließt.

Der Zusatz mehrköpfig löst ein Problem dieser einfachen Fassung. Eine einzige Rechnung muss sich für eine Art von Beziehung entscheiden – etwa grammatische Abhängigkeit oder inhaltliche Nähe. Mehrere Köpfe können unterschiedliche Beziehungsarten gleichzeitig verfolgen.

Der Vorschlag stammt aus der Arbeit Attention Is All You Need von 2017, in der acht Köpfe verwendet wurden. Heutige Modelle arbeiten mit deutlich mehr.

Die Rechenkosten wachsen mit dem Quadrat der Folgenlänge, weil jede Position mit jeder verglichen wird. Diese Eigenschaft prägt die gesamte Entwicklung der Architektur seither.

Begriffsgeschichte

Der Aufmerksamkeitsbegriff entstand 2014 in der maschinellen Übersetzung. Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio lösten damit ein Problem der damaligen Übersetzungssysteme: Diese pressten den gesamten Ausgangssatz in einen einzigen Vektor, was bei langen Sätzen versagte.

Ihre Lösung ließ das erzeugende Netz bei jedem Wort auf den gesamten Ausgangssatz zurückblicken und die erheblichen Stellen gewichten. Aufmerksamkeit war dabei eine Ergänzung zu rekurrenten Netzen, kein Ersatz.

2017 zog eine Gruppe bei Google die radikale Folgerung: Wenn Aufmerksamkeit die Fernbeziehungen herstellt, wird die rekurrente Verarbeitung entbehrlich. Der Titel der Arbeit sagt es unumwunden.

Die Mehrköpfigkeit war dabei nicht das Hauptargument, sondern eine Ausgestaltung. Sie erwies sich jedoch als so wirksam, dass sie in praktisch jeder Nachfolgearchitektur erhalten blieb.

Spätere Vereinfachungen betreffen weniger das Prinzip als die Verteilung: Verfahren, bei denen sich mehrere Köpfe Schlüssel und Werte teilen, senken den Speicherbedarf beim Erzeugen von Text erheblich.

Methodische Grundlagen

Anfrage, Schlüssel, Wert. Jede Eingabeposition wird über gelernte Matrizen in drei Vektoren überführt. Die Anfrage sucht, der Schlüssel wird gefunden, der Wert wird weitergegeben. Alle drei stammen aus derselben Eingabe, unterscheiden sich aber in der Rolle.

Skalierte Ähnlichkeit. Anfrage und Schlüssel werden über ein Skalarprodukt verglichen. Der Wert wird durch die Wurzel der Vektorlänge geteilt, damit die nachfolgende Normierung nicht in Bereiche gerät, in denen die Ableitungen verschwinden.

Aufteilung in Köpfe. Die Vektoren werden in gleich große Abschnitte zerlegt, und jeder Abschnitt rechnet eigenständig. Bei acht Köpfen und einer Vektorlänge von 512 arbeitet jeder Kopf in 64 Dimensionen. Der Gesamtaufwand bleibt damit unverändert.

Zusammenführung. Die Ergebnisse aller Köpfe werden aneinandergehängt und durch eine weitere gelernte Matrix geführt. Erst dieser Schritt entscheidet, wie die Beiträge gewichtet werden.

Maskierung. Bei erzeugenden Modellen wird der Blick nach vorn unterbunden: Eine Position darf nur auf frühere zugreifen. Ohne diese Maske könnte das Modell die Antwort ablesen, statt sie vorherzusagen.

Anwendungsfelder

Sprachmodelle. Jedes heutige große Sprachmodell besteht in seinem Kern aus gestapelten Schichten dieser Art.

Bildverarbeitung. Der Vision Transformer überträgt das Verfahren auf Bilder, indem er sie in quadratische Felder zerlegt und diese wie eine Folge behandelt.

Verbindung von Modalitäten. In der Kreuzaufmerksamkeit stammen Anfragen aus einer Quelle, Schlüssel und Werte aus einer anderen. So werden Bild und Text, Ton und Schrift aufeinander bezogen.

Untersuchung des Modellinneren. Die Aufmerksamkeitsmuster sind ablesbar und wurden früh als Fenster in die Verarbeitung gedeutet – eine Deutung, die sich als voreilig erwies.

Kontroversen und Kritik

Aufmerksamkeit ist keine Erklärung. Eine viel beachtete Arbeit von 2019 zeigte, dass sich Aufmerksamkeitsverteilungen erheblich verändern lassen, ohne dass sich die Ausgabe ändert. Was ein Kopf beachtet, ist damit kein verlässlicher Beleg dafür, worauf die Entscheidung beruht.

Quadratischer Aufwand. Der Vergleich jeder Position mit jeder ist die entscheidende Schranke. Sie ist der Grund, warum Kontextfenster lange klein blieben, und der Ausgangspunkt für FlashAttention und verwandte Verfahren.

Überzählige Köpfe. Untersuchungen zeigen, dass sich ein erheblicher Teil der Köpfe nach dem Training entfernen lässt, ohne dass die Leistung merklich fällt. Die Mehrköpfigkeit hilft offenbar beim Lernen mehr als beim Anwenden.

Ungleiche Verteilung. Viele Köpfe richten ihre Aufmerksamkeit überwiegend auf wenige Sonderpositionen – häufig das erste Element der Folge. Dieses Verhalten wird als Ablage für ungenutzte Aufmerksamkeit gedeutet und erschwert die Auslegung der Muster.

Fehlende Notwendigkeit. Arbeiten mit alternativen Mischverfahren erreichen auf manchen Aufgaben vergleichbare Ergebnisse. Ob Aufmerksamkeit unverzichtbar ist oder nur besonders gut zu heutiger Hardware passt, ist nicht abschließend geklärt.

Was mehrere Köpfe leisten

Die übliche Begründung für die Mehrköpfigkeit lautet, verschiedene Köpfe erfassten verschiedene Arten von Beziehung. Diese Darstellung ist anschaulich und nur teilweise belegt.

Belegt ist, dass sich einzelnen Köpfen ablesbare Rollen zuordnen lassen: Köpfe, die dem vorigen Element folgen, Köpfe, die Bezugswörter mit ihrem Bezug verbinden, Köpfe, die frühere Vorkommen desselben Musters aufsuchen. Letztere sind als Induction Heads eigens untersucht worden.

Nicht belegt ist, dass diese Aufteilung notwendig oder auch nur stabil wäre. Dieselbe Rolle erscheint in verschiedenen Trainingsläufen an verschiedenen Stellen, viele Köpfe zeigen kein deutbares Muster, und ein erheblicher Teil ist entbehrlich.

Die vorsichtigere Deutung lautet daher: Mehrere Köpfe geben dem Training mehr Wege, eine brauchbare Lösung zu finden – nicht eine Aufteilung nach Zuständigkeiten, sondern eine Vervielfachung der Versuche. Dass sich hinterher Rollen benennen lassen, ist ein Ergebnis der Untersuchung und war keine Vorgabe des Entwurfs.

Verwandte Begriffe

• Transformer – Architektur, deren Kern der Rechenschritt bildet
• Attention-Mechanismus – übergeordnetes Prinzip
• FlashAttention – Umsetzung, die den Speicherzugriff neu ordnet
• Positional Encoding – ergänzt die fehlende Ordnungsinformation
• Induction Heads – untersuchte Rolle einzelner Köpfe
• Long Context – Größe, die am quadratischen Aufwand hängt
• Mechanistic Interpretability – Feld, das die Köpfe untersucht

Quellenangaben

1. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
2. Jain, Sarthak / Wallace, Byron C., 2019. Attention is not Explanation. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 3543–3556. DOI: 10.18653/v1/N19-1357.
3. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.