Positional Encoding

Positional Encoding (deutsch Positionskodierung) bezeichnet Verfahren, die einem Transformer die Reihenfolge seiner Eingabe mitteilen. Die Aufmerksamkeitsrechnung ist von sich aus reihenfolgeblind – ohne einen solchen Zusatz wäre für sie Hund beißt Mann dasselbe wie Mann beißt Hund.

Zusammenfassung

Die Blindheit ist keine Nachlässigkeit, sondern eine Folge des Entwurfs. Multi-Head Attention vergleicht jede Position mit jeder, ohne dabei auf ihren Abstand zu achten. Vertauscht man die Eingabe, vertauscht sich die Ausgabe – mehr geschieht nicht.

Genau diese Eigenschaft macht die Architektur schnell: Alle Positionen lassen sich gleichzeitig berechnen, während ältere Netze die Folge Schritt für Schritt durchliefen. Die Reihenfolge muss dafür anders zugeführt werden.

Die ursprüngliche Arbeit von 2017 verwendete Sinus- und Kosinusfunktionen verschiedener Wellenlängen. Spätere Modelle lernten die Positionsvektoren, und ab 2021 setzte sich ein Verfahren durch, das die Vektoren stattdessen im Raum dreht.

Diese rotierende Kodierung ist heute in praktisch allen großen Sprachmodellen zu finden. Sie kodiert relative statt absolute Abstände und lässt sich nachträglich strecken – die Grundlage vieler nachgereichter Kontextverlängerungen.

Begriffsgeschichte

Rekurrente Netze brauchten keine Positionskodierung. Sie verarbeiteten die Folge nacheinander, sodass die Reihenfolge im Ablauf steckte. Der Preis war, dass sich nichts parallelisieren ließ.

Der Transformer tauschte diesen Preis gegen einen anderen. Die Parallelität war der Gewinn, die Reihenfolgeblindheit die Rechnung – und die Positionskodierung die Antwort darauf.

Die sinusförmige Lösung von 2017 hatte einen theoretischen Reiz: Weil sich Verschiebungen als Linearkombinationen darstellen lassen, sollte das Modell relative Abstände erschließen können. In der Praxis zeigte sich, dass gelernte Positionsvektoren ähnlich gut abschnitten.

Beide Varianten teilten eine Schwäche. Sie kodieren absolute Positionen, sodass ein Modell mit Text jenseits der trainierten Länge nichts anfangen kann.

2021 schlugen Jianlin Su und Kollegen mit der rotierenden Kodierung eine Lösung vor, die den Abstand zwischen zwei Positionen unmittelbar in die Aufmerksamkeitsrechnung einbringt. Im selben Jahr erschien mit einer linearen Abstandsstrafe ein zweiter Vorschlag, der auf Positionsvektoren ganz verzichtet.

Methodische Grundlagen

Sinusförmige Kodierung. Jeder Position wird ein Vektor aus Sinus- und Kosinuswerten unterschiedlicher Wellenlängen zugewiesen und zur Eingabe addiert. Die Wellenlängen reichen von wenigen Positionen bis zu mehreren Zehntausend.

Gelernte Positionsvektoren. Für jede Position wird ein eigener Vektor trainiert. Das ist einfach und wirksam, begrenzt die Länge aber hart auf die trainierte Anzahl.

Rotierende Kodierung. Statt etwas zu addieren, werden Anfrage- und Schlüsselvektoren paarweise um einen positionsabhängigen Winkel gedreht. Beim Skalarprodukt zweier Positionen bleibt nur ihr Winkelunterschied übrig – der relative Abstand.

Lineare Abstandsstrafe. Ein Gegenentwurf verzichtet auf Positionsvektoren und zieht stattdessen von jedem Aufmerksamkeitswert einen Betrag ab, der mit dem Abstand wächst. Weiter entfernte Positionen werden damit systematisch schwächer gewichtet.

Streckung im Nachhinein. Weil die rotierende Kodierung auf Winkeln beruht, lassen sich diese nachträglich dehnen. Ein Modell, das für 4.000 Positionen trainiert wurde, verarbeitet nach einer solchen Anpassung deutlich längere Eingaben – mit einer kurzen Nachschulung.

Anwendungsfelder

Große Sprachmodelle. Die rotierende Kodierung ist der Standard und der Grund, weshalb sich Kontextfenster nachträglich vergrößern lassen, ohne neu zu trainieren.

Bildverarbeitung. Der Vision Transformer benötigt eine zweidimensionale Entsprechung, weil Bildfelder in Zeilen und Spalten angeordnet sind.

Zeitreihen und Audio. Wo der Abstand zwischen Messpunkten eine physikalische Bedeutung hat, ist die Kodierung nicht bloß Ordnungshilfe, sondern trägt die Information selbst.

Programmcode. Bei Quelltext ist die Verschachtelung oft erheblicher als der Abstand in Zeichen – ein Fall, für den die üblichen Verfahren nicht entworfen wurden.

Kontroversen und Kritik

Schwäche in der Mitte. Eine viel zitierte Untersuchung von 2023 zeigte, dass Modelle Angaben am Anfang und am Ende langer Kontexte zuverlässiger verwenden als solche in der Mitte. Die Positionskodierung ist an diesem Muster beteiligt, ohne es allein zu erklären.

Streckung ist kein Verstehen. Ein nachträglich gedehntes Modell verarbeitet längere Eingaben, nutzt sie aber nicht gleichmäßig. Die nutzbare Länge liegt regelmäßig unter der angegebenen – eine Lücke, die in Werbeangaben selten auftaucht.

Keine sprachliche Struktur. Alle gängigen Verfahren kodieren Abstand in Zeichen oder Einheiten. Sprachliche Nähe folgt aber der Satzstruktur: Ein Bezugswort kann weit entfernt und dennoch unmittelbar zugehörig sein.

Fehlende Vergleichbarkeit. Verfahren werden meist innerhalb einer Modellfamilie verglichen. Saubere Vergleiche bei gleicher Modellgröße, gleichen Daten und gleichem Rechenbudget sind selten.

Unklarer Anteil. Wie viel der Fähigkeit, mit langen Texten umzugehen, auf die Kodierung entfällt und wie viel auf Trainingsdaten und Aufmerksamkeitsverfahren, ist nicht sauber getrennt.

Der Zusatz, der zur Stellschraube wurde

Positionskodierung erscheint in Darstellungen der Architektur meist als Randnotiz – ein technischer Zusatz, damit die Rechnung funktioniert. Tatsächlich ist sie zur wichtigsten Stellschraube für die Kontextlänge geworden.

Der Grund liegt in einer Asymmetrie. Der quadratische Rechenaufwand der Aufmerksamkeit lässt sich durch bessere Umsetzung mildern; daran arbeiten FlashAttention und verwandte Verfahren. Die Positionskodierung dagegen begrenzt nicht die Rechenzeit, sondern die Bedeutung: Was das Modell nicht verorten kann, kann es nicht verwenden.

Deshalb sind die spektakulären Sprünge der letzten Jahre – von wenigen tausend auf Hunderttausende Einheiten – überwiegend Fortschritte der Positionskodierung und nicht der Aufmerksamkeit.

Und deshalb ist die Lücke zwischen angegebener und nutzbarer Länge dort zu suchen. Ein Modell, dessen Winkel über das Trainierte hinaus gedehnt wurden, bewegt sich in einem Bereich, für den es nie Beispiele gesehen hat – es rechnet weiter, aber es weiß weniger.

Quellenangaben

Liu, Nelson F. u. a., 2024. Lost in the Middle: How Language Models Use Long Contexts. In: Transactions of the Association for Computational Linguistics 12, S. 157–173. arXiv: 2307.03172.
Press, Ofir / Smith, Noah A. / Lewis, Mike (2022): Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. In: Proceedings of ICLR 2022. arXiv: 2108.12409.
Su, Jianlin / Lu, Yu / Pan, Shengfeng u. a. (2024): RoFormer: Enhanced Transformer with Rotary Position Embedding. In: Neurocomputing 568. arXiv: 2104.09864.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.