Long Context

Long Context (deutsch langer Kontext) bezeichnet die Fähigkeit eines Sprachmodells, sehr große Eingaben zu verarbeiten – Stand 2026 üblicherweise Hunderttausende bis über eine Million Einheiten. Der Begriff beschreibt zugleich eine technische Eigenschaft und ein Werbeversprechen, die auseinanderfallen.

Zusammenfassung

Die Kontextlänge ist die Menge an Text, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann. Sie ist keine Eigenschaft der Sprache, sondern eine Entwurfsgrenze – und sie war lange die spürbarste Beschränkung der Modelle.

Zwischen 2020 und 2026 wuchs sie um mehr als drei Größenordnungen: von einigen tausend auf über eine Million Einheiten. Möglich wurde das durch zwei getrennte Fortschritte – speichersparende Rechenverfahren wie FlashAttention und dehnbare Positionskodierungen.

Damit entstand ein neues Problem. Ein Modell kann eine Million Einheiten entgegennehmen, ohne sie gleichmäßig zu verwenden. Angaben zur Kontextlänge sagen, was hineinpasst, nicht was ankommt.

Die Messung dieser Lücke ist selbst umstritten. Die gebräuchlichste Prüfung – eine Angabe im Text verstecken und danach fragen – gilt als zu einfach und wird von Modellen bestanden, die längere Zusammenhänge nicht erfassen.

Begriffsgeschichte

Die frühen Transformer arbeiteten mit 512 Einheiten. Das genügte für einzelne Absätze und war durch den quadratisch wachsenden Speicherbedarf der Aufmerksamkeit begrenzt.

Bis 2022 galten Näherungsverfahren als der Weg zu längeren Fenstern. Sie ersetzten die vollständige Aufmerksamkeit durch ausgewählte Positionspaare – wirksam in der Theorie, in großen Modellen selten übernommen.

Der Durchbruch kam von zwei Seiten. FlashAttention machte 2022 die vollständige Aufmerksamkeit speichersparend berechenbar. Die rotierende Positionskodierung erlaubte es, ein trainiertes Modell nachträglich auf größere Längen zu dehnen.

2023 erschienen Modelle mit 100.000 Einheiten, 2024 die ersten mit einer Million. Parallel setzte die Kritik ein: Untersuchungen zeigten, dass Angaben in der Mitte langer Kontexte schlechter verwendet werden als solche am Rand.

Seit 2024 hat sich die Aufmerksamkeit von der Länge zur Nutzbarkeit verschoben – und mit ihr zu Verfahren, die den Kontext gezielt zusammenstellen, statt ihn zu füllen.

Methodische Grundlagen

Die zwei Schranken. Speicher und Bedeutung sind getrennte Grenzen. Speicherverfahren bestimmen, was berechenbar ist; die Positionskodierung bestimmt, was verortbar ist. Beide mussten fallen.

Streckung im Nachhinein. Weil die rotierende Kodierung auf Winkeln beruht, lassen sich diese dehnen. Ein für 8.000 Einheiten trainiertes Modell verarbeitet danach 128.000 – nach kurzer Nachschulung und mit ungleicher Güte.

Zwischenspeicher der Schlüssel und Werte. Beim Erzeugen von Text werden Schlüssel- und Wertvektoren aller bisherigen Positionen aufbewahrt. Dieser Speicher wächst linear mit der Länge und ist bei langen Kontexten der eigentliche Kostenblock.

Verfahren mit begrenztem Blick. Manche Modelle wechseln zwischen Schichten mit vollständiger und solchen mit örtlich begrenzter Aufmerksamkeit. Das senkt den Aufwand, begrenzt aber die Reichweite in den betroffenen Schichten.

Kosten der Länge. Die Rechenzeit wächst mit dem Quadrat, die Abrechnung meist linear. Eine Million Einheiten zu füllen, ist damit auch dort teuer, wo es technisch möglich ist.

Anwendungsfelder

Arbeit an ganzen Dokumenten. Verträge, Studien, Gesetzestexte lassen sich vollständig übergeben, statt sie zu zerlegen und einzeln abzufragen.

Codebasen. Ein Modell, das ein ganzes Projekt sieht, findet Zusammenhänge, die einer abschnittsweisen Betrachtung entgehen.

Agentische Läufe. Systeme, die über Stunden arbeiten, erzeugen laufend Kontext. Lange Fenster verschieben die Grenze, ab der verdichtet werden muss.

Alternative zum Abruf. Bei mittelgroßen Beständen kann das vollständige Einspielen den Abruf ersetzen – zu höheren Kosten, aber ohne das Risiko, das Falsche auszuwählen.

Kontroversen und Kritik

Angegebene und nutzbare Länge. Der zentrale Einwand. Modelle nennen Fenstergrößen, die sie nicht gleichmäßig ausschöpfen. Untersuchungen finden regelmäßig, dass die Güte deutlich vor der angegebenen Grenze abfällt.

Die Schwäche in der Mitte. Die Arbeit Lost in the Middle zeigte 2023, dass Angaben am Anfang und am Ende zuverlässiger verwendet werden als solche dazwischen. Das Muster wurde vielfach bestätigt und ist bis heute nicht vollständig behoben.

Untaugliche Prüfungen. Die verbreitete Nadel-im-Heuhaufen-Prüfung sucht eine wörtlich eingefügte Angabe. Sie misst Auffinden, nicht Verstehen – ein Modell kann sie bestehen und dennoch an einer Frage scheitern, die zwei entfernte Stellen verbinden muss.

Kosten gegen Nutzen. Ein voll ausgeschöpftes Fenster ist teuer und langsam. In vielen Fällen liefert ein sorgfältig ausgewählter Ausschnitt bessere Antworten zu einem Bruchteil des Aufwands – das Argument des Context Engineering.

Verdrängung des Abrufs. Die These, lange Kontexte machten abrufgestützte Verfahren entbehrlich, hat sich nicht bestätigt. Bei großen Beständen bleibt Auswahl notwendig, und die Kosten sprechen ebenfalls dagegen.

Warum mehr Platz nicht mehr Aufmerksamkeit ist

Die Kontextlänge wird als Kennzahl behandelt wie Speicherplatz: mehr ist besser, und was hineinpasst, ist verfügbar. Diese Vorstellung trifft nicht zu.

Ein Modell verteilt bei jedem erzeugten Element seine Aufmerksamkeit über den gesamten Kontext. Diese Verteilung summiert sich zu eins – was einer Stelle zufällt, fehlt einer anderen. Ein längerer Kontext bedeutet daher nicht mehr Aufmerksamkeit, sondern dieselbe Menge auf mehr Material verteilt.

Daraus folgt, dass zusätzlicher Kontext den Blick auf das Erhebliche verwässern kann. Wer einem Modell zehn erhebliche und tausend beiläufige Absätze gibt, macht die Aufgabe schwerer als jemand, der nur die zehn gibt.

Die Kennzahl misst damit eine andere Größe, als ihre Verwendung nahelegt. Sie sagt, wie viel ein Modell entgegennimmt – nicht, wie viel es dabei behält, und schon gar nicht, wie viel es verbindet. Für die praktische Arbeit ist die zweite Frage die entscheidende, und sie steht in keinem Datenblatt.

Quellenangaben

Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
Liu, Hao / Zaharia, Matei / Abbeel, Pieter (2024): Ring Attention with Blockwise Transformers for Near-Infinite Context. In: Proceedings of ICLR 2024. arXiv: 2310.01889.
Liu, Nelson F. u. a., 2024. Lost in the Middle: How Language Models Use Long Contexts. In: Transactions of the Association for Computational Linguistics 12, S. 157–173. arXiv: 2307.03172.
Su, Jianlin / Lu, Yu / Pan, Shengfeng u. a. (2024): RoFormer: Enhanced Transformer with Rotary Position Embedding. In: Neurocomputing 568. arXiv: 2104.09864.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.