Kontextfenster

Das Kontextfenster ist die Höchstmenge an Text- und sonstigen Einheiten, die ein Sprachmodell bei einer einzelnen Anfrage gleichzeitig berücksichtigen kann – Eingabe und Ausgabe zusammengenommen. Es ist kein Speicher über Anfragen hinweg, sondern ein Budget, das mit jeder Anfrage neu ausgeschöpft wird.

Zusammenfassung

Der Ausdruck wird oft so verstanden, als beschriebe er nur die Eingabe – wie viel Text man einem Modell vorlegen kann. Tatsächlich zählt mehr hinein: die Systemanweisung, sämtliche bisherigen Nachrichten, Werkzeugdefinitionen und die vom Modell selbst erzeugte Ausgabe teilen sich dasselbe Budget.

Diese Gemeinsamkeit hat eine unmittelbare Folge. Ein langes Gespräch verkleinert den verbleibenden Platz für jede weitere Antwort, bis irgendwann entweder gekürzt, zusammengefasst oder abgebrochen werden muss.

Die auf einem Modell-Datenblatt genannte Zahl beschreibt damit eine Kapazitätsgrenze, keine Garantie für gleichmäßige Nutzung. Was ein Modell innerhalb dieser Grenze tatsächlich zuverlässig verwendet, ist eine andere, eigenständig untersuchte Frage – dazu Long Context.

Abgrenzung

Long Context – bezeichnet die Fähigkeit und ihre Entwicklungsgeschichte: wie Kontextfenster so groß wurden, wie sie messbar sind, und warum angegebene Länge nicht gleich nutzbare Länge ist. Das Kontextfenster ist der Gegenstand dieser Fähigkeit, nicht die Fähigkeit selbst.

Trainingsdaten – sind das Wissen, das ein Modell dauerhaft in seinen Gewichten trägt. Das Kontextfenster ist temporär: Es existiert nur für die Dauer einer Anfrage und verschwindet danach vollständig.

Begriffsgeschichte

Frühe Transformer-Sprachmodelle arbeiteten mit wenigen hundert Einheiten. GPT-3 kam 2020 mit 2.048 Einheiten aus (Brown u. a. 2020) – genug für einen kurzen Absatz, nicht für ein Dokument.

2023 verschob sich die Größenordnung deutlich: GPT-4 startete mit 8.192 Einheiten und einer erweiterten Variante mit 32.768 (OpenAI 2023). Claude 2 bot im selben Jahr mit 100.000 Einheiten die bis dahin größte verfügbare Grenze (Anthropic 2023). Ab 2024 folgten Modelle mit einer Million Einheiten und mehr.

Mit dieser Ausweitung wandelte sich der Sprachgebrauch. Wo „Kontextfenster” zunächst schlicht die Eingabegrenze meinte, wird der Ausdruck heute genauer verwendet – als gemeinsames Budget aus Eingabe und Ausgabe, wie es die Programmierschnittstellen der Anbieter mittlerweile explizit dokumentieren.

Methodische Grundlagen

Was hineinzählt. Systemanweisung, jede Nachricht im bisherigen Gesprächsverlauf einschließlich Werkzeugergebnissen und Anhängen, die Definitionen bereitgestellter Werkzeuge sowie die vom Modell erzeugte Ausgabe selbst – bei Modellen mit Zwischenschritten auch deren interne Gedankenschritte. All das teilt sich ein einziges Budget (Anthropic 2026).

Warum es eine Grenze gibt. Zwei technische Umstände setzen sie. Die Positionskodierung eines Modells ist auf einen bestimmten Längenbereich trainiert, jenseits dessen sie sich nur mit Genauigkeitsverlust dehnen lässt.

Der Rechenaufwand der Aufmerksamkeitsberechnung wächst zudem quadratisch mit der Länge, was jede weitere Vergrößerung überproportional teuer macht – siehe Attention-Mechanismus.

Kein harter Architekturdeckel. Die Grenze ist eine trainierte und vertraglich zugesicherte Größe, keine unüberwindbare Bauweise. Anbieter können sie durch Nachschulung verschieben, wie die Geschichte der letzten Jahre zeigt.

Eingabe- und Ausgabegrenze getrennt gesteuert. Innerhalb des Gesamtbudgets legen Schnittstellen meist zusätzlich fest, wie viele Einheiten die Ausgabe allein erzeugen darf – eine Teilmenge des Fensters, keine eigenständige zweite Grenze.

Überschreitung. Reicht schon die Eingabe allein nicht in das Fenster, weist die Schnittstelle die Anfrage zurück; wird die Grenze erst während der Erzeugung der Antwort erreicht, bricht die Ausgabe an dieser Stelle ab.

Anwendungsfelder

Preisgestaltung von Programmierschnittstellen. Anbieter staffeln Kosten häufig nach Kontextlänge – Anfragen, die einen bestimmten Umfang überschreiten, werden zu einem höheren Satz abgerechnet, unabhängig vom restlichen Inhalt.

Gesprächsoberflächen. In Chat-Anwendungen füllt sich das Fenster mit jeder Runde weiter. Manche Oberflächen verwalten das nach dem Prinzip „zuerst hinein, zuerst hinaus” und verwerfen ältere Nachrichten; andere fassen frühere Abschnitte automatisch zusammen, um Platz zu schaffen.

Agentische Systeme. Systeme, die über viele Schritte selbstständig arbeiten, erzeugen laufend neuen Kontext aus Werkzeugergebnissen. Das verfügbare Restbudget wird hier zur eigenständigen Steuergröße, die manche Modelle inzwischen selbst verfolgen.

Kontroversen und Kritik

Angegebene gegen genutzte Länge. Der verbreitetste Einwand betrifft nicht das Kontextfenster selbst, sondern seine Wahrnehmung: Eine große Zahl auf dem Datenblatt legt nahe, der gesamte Raum werde gleichmäßig genutzt. Untersuchungen zu Long Context zeigen durchgängig, dass das nicht zutrifft.

Unterschätzter Verbrauch. Werkzeugdefinitionen, Systemanweisungen und interne Zwischenschritte zählen mit, werden von Nutzenden aber oft übersehen – ein Gespräch kann spürbar früher an die Grenze stoßen, als die reine Wortmenge vermuten ließe.

Kosten wachsen schneller als der Nutzen. Weil der Rechenaufwand quadratisch steigt, ist ein voll ausgeschöpftes großes Fenster unverhältnismäßig teuer im Vergleich zu einem knapp und gezielt zusammengestellten Kontext – das Kernargument für Context Engineering als Gegenentwurf.

Marketinggröße statt Produktmerkmal. Da Kontextfenstergrößen leicht vergleichbare Zahlen liefern, geraten sie leicht zum Wettbewerbsmerkmal, obwohl die tatsächliche Nützlichkeit von der Nutzung innerhalb des Fensters abhängt, nicht von dessen Größe allein.

Quellenangaben

Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
Anthropic, 2023. Introducing 100K Context Windows. Tweet/Announcement, Mai 2023. https://x.com/AnthropicAI/status/1656700154190389248.
OpenAI, 2023. GPT-4 Technical Report. arXiv: 2303.08774.
Anthropic, 2026. Context Windows. platform.claude.com/docs.

← Zurück zur Lexikon-Übersicht