Lexikon-Thema: Sprachmodelle

Das Kontextfenster ist das Token-Budget eines Sprachmodells je Anfrage – was hineinzählt, warum es begrenzt ist und was oft übersehen wird.

Causal Language Modeling sagt jedes Token nur aus vorangegangenen Tokens vorher – das Trainingsziel hinter GPT und praktisch allen heutigen Chat-Modellen.

Maschinelle Übersetzung durchlief drei Paradigmen – regelbasiert, statistisch, neuronal – und lieferte einen Grundbaustein moderner Sprachmodelle.

Self-Consistency lässt ein Sprachmodell 2022 mehrere Denkpfade durchlaufen und wählt die Mehrheitsantwort – Genauigkeitsgewinn ohne Nachtraining.

Extended Thinking ist Anthropics Bezeichnung für ein Claude-Reasoning-Modell, dessen sichtbare Denkzeit sich über ein Token-Budget gezielt steuern lässt.

A Neural Probabilistic Language Model (Bengio u. a. 2003) führte gelernte Wort-Vektoren ein – die Vorstufe der Embeddings heutiger Sprachmodelle.

Open Washing bezeichnet die Praxis, ein KI-Modell als offen zu bewerben, ohne die für Prüfbarkeit nötigen Angaben zu Daten und Training preiszugeben.

Datenknappheit bezeichnet die absehbare Erschöpfung verfügbaren, von Menschen erzeugten Textmaterials – eine wachsende Grenze für Sprachmodell-Training.

Prompt Tuning trainiert nur wenige lernbare Eingabe-Vektoren statt der Modellgewichte – ein parametersparender Weg, ein Sprachmodell an eine Aufgabe anzupassen.

Masked Language Modeling trainiert Modelle darauf, verdeckte Wörter aus dem Kontext zu erschließen – BERTs Trainingsziel, anders als autoregressive Vorhersage.