Causal Language Modeling (CLM) bezeichnet ein Trainingsziel für Sprachmodelle, bei dem jedes Token einer Sequenz ausschließlich aus den vorangegangenen Tokens vorhergesagt wird, ohne Zugriff auf spätere Tokens – das Grundprinzip hinter GPT und praktisch allen heutigen generativen Chat-Modellen.
Zusammenfassung
Ein Sprachmodell, das mit Causal Language Modeling trainiert wird, lernt bei jedem Trainingsschritt, das jeweils nächste Token einer Sequenz vorherzusagen, wobei ihm ausschließlich die vorangegangenen Tokens zur Verfügung stehen.
Diese strikt einseitige, autoregressive Informationsverarbeitung unterscheidet CLM grundlegend vom Masked Language Modeling, bei dem ein Modell einzelne verdeckte Tokens aus dem gesamten umgebenden Kontext – vor und nach der Lücke – erschließt.
Begriffsgeschichte
Das Grundprinzip reicht bis zu klassischen statistischen n-Gramm-Sprachmodellen zurück, die die Wahrscheinlichkeit eines Wortes stets aus vorangegangenen Wörtern schätzten. In der heutigen, auf dem Transformer basierenden Form etablierte sich der Begriff mit GPT-1 (2018), das dieses klassische Trainingsziel erstmals mit einer reinen Decoder-Architektur und großangelegtem Pre-Training kombinierte.
Methodische Grundlagen
Technisch wird die Einseitigkeit über eine kausale Attention-Maske erzwungen: Jedes Token darf beim Berechnen seiner Repräsentation nur auf sich selbst und vorangegangene Tokens zugreifen, spätere Tokens bleiben maskiert.
Dieselbe Architektur, die für das Training verwendet wird, lässt sich dadurch unmittelbar auch zur Texterzeugung nutzen – ein Modell erzeugt einfach Token für Token, wobei jedes neu erzeugte Token sofort Teil des Kontexts für das nächste wird.
Anwendungsfelder
Causal Language Modeling ist das dominierende Trainingsziel für generative Anwendungen wie Textvervollständigung, Dialogsysteme und Code-Erzeugung, da dieselbe Architektur, mit der trainiert wird, direkt zur schrittweisen Texterzeugung eingesetzt werden kann.
Masked Language Modeling eignet sich dagegen besser für Aufgaben, die ein vollständiges Verständnis eines gesamten, bereits vorliegenden Textes erfordern, etwa Klassifikation oder Informationsextraktion.
Kontroversen und Kritik
Die strikte Einseitigkeit ist zugleich eine Einschränkung: Ein rein kausal trainiertes Modell kann bei der Verarbeitung eines Tokens nicht direkt von späterem Kontext profitieren, selbst wenn dieser für die Aufgabe relevant wäre. Diese Grenze motivierte hybride Ansätze und spätere Architekturvarianten, die versuchen, die Vorteile bidirektionaler Kontextverarbeitung mit der Erzeugungsfähigkeit kausaler Modelle zu verbinden.
Verwandte Begriffe
- Transformer – Architekturfamilie, auf der heutige CLM-Modelle basieren
- Pre-Training – Trainingsphase, in der CLM typischerweise angewendet wird
Quellenangaben
- Radford, Alec u. a., 2018. Improving Language Understanding by Generative Pre-Training. OpenAI.