Masked Language Modeling (MLM) ist ein Trainingsziel für Sprachmodelle, bei dem einzelne Wörter oder Token in einem Text durch einen Platzhalter verdeckt werden und das Modell lernt, sie aus dem umgebenden Kontext zu erschließen – links wie rechts der Lücke. Bekannt wurde das Verfahren durch BERT (2018), das damit erstmals bidirektionalen Kontext systematisch für das Vortraining nutzte.
Zusammenfassung
Sprachmodelle lassen sich grob nach ihrem Trainingsziel unterscheiden. Autoregressive Modelle wie die GPT-Reihe sagen das nächste Wort aus dem bisherigen Text voraus und sehen dabei nur, was links davon steht. Masked Language Modeling geht anders vor: Ein Teil der Wörter im Text wird verdeckt, und das Modell muss sie aus dem vollständigen umgebenden Kontext erschließen – auch aus dem, was erst danach folgt.
Diese bidirektionale Sicht macht MLM-trainierte Modelle stark für Aufgaben, die ein tiefes Verständnis eines vollständigen Textes erfordern – Klassifikation, Bedeutungserfassung, Suche –, aber ungeeignet für freies Erzeugen neuen Texts, da sie nicht darauf trainiert sind, Wort für Wort fortlaufend zu schreiben.
Jacob Devlin und Kollegen bei Google stellten das Verfahren 2018 mit BERT vor und etablierten es als Standard-Vortrainingsziel für eine ganze Modellfamilie – Encoder-Modelle, die Text verstehen, statt ihn zu generieren.
Begriffsgeschichte
Die Grundidee ist älter als ihre Anwendung im Deep Learning. Der Linguist Wilson Taylor beschrieb 1953 den Cloze-Test – ein Sprachverständnistest, bei dem Wörter aus einem Text entfernt und von Probanden ergänzt werden. Masked Language Modeling überträgt dieselbe Aufgabe auf ein neuronales Netz.
Vor BERT trainierten neuronale Sprachmodelle überwiegend autoregressiv oder mit flachen, unidirektionalen Verfahren wie Word2Vec. Devlin und Kollegen zeigten 2018, dass ein Transformer-Encoder, trainiert mit Masked Language Modeling und einer zweiten Aufgabe (Next Sentence Prediction), auf einer breiten Palette von Sprachverständnis-Benchmarks neue Bestwerte erzielte.
Yinhan Liu und Kollegen bei Facebook AI zeigten 2019 mit RoBERTa, dass sich die Leistung durch längeres Training, mehr Daten und den Verzicht auf Next Sentence Prediction weiter steigern ließ. Das MLM-Ziel selbst blieb dabei unverändert, nur die Trainingsführung wurde verbessert.
Kevin Clark und Kollegen bei Stanford und Google stellten 2020 mit ELECTRA eine Alternative vor: Statt Token zu maskieren, ersetzt ein kleines Generator-Modell einzelne Wörter, und das eigentliche Modell lernt, ersetzte von echten Token zu unterscheiden. Das ist ein rechnerisch effizienteres Trainingsziel, das aus jedem Token ein Lernsignal gewinnt statt nur aus den maskierten.
Mit dem Aufstieg autoregressiver Großmodelle ab GPT-3 (2020) verschob sich der Schwerpunkt der Branche auf generative, decoder-basierte Architekturen. MLM-trainierte Encoder-Modelle blieben dennoch die Grundlage vieler Embedding- und Retrieval-Systeme, weil ihr bidirektionales Textverständnis für diese Aufgaben besser geeignet ist als reines Fortschreiben.
Methodische Grundlagen
Maskierungsstrategie. BERTs ursprüngliches Verfahren ersetzt zufällig 15 Prozent der Token: 80 Prozent davon durch ein [MASK]-Symbol, 10 Prozent durch ein zufälliges anderes Wort, 10 Prozent bleiben unverändert (Devlin u. a. 2019). Diese Mischung verhindert, dass das Modell sich allein auf das Erkennen des Maskierungssymbols verlässt, das beim späteren Einsatz nicht mehr vorkommt.
Bidirektionaler Kontext. Anders als bei autoregressiven Modellen darf jedes Token beim Vorhersagen der Maske auf den gesamten übrigen Satz zugreifen, nicht nur auf vorangehende Wörter. Diese Eigenschaft macht MLM-Modelle für Verständnisaufgaben stark, aber strukturell ungeeignet für das serielle Erzeugen neuen Texts.
Vortraining und Fine-Tuning. Das MLM-Ziel dient fast ausschließlich dem Vortraining auf großen, unbeschrifteten Textmengen. Für konkrete Aufgaben – Klassifikation, Named-Entity-Recognition, Suche – wird das vortrainierte Modell anschließend per Fine-Tuning angepasst.
Verwandte Zielfunktionen. Permutation Language Modeling (XLNet, 2019) und ELECTRAs Replaced Token Detection sind Weiterentwicklungen, die versuchen, die Effizienznachteile des reinen Maskierens zu beheben, ohne den bidirektionalen Kontextvorteil aufzugeben.
Anwendungsfelder
Textklassifikation. Sentiment-Analyse, Themenerkennung und ähnliche Aufgaben profitieren vom vollständigen bidirektionalen Kontextverständnis MLM-trainierter Modelle.
Embedding-Modelle. Viele Modelle, die Text in Vektoren für Suche und Ähnlichkeitsvergleich überführen – etwa für Retrieval-Augmented Generation –, bauen auf BERT-artigen Encodern auf.
Named-Entity-Recognition und Informationsextraktion. Aufgaben, bei denen jedes Wort im Kontext des ganzen Satzes bewertet werden muss, profitieren strukturell von der bidirektionalen Sicht.
Grundlage für spezialisierte Modelle. Domänenspezifische Varianten wie BioBERT oder LegalBERT übernehmen die MLM-Trainingsmethode und wenden sie auf Fachtexte an.
Kontroversen und Kritik
Verzerrung durch das Maskierungssymbol. Weil [MASK] beim eigentlichen Einsatz des Modells nie vorkommt, entsteht eine Diskrepanz zwischen Trainings- und Anwendungsbedingungen – ein Kritikpunkt, den sowohl RoBERTa als auch ELECTRA auf unterschiedliche Weise zu entschärfen versuchen.
Ineffizientes Lernsignal. Da bei jedem Trainingsschritt nur ein kleiner Anteil der Token maskiert wird, liefert jeder Durchlauf vergleichsweise wenig Lernsignal – Clark und Kollegen führten dies 2020 als Hauptargument für ELECTRAs Alternative an.
Verdrängung durch generative Modelle. Mit dem kommerziellen Erfolg autoregressiver Großmodelle wie ChatGPT gerieten MLM-trainierte Encoder-Modelle aus dem öffentlichen Blickfeld, obwohl sie für viele Verständnisaufgaben weiterhin effizienter und passender bleiben als generative Modelle, die für diesen Zweck zweckentfremdet würden.
Stand 2025/2026
Masked Language Modeling ist Stand 2025/2026 kein dominantes Trainingsziel für neue Frontier-Modelle mehr, bleibt aber die Grundlage eines großen Teils der eingesetzten Embedding- und Klassifikationsmodelle – die Aufmerksamkeit hat sich verschoben, die technische Relevanz nicht in gleichem Maß.
Verwandte Begriffe
- Transformer – die Architektur, auf der BERT und seine Nachfolger aufbauen
- Large Language Models – Oberbegriff, unter den sowohl MLM- als auch autoregressiv trainierte Modelle fallen
- Pre-Training – die Trainingsphase, in der Masked Language Modeling zum Einsatz kommt
Quellenangaben
- Clark, Kevin / Luong, Minh-Thang / Le, Quoc V. / Manning, Christopher D., 2020. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. arXiv: 2003.10555.
- Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of NAACL-HLT 2019, S. 4171–4186. DOI: 10.18653/v1/N19-1423. Zuerst erschienen als Preprint arXiv: 1810.04805, Oktober 2018.
- Liu, Yinhan / Ott, Myle / Goyal, Naman u. a., 2019. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv: 1907.11692.
- Taylor, Wilson L., 1953. Cloze Procedure: A New Tool for Measuring Readability. In: Journalism Quarterly 30 (4), S. 415–433.