GPT-1 ist das im Juni 2018 von OpenAI veröffentlichte erste Modell der GPT-Reihe (Generative Pre-trained Transformer), vorgestellt in der Arbeit Improving Language Understanding by Generative Pre-Training von Alec Radford, Karthik Narasimhan, Tim Salimans und Ilya Sutskever.
Mit 117 Millionen Parametern (Radford u. a. 2018) demonstrierte es erstmals das heute kanonische Pretrain-Finetune-Paradigma: unüberwachtes Vortraining auf unbeschriftetem Text, gefolgt von einer kurzen Feinabstimmung je Zielaufgabe.
Zusammenfassung
Vor GPT-1 wurden Modelle für Sprachverständnis meist für jede Aufgabe von Grund auf mit aufgabenspezifisch beschrifteten Daten trainiert – ein Ansatz, der große Mengen teurer, manuell annotierter Daten voraussetzte. Radford und Kollegen zeigten, dass sich dieser Bedarf drastisch senken lässt, wenn ein Modell zunächst allgemeines Sprachverständnis aus unbeschriftetem Text lernt.
Architektonisch nutzte GPT-1 einen Decoder-only-Transformer mit zwölf Schichten, trainiert durch Causal Language Modeling: Das Modell sagt bei jedem Schritt das nächste Wort einer Sequenz voraus, ohne dass dafür beschriftete Daten nötig sind.
Als Trainingskorpus diente der BooksCorpus mit rund 7.000 unveröffentlichten Büchern (Radford u. a. 2018) – gewählt, weil zusammenhängende Bücher längere Textabschnitte mit kohärentem Kontext liefern als kurze, thematisch gestreute Webseiten.
Nach diesem Vortraining wurde das Modell mit vergleichsweise wenigen zusätzlichen Trainingsschritten auf konkrete Aufgaben umgestellt – Textklassifikation, Textfolgerung, semantische Ähnlichkeit, Multiple-Choice-Verständnis. Auf neun von zwölf untersuchten Benchmarks übertraf GPT-1 die damaligen aufgabenspezifisch trainierten State-of-the-Art-Systeme, obwohl es für jede einzelne Aufgabe nur minimal angepasst wurde.
Begriffsgeschichte
Die Idee, Sprachmodelle unüberwacht vorzutrainieren und danach für konkrete Aufgaben feinabzustimmen, war 2018 nicht neu – Wortvektor-Verfahren wie Word2Vec und GloVe sowie das kurz zuvor veröffentlichte ULMFiT (Howard/Ruder 2018) verfolgten verwandte Ideen.
Neu an GPT-1 war die Kombination aus Transformer-Architektur, generativem Vortraining auf Satzebene statt nur auf Wortebene und einem einheitlichen Feinabstimmungsschema, das für sehr unterschiedliche Aufgabentypen ohne aufgabenspezifische Architekturänderungen funktionierte.
Die Arbeit erschien wenige Monate nach Attention Is All You Need (Vaswani u. a. 2017) und war eine der ersten, die die neue Transformer-Architektur für generatives Sprachmodellieren statt für Übersetzung einsetzte.
Fast zeitgleich veröffentlichte Google mit BERT (Devlin u. a., Oktober 2018) einen konkurrierenden Ansatz mit einem Encoder-only-Transformer und bidirektionalem Masked-Language-Modeling – die beiden Architekturen setzten unterschiedliche Prioritäten: BERT für tiefes bidirektionales Sprachverständnis, GPT für autoregressive Texterzeugung.
GPT-1 blieb öffentlich zugänglich und löste keine der Debatten aus, die spätere GPT-Modelle begleiteten. Erst der Nachfolger GPT-2 (Februar 2019) provozierte mit OpenAIs zunächst eingeschränkter Freigabe die erste Diskussion über die Risiken generativer Sprachmodelle.
Methodische Grundlagen
Zweistufiges Training. Das Modell durchläuft zunächst unüberwachtes generatives Vortraining auf großen, unbeschrifteten Textmengen, danach überwachte Feinabstimmung auf einem vergleichsweise kleinen, aufgabenspezifisch beschrifteten Datensatz – die Grundstruktur, die praktisch jedes spätere große Sprachmodell übernommen hat.
Einheitliche Eingabedarstellung. Um unterschiedliche Aufgabentypen (etwa Textpaare bei Ähnlichkeitsvergleichen oder mehrere Antwortoptionen bei Multiple-Choice) mit derselben Architektur zu bearbeiten, wandelten die Autoren jede Aufgabe in eine einzelne, strukturierte Token-Sequenz um, statt für jede Aufgabe eine eigene Modellarchitektur zu entwerfen.
Decoder-only-Transformer. GPT-1 verwendet ausschließlich den Decoder-Teil der Transformer-Architektur mit maskierter Self-Attention, sodass jede Position nur auf vorangehende Positionen zugreifen kann – die Voraussetzung für autoregressive, Wort-für-Wort-Texterzeugung.
Anwendungsfelder
Grundlage der GPT-Reihe. GPT-1 etablierte die Bauform, auf der GPT-2, GPT-3 und alle nachfolgenden Modelle der Reihe aufbauen – jede weitere Generation vergrößerte im Wesentlichen dieselbe Grundarchitektur und den Trainingsdatensatz, ohne das Grundprinzip zu ändern.
Vorbild für das Pretrain-Finetune-Paradigma. Das zweistufige Trainingsschema wurde zum Standardverfahren für praktisch alle nachfolgenden großen Sprachmodelle, unabhängig davon, ob sie GPT-1s Decoder-only-Architektur oder BERTs Encoder-only-Ansatz folgten.
Kontroversen und Kritik
Geringe öffentliche Wirkung. Anders als GPT-2 und GPT-3 löste GPT-1 bei seiner Veröffentlichung keine breitere Debatte aus – die Modellgröße und die erzeugten Texte galten damals nicht als gesellschaftlich brisant, eine Einschätzung, die sich mit den folgenden, deutlich größeren Modellen der Reihe grundlegend änderte.
Begrenzte Trainingsdaten. Der BooksCorpus mit rund 7.000 Büchern (Radford u. a. 2018) ist im Vergleich zu den Trainingskorpora späterer GPT-Modelle winzig; die im Nachhinein sichtbare Bedeutung der Arbeit liegt weniger in der absoluten Leistungsfähigkeit als im demonstrierten Prinzip.
Stand 2025/2026
GPT-1 selbst ist seit Langem ohne praktische Anwendung und dient nur noch als historischer Referenzpunkt. Das von ihm demonstrierte Pretrain-Finetune-Prinzip – in seiner heutigen Form meist ohne separate Feinabstimmungsphase, sondern mit In-Context-Learning oder Instruction-Tuning – bleibt jedoch die methodische Grundlage praktisch aller aktuellen großen Sprachmodelle.
Verwandte Begriffe
- Large Language Models – die Modellklasse, deren Pretrain-Finetune-Prinzip GPT-1 erstmals demonstrierte
- Pre-Training – das von GPT-1 demonstrierte Vortrainingsprinzip
- OpenAI – Urheberin des Modells
Quellenangaben
- Howard, Jeremy / Ruder, Sebastian, 2018. Universal Language Model Fine-tuning for Text Classification. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), S. 328–339. arXiv: 1801.06146.
- Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
- Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.