GPT-2 ist ein 1,5 Milliarden Parameter großes Sprachmodell von OpenAI, angekündigt am 14. Februar 2019. Es zeigte erstmals im großen Maßstab, dass reine Skalierung eines einfachen Sprachmodellierungsziels zu überraschenden Zero-Shot-Fähigkeiten führt.
Zusammenfassung
Vorgänger war GPT-1 (2018), das unüberwachtes Pre-Training auf unlabeled Text mit überwachtem Fine-Tuning für einzelne Aufgaben verband. GPT-2 skalierte diesen Ansatz um etwa das Zehnfache – mehr Parameter, mehr Trainingsdaten – und trainierte auf WebText, einem eigens kuratierten Datensatz aus rund acht Millionen Webseiten mit etwa 40 Gigabyte Text, gefiltert unter anderem über Reddit-Links mit Mindest-Karma.
Die zentrale These des begleitenden Papers „Language Models are Unsupervised Multitask Learners”: Ein hinreichend großes, nur auf Wortvorhersage trainiertes Modell lernt weitere Aufgaben implizit mit – Übersetzung, Zusammenfassung, Frage-Antwort –, ohne dafür gezielt überwacht zu werden.
Der Zurückhaltungs-Vorfall
Bei der Ankündigung hielt OpenAI das volle Modell samt Trainingscode zunächst zurück. Begründung: Sorge vor missbräuchlicher Nutzung – gefälschte Nachrichtenartikel, Identitätsimitation, automatisierte Spam-Produktion. Stattdessen gab OpenAI kleinere Varianten gestaffelt frei: zunächst 124 Millionen Parameter, dann 355 Millionen, dann 774 Millionen, während ein interner „August Report” mögliche Missbrauchsfolgen dokumentierte.
Am 5. November 2019 folgte die vollständige Freigabe des 1,5-Milliarden-Parameter-Modells samt Gewichten. Nach neun Monaten Beobachtung hätten sich die befürchteten Missbrauchsszenarien nicht im erwarteten Ausmaß materialisiert, so die Begründung.
Methodische Grundlagen
GPT-2 ist ein reiner Decoder-Transformer ohne Encoder, aufgebaut auf denselben Grundprinzipien wie GPT-1. Trainiert wird ausschließlich auf ein einziges Ziel – die Vorhersage des nächsten Tokens – auf breitem, diversem Web-Text, ohne aufgabenspezifisches Fine-Tuning. Aufgaben werden allein über natürlichsprachliche Prompts ausgelöst, ohne gelabelte Beispiele für die jeweilige Aufgabe: Zero-Shot-Task-Transfer.
Kontroversen und Kritik
Die Zurückhaltungsentscheidung spaltete die KI-Forschungsgemeinschaft. Ein Teil begrüßte sie als umsichtige Präzedenz für den Umgang mit potenziell missbrauchsfähigen Modellen.
Andere Stimmen aus der ML-Community kritisierten sie scharf als PR-Maßnahme: Die zugrunde liegenden Techniken seien nicht neu gewesen, andere Labore hätten vergleichbare Modelle ohnehin reproduzieren können – die Zurückhaltung habe vor allem akademische Forschung behindert, ohne entschlossene Akteure zu stoppen.
Die Debatte gilt rückblickend als früher Bezugspunkt für spätere Diskussionen über gestaffelte, verantwortungsvolle Modellveröffentlichung, auf die auch spätere Anbieter Bezug nehmen.
Stand 2026
GPT-2 gilt als wichtiger Vorläufer für GPT-3 (2020), das denselben Skalierungsansatz um zwei weitere Größenordnungen fortsetzte, und als früher Beleg für die These, dass Fähigkeiten mit Modellgröße und Datenmenge emergent wachsen – ein Grundpfeiler der bis heute andauernden Scaling-Debatte.
Verwandte Begriffe
- In-Context Learning – verwandte Fähigkeit, die erst bei GPT-3 in voller Ausprägung sichtbar wurde
- Scaling Laws – die spätere Formalisierung des hier erstmals gezeigten Effekts
- Transformer – die zugrunde liegende Architektur
- Attention Is All You Need – der Ursprungsaufsatz dieser Architektur
Quellenangaben
- Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
- OpenAI, 2019. Better Language Models and Their Implications. openai.com, 14. Februar 2019.
- OpenAI, 2019. GPT-2: 1.5B Release. openai.com, 5. November 2019.
- Slate, 2019. OpenAI Says Its Text-Generating Algorithm GPT-2 Is Too Dangerous to Release. slate.com, Februar 2019.