GPT-3

GPT-3 ist das im Mai 2020 von OpenAI vorgestellte Sprachmodell mit 175 Milliarden Parametern, das erstmals zeigte, dass ein hinreichend großes vortrainiertes Modell neue Aufgaben allein aus Beispielen im Eingabetext lösen kann – ohne jede Anpassung seiner Gewichte.

Die Arbeit trägt den Titel Language Models are Few-Shot Learners (Brown u. a. 2020). Der Titel ist die These: Nicht das Nachtrainieren macht ein Modell vielseitig, sondern die Größe.

Zusammenfassung

GPT-3 ist die Zäsur, an der sich die Entwicklung der Sprachmodelle teilt. Davor war der übliche Weg, ein vortrainiertes Modell für jede Aufgabe mit beschrifteten Daten nachzutrainieren. GPT-3 machte das für viele Aufgaben entbehrlich: Man beschreibt die Aufgabe im Eingabetext und gibt einige Beispiele – das Modell folgt.

Diese Fähigkeit heißt In-Context Learning. Sie war nicht eingebaut und nicht vorhergesagt; sie trat auf, als das Modell groß genug wurde.

Die zweite Wirkung war wirtschaftlicher Art. GPT-3 wurde nicht als Datei veröffentlicht, sondern über eine kostenpflichtige Schnittstelle zugänglich gemacht. Damit begann die Praxis, Spitzenmodelle als Dienst statt als Software anzubieten – und die Abkehr von der Veröffentlichungspolitik, die OpenAI bis GPT-2 verfolgt hatte.

Das Modell selbst ist heute überholt. Seine Bedeutung liegt darin, dass es die Skalierungsthese belegte, auf der die gesamte folgende Entwicklung aufbaut.

Begriffsgeschichte

Vorgeschichte: GPT-1 und GPT-2

Die Reihe begann 2018 mit GPT-1 (117 Millionen Parameter), das den Ansatz vorstellte: Pre-Training auf unbeschriftetem Text, danach Feinabstimmung je Aufgabe. GPT-2 (1,5 Milliarden Parameter, Februar 2019) zeigte, dass Skalierung die Textqualität deutlich hebt, und wurde zunächst nur eingeschränkt freigegeben.

Beide folgten noch dem Muster: vortrainieren, dann für jede Aufgabe nachtrainieren.

Die Arbeit von 2020

GPT-3 vergrößerte das Modell um mehr als das Hundertfache gegenüber GPT-2. Die Architektur blieb im Kern dieselbe – ein Transformer-Decoder, trainiert auf Vorhersage des nächsten Tokens.

Neu war die Untersuchungsanlage. Die Autoren prüften das Modell in drei Betriebsarten, die sie zero-shot, one-shot und few-shot nannten: ohne Beispiel, mit einem, mit einigen im Eingabetext. Der Befund: Mit wachsender Modellgröße wächst der Abstand zwischen diesen Betriebsarten, und die Few-Shot-Leistung nähert sich auf mehreren Vergleichsaufgaben der nachtrainierter Modelle an.

Die Arbeit erschien wenige Monate nach den Scaling Laws derselben Gruppe, die den Zusammenhang zwischen Rechenaufwand, Datenmenge und Verlust in Potenzgesetzen beschrieben hatten (Kaplan u. a. 2020). GPT-3 war der empirische Beleg dazu.

Von GPT-3 zu ChatGPT

Das Modell war leistungsfähig, aber schwer zu bedienen: Es setzte den Eingabetext fort, statt Anweisungen zu befolgen. Der Weg zur allgemeinen Nutzbarkeit führte über InstructGPT, bei dem menschliche Rückmeldungen das Verhalten formten (Ouyang u. a. 2022) – die Technik, die als RLHF bekannt wurde.

Auf dieser Grundlage entstand die Dialogfassung GPT-3.5 und daraus im November 2022 ChatGPT.

Methodische Grundlagen

Die technischen Kennzahlen: 96 Schichten, 96 Attention-Köpfe, ein Kontextfenster von 2.048 Tokens, trainiert auf einer Mischung aus gefiltertem Common Crawl, WebText2, zwei Buchkorpora und der englischen Wikipedia.

Der entscheidende Punkt ist nicht die Größe, sondern die Unterscheidung zwischen Lernen und Anwenden. Beim Fine-Tuning ändern sich die Gewichte des Modells; beim In-Context Learning nicht. Was im Eingabetext steht, wirkt nur für diese eine Anfrage und ist danach vergessen.

Ob dabei überhaupt „gelernt“ wird, ist umstritten. Die zurückhaltende Deutung: Das Modell erkennt an den Beispielen, welche der im Training erworbenen Fähigkeiten gefragt ist – es erwirbt keine neue.

Anwendungsfelder

Die praktische Wirkung von GPT-3 lag weniger in einzelnen Anwendungen als in einer Verschiebung der Arbeitsweise. Wer eine Textaufgabe lösen wollte, brauchte keine beschrifteten Trainingsdaten mehr, sondern eine gute Aufgabenbeschreibung. Daraus entstand Prompt Engineering als eigene Tätigkeit.

Über die API entstanden ab 2020 die ersten Anwendungen, die auf einem fremden Spitzenmodell aufbauten statt auf einem eigenen – ein Muster, das die Branche seither prägt.

Kontroversen und Kritik

Die Trainingsdaten sind nicht offengelegt. Die Arbeit beschreibt die Zusammensetzung grob, nennt aber weder die Quellen im Einzelnen noch die Filterkriterien. Urheberrechtliche und datenschutzrechtliche Fragen bleiben damit unprüfbar.

Auswendiglernen statt Können. Kritiker wiesen früh darauf hin, dass Vergleichsaufgaben in den Trainingsdaten enthalten sein könnten. Die Autoren untersuchten das selbst und räumten ein, dass eine vollständige Trennung nicht gelang.

Der Bruch mit der Offenheit. Bis GPT-2 hatte OpenAI Gewichte veröffentlicht. GPT-3 blieb geschlossen, begründet mit Missbrauchsrisiken und Wettbewerb. Die Debatte darüber führt bis zu den heutigen Fragen um Open Weights.

Sprachliche und kulturelle Schieflage. Das Training bestand überwiegend aus englischem Text aus dem Netz. Leistung und Verzerrungen des Modells spiegeln diese Auswahl – ein Befund, der für die Nachfolger fortgilt.

Stand 2025/2026

GPT-3 wird nicht mehr angeboten; die Reihe ist über GPT-3.5, GPT-4 und deren Nachfolger weitergegangen, und schon GPT-4 übertraf es in jeder Hinsicht.

Was blieb, sind zwei Annahmen, die seither die Arbeit an Sprachmodellen bestimmen: dass Fähigkeiten mit der Größe auftreten statt eingebaut zu werden, und dass die Aufgabenbeschreibung an die Stelle des Nachtrainierens treten kann. Beide sind seit 2020 präzisiert und teilweise bestritten worden – siehe Emergent Abilities –, aber keine ist verworfen.

Der Begriff Few-Shot Learning hat sich vom Titel der Arbeit gelöst und bezeichnet heute die Betriebsart selbst.

Verwandte Begriffe

• GPT – die Reihe, in der GPT-3 die dritte Stufe ist
• In-Context Learning – die Fähigkeit, die mit GPT-3 sichtbar wurde
• Scaling Laws – die Vorhersage, für die GPT-3 der Beleg war
• Emergent Abilities – die Debatte darüber, ob Fähigkeiten sprunghaft auftreten
• Prompt Engineering – die Tätigkeit, die aus dem Verfahren entstand
• RLHF – der Schritt von GPT-3 zur Anweisungsbefolgung
• ChatGPT – die Dialogfassung, die daraus entstand
• Pre-Training – die Phase, die GPT-3 zur Zaesur machte
• Fine-Tuning – das Verfahren, das GPT-3 entbehrlich machte
• OpenAI – Herkunft
• Open Weights – die Veröffentlichungsfrage, die mit GPT-3 aufbrach

Quellenangaben

1. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
2. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
3. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.

← Zurück zur Lexikon-Übersicht