GPT

GPT (englisch Generative Pre-trained Transformer) bezeichnet eine Reihe großer Sprachmodelle des US-amerikanischen Unternehmens OpenAI sowie die zugrunde liegende Architekturidee: ein auf der Transformer-Architektur beruhendes Modell, das zunächst unüberwacht auf großen Textmengen vortrainiert und anschließend für konkrete Anwendungen angepasst wird.

Zusammenfassung

Die GPT-Reihe steht am Anfang der gegenwärtigen Entwicklungsphase der KI. Mit GPT-1 (2018) führte OpenAI das Verfahren ein, ein Modell zunächst allgemein auf Textvorhersage zu trainieren und erst danach auf Aufgaben zuzuschneiden. Die folgenden Generationen belegten, dass Leistungszuwächse in erheblichem Maß aus der Vergrößerung von Modell, Daten und Rechenaufwand folgen – die empirische Grundlage der Skalierungsgesetze.

Der Durchbruch in die öffentliche Wahrnehmung erfolgte im November 2022 mit ChatGPT, einer auf GPT-3.5 beruhenden Dialoganwendung. GPT-4 (März 2023) löste die Debatte darüber aus, ob solche Systeme bereits Anzeichen allgemeiner Intelligenz zeigen. Ab GPT-5 (August 2025) verbindet die Reihe klassische Sprachmodellierung mit den Verfahren der Reasoning-Modelle.

Architektur und Verfahren

GPT-Modelle beruhen auf der 2017 vorgestellten Transformer-Architektur, genauer auf deren Decoder-Teil. Sie erzeugen Text autoregressiv: Jedes Token wird auf Grundlage der vorangegangenen vorhergesagt.

Das namensgebende Verfahren besteht aus zwei Phasen. Im Vortraining lernt das Modell auf sehr großen, ungelabelten Textmengen, das jeweils nächste Token vorherzusagen. In der Anpassung wird es auf erwünschtes Verhalten ausgerichtet – zunächst durch überwachte Feinabstimmung, später ergänzt um bestärkendes Lernen aus menschlichem Feedback (RLHF).

Die entscheidende Beobachtung der Reihe: Ein Modell, das lediglich auf Textvorhersage trainiert wurde, zeigt bei hinreichender Größe Fähigkeiten, für die es nicht eigens trainiert wurde – Übersetzung, Zusammenfassung, Programmierung, Aufgabenlösung aus wenigen Beispielen im Kontext.

Entwicklung

GPT-1 (2018) führte das Verfahren aus Vortraining und aufgabenspezifischer Anpassung ein.

GPT-2 (2019) zeigte deutlich verbesserte Textqualität. OpenAI hielt das vollständige Modell zunächst zurück und begründete dies mit Missbrauchsrisiken – ein früher Fall der Debatte um gestufte Veröffentlichung.

GPT-3 (2020) demonstrierte In-Context-Learning: die Fähigkeit, neue Aufgaben aus wenigen Beispielen im Eingabetext zu übernehmen, ohne dass die Modellgewichte verändert werden.

ChatGPT (November 2022), auf GPT-3.5 beruhend, machte die Technologie allgemein zugänglich und erreichte binnen weniger Tage eine Million Nutzende.

GPT-4 (März 2023) verarbeitete auch Bilder und erbrachte in Fachprüfungen erheblich bessere Ergebnisse. Eine Forschungsgruppe bei Microsoft Research veröffentlichte dazu den Aufsatz Sparks of AGI, der die Debatte um die Einordnung als allgemeine Intelligenz auslöste.

o-Reihe (ab September 2024) – die Reasoning-Modelle, die vor der Antwort eine ausführliche Gedankenkette erzeugen. Sie eröffneten mit der Inferenzrechenzeit ein zweites Skalierungsregime.

GPT-5 (August 2025) verband beide Linien. Sam Altman bezeichnete das Modell als bedeutenden Schritt in Richtung AGI; Fachmedien bewerteten die Steigerung gegenüber den vorangegangenen Reasoning-Modellen demgegenüber als eher schrittweise.

Zwischenversionen (2025/26). Nach GPT-5 folgte keine neue Hauptgeneration, sondern eine dichte Folge von Zwischenversionen bis GPT-5.6 (9. Juli 2026). Diese erscheint erstmals als abgestufte Modellfamilie mit drei nach Leistungsfähigkeit gestaffelten Varianten – Luna, Terra und Sol –, wobei OpenAI die größte als bislang stärkstes Modell für Programmierung, wissenschaftliche Arbeit und agentische Abläufe bezeichnet.

Die Namensgebung markiert damit denselben Übergang, den Anthropic und Google zuvor vollzogen hatten: von der einzelnen Modellversion zu einer nach Kosten und Leistung gestaffelten Familie.

Bedeutung für die AGI-Debatte

Die GPT-Reihe ist der empirische Bezugspunkt fast aller Positionen der gegenwärtigen Debatte.

Für die Skalierungsthese spricht der beobachtete Zusammenhang zwischen Aufwand und Leistung, formalisiert in den Arbeiten zu Skalierungsgesetzen. Das Stufenmodell Levels of AGI ordnet Modelle dieser Klasse als Emerging AGI ein.

Dagegen führen Kritiker an, dass die Modelle bei Aufgaben scheitern, die auf neuartige Anpassung zielen. Die über Jahre stagnierenden Werte auf ARC-AGI und die niedrigen Ergebnisse auf dessen Nachfolgeversionen gelten als deren wichtigster empirischer Beleg. Chollet unterscheidet dazu zwischen breiter Aufgabenbeherrschung, die aus einem breiten Trainingskorpus folgt, und Intelligenz als Lerneffizienz.

Hinzu kommt eine Schwierigkeit: Da die Trainingskorpora nicht offengelegt werden, lässt sich Benchmark-Kontamination bei keinem Ergebnis ausschließen.

Kontroversen und Kritik

Rückzug aus der Offenlegung. Die frühen Generationen wurden mit vollständigen technischen Berichten und teilweise mit Modellgewichten veröffentlicht. Der zu GPT-4 erschienene Bericht nannte weder Parameterzahl noch Architektur, Trainingsdaten oder Rechenaufwand und begründete dies mit Wettbewerbslage und Sicherheitserwägungen.

Für die Forschung bedeutet das, dass die einflussreichsten Systeme des Feldes nicht überprüfbar sind: Aussagen über ihre Fähigkeiten beruhen auf Messungen an einer Blackbox, deren Innenleben und Trainingsgrundlage unbekannt sind. Der Name des Unternehmens wurde in diesem Zusammenhang wiederholt als Widerspruch angeführt.

Unklarheit über die Trainingsgrundlage. Da die Datenbasis nicht offengelegt ist, lässt sich bei keinem Prüfergebnis ausschließen, dass die Aufgabe oder eine nahe Variante im Training enthalten war. Das entwertet Vergleichszahlen in einem Maß, das schwer abzuschätzen ist, und betrifft insbesondere die Aussagen über Fähigkeiten zum Schlussfolgern.

Rechtliche Auseinandersetzung um die Quellen. Die Verwendung urheberrechtlich geschützter Werke im Training ist Gegenstand mehrerer Verfahren. Sie berührt eine Grundfrage des Verfahrens: Das Modell entsteht aus der Verdichtung fremder Texte, ohne dass deren Urheber beteiligt oder vergütet würden.

Bewegliche Zielmarken. Die Reihe hat mehrfach den Maßstab verschoben, an dem sie gemessen werden wollte – von der Anzahl der Parameter über die Ergebnisse auf Prüfsammlungen bis zur Länge autonom bewältigter Aufgaben. Kritiker sehen darin ein Muster: Sobald ein Maßstab an Aussagekraft verliert, wird ein neuer eingeführt, statt den Verlust einzuräumen.

Verlässlichkeit. Trotz erheblicher Fortschritte erzeugen die Modelle weiterhin sachlich falsche Angaben in überzeugender Form. Da die Ausgabe keine Auskunft über ihre eigene Verlässlichkeit gibt, verlagert sich die Prüflast vollständig auf die Nutzenden – was in Anwendungsfeldern mit Rechts- oder Gesundheitsbezug als strukturelles und nicht als vorübergehendes Problem gilt.

Verwandte Begriffe

• Transformer – zugrunde liegende Architektur
• Large Language Models – Modellklasse
• OpenAI – Entwicklerunternehmen
• ChatGPT – auf GPT beruhende Dialoganwendung
• Reasoning-Modelle – ab 2024 hinzugetretene Modellklasse
• Scaling Laws – Gesetzmäßigkeiten, die an der Reihe belegt wurden
• In-Context Learning – mit GPT-3 sichtbar gewordene Fähigkeit
• Sparks of AGI – Aufsatz zur Einordnung von GPT-4
• RLHF – Verfahren der Verhaltensausrichtung

Quellenangaben

1. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
2. Bubeck, Sébastien / Chandrasekaran, Varun / Eldan, Ronen / Gehrke, Johannes / Horvitz, Eric / Kamar, Ece / Lee, Peter / Lee, Yin Tat / Li, Yuanzhi / Lundberg, Scott / Nori, Harsha / Palangi, Hamid / Ribeiro, Marco Tulio / Zhang, Yi (Microsoft Research) (2023): Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv: 2303.12712.
3. Huckins, Grace, 2025. GPT-5 Is Here. Now What? MIT Technology Review, 7. August 2025. https://www.technologyreview.com/2025/08/07/1121308/gpt-5-is-here-now-what/
4. Jaech, Aaron u. a. (OpenAI) (2024): OpenAI o1 System Card. arXiv: 2412.16720.
5. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
6. OpenAI, 2023. GPT-4 Technical Report. arXiv: 2303.08774.
7. TechCrunch (2026): OpenAI Launches Its New Family of Models with GPT-5.6. techcrunch.com, 9. Juli 2026.
8. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.