GPT

GPT (englisch Generative Pre-trained Transformer) bezeichnet eine Reihe großer Sprachmodelle des US-amerikanischen Unternehmens OpenAI sowie die zugrunde liegende Architekturidee: ein auf der Transformer-Architektur beruhendes Modell, das zunächst unüberwacht auf großen Textmengen vortrainiert und anschließend für konkrete Anwendungen angepasst wird.

Zusammenfassung

Die GPT-Reihe steht am Anfang der gegenwärtigen Entwicklungsphase der KI. Mit GPT-1 (2018) führte OpenAI das Verfahren ein, ein Modell zunächst allgemein auf Textvorhersage zu trainieren und erst danach auf Aufgaben zuzuschneiden. Die folgenden Generationen belegten, dass Leistungszuwächse in erheblichem Maß aus der Vergrößerung von Modell, Daten und Rechenaufwand folgen – die empirische Grundlage der Skalierungsgesetze.

Der Durchbruch in die öffentliche Wahrnehmung erfolgte im November 2022 mit ChatGPT, einer auf GPT-3.5 beruhenden Dialoganwendung. GPT-4 (März 2023) löste die Debatte darüber aus, ob solche Systeme bereits Anzeichen allgemeiner Intelligenz zeigen. Ab GPT-5 (August 2025) verbindet die Reihe klassische Sprachmodellierung mit den Verfahren der Reasoning-Modelle.

Mit GPT-6 Astra (September 2026) verschiebt sich der Schwerpunkt erneut: vom Beantworten zum eigenständigen Bedienen von Rechnern.

Architektur und Verfahren

GPT-Modelle beruhen auf der 2017 vorgestellten Transformer-Architektur, genauer auf deren Decoder-Teil. Sie erzeugen Text autoregressiv: Jedes Token wird auf Grundlage der vorangegangenen vorhergesagt.

Das namensgebende Verfahren besteht aus zwei Phasen. Im Vortraining lernt das Modell auf sehr großen, ungelabelten Textmengen, das jeweils nächste Token vorherzusagen. In der Anpassung wird es auf erwünschtes Verhalten ausgerichtet – zunächst durch überwachte Feinabstimmung, später ergänzt um bestärkendes Lernen aus menschlichem Feedback (RLHF).

Die entscheidende Beobachtung der Reihe: Ein Modell, das lediglich auf Textvorhersage trainiert wurde, zeigt bei hinreichender Größe Fähigkeiten, für die es nicht eigens trainiert wurde – Übersetzung, Zusammenfassung, Programmierung, Aufgabenlösung aus wenigen Beispielen im Kontext.

Entwicklung

GPT-1 (2018) führte das Verfahren aus Vortraining und aufgabenspezifischer Anpassung ein.

GPT-2 (2019) zeigte deutlich verbesserte Textqualität. OpenAI hielt das vollständige Modell zunächst zurück und begründete dies mit Missbrauchsrisiken – ein früher Fall der Debatte um gestufte Veröffentlichung.

GPT-3 (2020) demonstrierte In-Context-Learning: die Fähigkeit, neue Aufgaben aus wenigen Beispielen im Eingabetext zu übernehmen, ohne dass die Modellgewichte verändert werden.

ChatGPT (November 2022), auf GPT-3.5 beruhend, machte die Technologie allgemein zugänglich und erreichte binnen weniger Tage eine Million Nutzende.

GPT-4 (März 2023) verarbeitete auch Bilder und erbrachte in Fachprüfungen erheblich bessere Ergebnisse. Eine Forschungsgruppe bei Microsoft Research veröffentlichte dazu den Aufsatz Sparks of AGI, der die Debatte um die Einordnung als allgemeine Intelligenz auslöste.

o-Reihe (ab September 2024) – die Reasoning-Modelle, die vor der Antwort eine ausführliche Gedankenkette erzeugen. Sie eröffneten mit der Inferenzrechenzeit ein zweites Skalierungsregime.

GPT-5 (August 2025) verband beide Linien. Sam Altman bezeichnete das Modell als bedeutenden Schritt in Richtung AGI; Fachmedien bewerteten die Steigerung gegenüber den vorangegangenen Reasoning-Modellen demgegenüber als eher schrittweise.

Zwischenversionen (2025/26). Auf GPT-5 folgte zunächst keine neue Hauptgeneration, sondern eine dichte Folge von Zwischenversionen bis GPT-5.6 – limitierte Vorschau ab 26. Juni, allgemein verfügbar ab 9. Juli 2026.

GPT-5.6 erschien erstmals als abgestufte Modellfamilie: Luna, Terra und Sol, nach Leistungsfähigkeit gestaffelt. Die größte galt OpenAI als damals stärkstes Modell für Programmierung, wissenschaftliche Arbeit und agentische Abläufe.

Die Namensgebung markierte damit denselben Übergang, den Anthropic und Google zuvor vollzogen hatten: von der einzelnen Modellversion zu einer nach Kosten und Leistung gestaffelten Familie.

GPT-6 Astra (3. September 2026) ist die erste neue Hauptgeneration seit GPT-5. Den Schwerpunkt bildet nicht mehr die Textfähigkeit, sondern die Bedienung von Rechnern: Astra arbeitet in fremder Software, füllt Formulare aus, wertet Daten in Fachprogrammen aus und führt mehrstufige Abläufe zu Ende.

Nach Angaben des Unternehmens entstand das Modell im bislang größten Trainingslauf, mit mehr als 100.000 Grafikprozessoren am Standort Stargate in Texas (Fried 2026). Erstmals beaufsichtigten dabei andere Modelle in erheblichem Umfang das Training.

Die Veröffentlichung war zuvor verzögert worden. Astra ist das erste Modell, das OpenAI in seinem Preparedness Framework in der Cybersicherheit als „kritisch“ einstuft: Es kann bislang unbekannte Schwachstellen in gut geschützten Systemen ohne schrittweise Anleitung finden und ausnutzen.

Die weitergehenden Cyberfähigkeiten bleiben deshalb einem geprüften Kreis vorbehalten. Das ausgelieferte Modell verweigert etwa das Erstellen von Machbarkeitsnachweisen für Schwachstellen.

OpenAI-Präsident Greg Brockman nannte Astra einen „Generationensprung“ und schloss die Pressekonferenz mit den Worten „Welcome to the AGI era“. Ob das Modell diese Schwelle erreiche, überlasse man den Nutzer:innen.

Bedeutung für die AGI-Debatte

Die GPT-Reihe ist der empirische Bezugspunkt fast aller Positionen der gegenwärtigen Debatte.

Für die Skalierungsthese spricht der beobachtete Zusammenhang zwischen Aufwand und Leistung, formalisiert in den Arbeiten zu Skalierungsgesetzen. Das Stufenmodell Levels of AGI ordnet Modelle dieser Klasse als Emerging AGI ein.

Dagegen führten Kritiker lange an, dass die Modelle bei Aufgaben scheitern, die auf neuartige Anpassung zielen; die über Jahre stagnierenden Werte auf ARC-AGI galten als wichtigster empirischer Beleg. Dieses Argument hat im September 2026 an Boden verloren – wie viel, hängt an einer technischen Unterscheidung.

Auf ARC-AGI-3 erreichte GPT-6 Astra nach Messung der ARC Prize Foundation 62,7 Prozent unter deren neutralem Standard-Harness und 99,9 Prozent mit der von OpenAI vorgesehenen Kontextverwaltung. Letztere erlaubt dem Modell, verborgene Zwischenzustände zwischen den Anfragen weiterzureichen.

Beide Werte sind Bestmarken. Zum Vergleich: Bei Veröffentlichung des Benchmarks im März 2026 blieben die besten Modelle unter 0,4 Prozent (ARC Prize Foundation 2026). OpenAI selbst nennt in seiner Ankündigung nur den höheren Wert.

Schwerer wiegt als der Punktwert die Handlungseffizienz. Astra löste 96 Prozent der Ebenen mit weniger Zügen als der Median der getesteten Menschen und benötigte im Schnitt 51,7 Prozent weniger Züge (ARC Prize Foundation 2026). Genau diese Größe hatte die ARC Prize Foundation vorab als vermutete Trennlinie zwischen Mensch und Maschine benannt.

Sie zieht daraus dennoch nicht den Schluss, es handle sich um AGI: Astra sei ein bedeutender Fortschritt bei der Verallgemeinerung, der Benchmark habe aber einen eng umrissenen Zuschnitt mit geschlossenen, deterministischen Regeln und bilde die Offenheit der Wirklichkeit nicht ab.

Chollet unterscheidet dazu zwischen breiter Aufgabenbeherrschung, die aus einem breiten Trainingskorpus folgt, und Intelligenz als Lerneffizienz.

Hinzu kommt eine Schwierigkeit: Da die Trainingskorpora nicht offengelegt werden, lässt sich Benchmark-Kontamination bei keinem Ergebnis ausschließen.

Kontroversen und Kritik

Rückzug aus der Offenlegung. Die frühen Generationen wurden mit vollständigen technischen Berichten und teilweise mit Modellgewichten veröffentlicht. Der zu GPT-4 erschienene Bericht nannte weder Parameterzahl noch Architektur, Trainingsdaten oder Rechenaufwand und begründete dies mit Wettbewerbslage und Sicherheitserwägungen.

Für die Forschung bedeutet das, dass die einflussreichsten Systeme des Feldes nicht überprüfbar sind: Aussagen über ihre Fähigkeiten beruhen auf Messungen an einer Blackbox, deren Innenleben und Trainingsgrundlage unbekannt sind. Der Name des Unternehmens wurde in diesem Zusammenhang wiederholt als Widerspruch angeführt.

Unklarheit über die Trainingsgrundlage. Da die Datenbasis nicht offengelegt ist, lässt sich bei keinem Prüfergebnis ausschließen, dass die Aufgabe oder eine nahe Variante im Training enthalten war. Das entwertet Vergleichszahlen in einem Maß, das schwer abzuschätzen ist, und betrifft insbesondere die Aussagen über Fähigkeiten zum Schlussfolgern.

Rechtliche Auseinandersetzung um die Quellen. Die Verwendung urheberrechtlich geschützter Werke im Training ist Gegenstand mehrerer Verfahren. Sie berührt eine Grundfrage des Verfahrens: Das Modell entsteht aus der Verdichtung fremder Texte, ohne dass deren Urheber beteiligt oder vergütet würden.

Bewegliche Zielmarken. Die Reihe hat mehrfach den Maßstab verschoben, an dem sie gemessen werden wollte – von der Anzahl der Parameter über die Ergebnisse auf Prüfsammlungen bis zur Länge autonom bewältigter Aufgaben. Kritiker sehen darin ein Muster: Sobald ein Maßstab an Aussagekraft verliert, wird ein neuer eingeführt, statt den Verlust einzuräumen.

Nachlassende Nachvollziehbarkeit. Mit GPT-6 Astra räumte OpenAI ein, dass dessen schriftliche Gedankenkette schwerer zu überwachen ist als die des Vorgängers. Geprüft wurde eigens, ob das Modell einer Beaufsichtigung ausweichen kann.

Das Unternehmen führt den Rückgang darauf zurück, dass Astra einfache Aufgaben mit weniger niedergeschriebenen Schritten löse, nennt ihn aber ernst zu nehmen. Er trifft eine Voraussetzung, auf der ein Gutteil der Sicherheitsarbeit ruht: dass sich die Absicht eines Modells an seiner ausgeschriebenen Überlegung ablesen lässt.

Verlässlichkeit. Trotz erheblicher Fortschritte erzeugen die Modelle weiterhin sachlich falsche Angaben in überzeugender Form. Da die Ausgabe keine Auskunft über ihre eigene Verlässlichkeit gibt, verlagert sich die Prüflast vollständig auf die Nutzenden – was in Anwendungsfeldern mit Rechts- oder Gesundheitsbezug als strukturelles und nicht als vorübergehendes Problem gilt.

Verwandte Begriffe

• Large Language Models – Modellklasse
• Scaling Laws – Gesetzmäßigkeiten, die an der Reihe belegt wurden
• In-Context Learning – mit GPT-3 sichtbar gewordene Fähigkeit
• Sparks of AGI – Aufsatz zur Einordnung von GPT-4

Quellenangaben

1. ARC Prize Foundation (Kamradt, Gregory), 2026. OpenAI’s GPT-6 Astra on ARC-AGI-3. arcprize.org, September 2026. https://arcprize.org/blog/astra
2. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
3. Bubeck, Sébastien / Chandrasekaran, Varun / Eldan, Ronen / Gehrke, Johannes / Horvitz, Eric / Kamar, Ece / Lee, Peter / Lee, Yin Tat / Li, Yuanzhi / Lundberg, Scott / Nori, Harsha / Palangi, Hamid / Ribeiro, Marco Tulio / Zhang, Yi (Microsoft Research), 2023. Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv: 2303.12712.
4. Fried, Ina, 2026. „Welcome to the AGI era“, OpenAI says as GPT-6 Astra debuts. Axios, 3. September 2026. https://www.axios.com/2026/09/03/openai-astra-gpt-6-agi-brockman
5. Huckins, Grace, 2025. GPT-5 Is Here. Now What? MIT Technology Review, 7. August 2025. https://www.technologyreview.com/2025/08/07/1121308/gpt-5-is-here-now-what/
6. Jaech, Aaron u. a. (OpenAI), 2024. OpenAI o1 System Card. arXiv: 2412.16720.
7. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
8. OpenAI, 2023. GPT-4 Technical Report. arXiv: 2303.08774.
9. OpenAI, 2026. GPT-6 Astra: A New Generation of Intelligence. openai.com, 3. September 2026. https://openai.com/index/gpt-6-astra/
10. TechCrunch, 2026. OpenAI Launches Its New Family of Models with GPT-5.6. techcrunch.com, 9. Juli 2026.
11. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht