InstructGPT

InstructGPT (OpenAI, Januar 2022) ist eine Familie von Sprachmodellen, die durch bestärkendes Lernen aus menschlicher Rückmeldung (RLHF) auf das Befolgen von Anweisungen hin trainiert wurde. Sie ging aus dem Basismodell GPT-3 hervor und wurde zum Vorbild für ChatGPT.

Abgrenzung

RLHF – das allgemeine Trainingsverfahren. InstructGPT ist seine erste prominente Anwendung auf ein großes Sprachmodell.
GPT-3 – das zugrundeliegende Basismodell (175 Milliarden Parameter), das ohne Anweisungstraining blieb.
ChatGPT – der spätere Nachfolger, der dieselbe Methode ab Ende 2022 einer breiten Öffentlichkeit zugänglich machte.

Zusammenfassung

Der Name InstructGPT bezeichnet zwei Dinge zugleich: eine konkrete Modellreihe und den Aufsatz, der sie vorstellte – Training Language Models to Follow Instructions with Human Feedback (Ouyang u. a. 2022). Die zentrale Beobachtung der Arbeit war ein schlichter Zahlenvergleich.

Ein mit RLHF nachtrainiertes Modell mit 1,3 Milliarden Parametern wurde von menschlichen Bewerter:innen den Ausgaben des 175-Milliarden-Parameter-GPT-3 vorgezogen – trotz hundertfach kleinerer Größe.

Damit widerlegte InstructGPT die bis dahin verbreitete Annahme, besseres Folgeverhalten sei vor allem eine Frage der Skalierung. Die ausgerichteten Modelle waren wahrhaftiger, erzeugten weniger toxische Ausgaben und folgten Anweisungen verlässlicher. Zugleich blieben einfache Fehler bestehen. Die Arbeit wurde zum Vorbild für die gesamte folgende Generation von Assistenzsystemen.

Begriffsgeschichte

GPT-3 hatte 2020 gezeigt, dass riesige Sprachmodelle zahlreiche Aufgaben aus wenigen Beispielen lernen. Im Alltag zeigte sich jedoch eine Lücke. Die Modelle setzten Anweisungen unzuverlässig um, produzierten unbrauchbare oder schädliche Ausgaben und verhielten sich eher wie Textfortsetzer denn wie Assistenten. Mehr Parameter allein schloss diese Lücke nicht – das Basismodell war mächtig, aber nicht auf das Helfen ausgerichtet.

Das Verfahren selbst war vorbereitet. Paul Christiano und andere hatten 2017 gezeigt, dass sich Modelle aus paarweisen menschlichen Vergleichen trainieren lassen (Christiano u. a. 2017). Stiennon u. a. (2020) wandten die Idee auf das Zusammenfassen von Texten an.

Beide Arbeiten blieben auf eng umgrenzte Aufgaben beschränkt. OpenAI übertrug die Methode 2022 erstmals im großen Maßstab auf ein Allzweck-Sprachmodell und veröffentlichte die resultierenden Modelle im Januar 2022 über seine API unter dem Namen InstructGPT.

Der begleitende Aufsatz erschien im März 2022 (Ouyang u. a. 2022). Seine dreistufige Pipeline – überwachtes Feintuning, Belohnungsmodell, bestärkendes Lernen – wurde zur Standardbeschreibung von RLHF und prägt seither die Darstellung des Verfahrens.

Mit ChatGPT (November 2022) erreichte die zugrundeliegende Methode dann die breite Öffentlichkeit; InstructGPT selbst blieb ein API-Produkt für Entwickler:innen und verschwand als eigenständiger Name, sobald die Nachfolgermodelle die API übernahmen.

Methodische Grundlagen

Die drei Trainingsstufen sind im Eintrag zu RLHF ausführlich dargestellt; hier geht es um das, woran InstructGPT sich ablesen lässt: die menschliche Infrastruktur des Verfahrens.

OpenAI ließ die Trainingsdaten von rund vierzig Annotator:innen erstellen. Sie verfassten Beispielantworten, bewerteten Modell-Ausgaben und gaben Präferenzreihen an. Die Eingaben stammten aus zwei Quellen: von den Annotator:innen selbst geschriebene Prompts sowie Prompts, die Nutzer:innen über die OpenAI-API eingereicht hatten.

Ein detailliertes Regelwerk legte fest, was eine gute Antwort ausmacht – von Sachlichkeit über Vollständigkeit bis zur Höflichkeit.

Aus diesen Angaben entstanden drei Datensätze: einer für das überwachte Feintuning, einer für das Belohnungsmodell und einer für die abschließende Bewertung. Trainiert wurden InstructGPT-Modelle in denselben drei Größen wie das Basismodell – 1,3, 6 und 175 Milliarden Parameter.

Der Vergleich über Größen hinweg war der Punkt der Anordnung. Er hielt den Beweis bereit, dass Ausrichtung, nicht Größe, den Ausschlag gab: das kleinste ausgerichtete Modell schlug das größte unausgerichtete.

Grenzen

Der Aufsatz nennt seine eigenen Grenzen ausdrücklich. InstructGPT machte weiterhin einfache sachliche Fehler und halluzinierte teils. Die Modelle reagierten empfindlich auf die Überzeugungen der Annotator:innen – hätten andere Personen bewertet, wäre ein anderes Modell entstanden. Gegen gezielte, manipulative Eingaben waren sie kaum abgesichert.

Auf einigen öffentlichen NLP-Benchmarks sank die Leistung durch das Nachtraining leicht – der sogenannte alignment tax. Er fiel jedoch kleiner aus als befürchtet.

Insgesamt, so das Fazit der Autor:innen, sei RLHF ein vielversprechender Weg, um Sprachmodelle an menschliche Absichten anzugleichen – kein abschließender. Diese offene Formulierung ist kein Vorbehalt, sondern ein Forschungsprogramm: Die hier sichtbar werdenden Schwächen bestimmten die Alignment-Agenda der folgenden Jahre.

Stand 2025/2026

Als eigenständiges Produkt ist InstructGPT längst von späteren Modellreihen verdrängt worden. Was bleibt, ist der Aufsatz als kanonische Referenz: Wer RLHF erklärt, zitiert in der Regel Ouyang u. a. (2022).

Das Verfahren selbst wurde in den Folgejahren durch rechnerisch günstigere Varianten wie Direct Preference Optimization ergänzt. Die grundsätzliche Schwierigkeit, Modelle verlässlich an menschliche Präferenzen anzupassen, blieb jedoch bestehen und ist bis heute Gegenstand laufender Forschung zur Aufsicht über Systeme, deren Leistung die eigene Bewertungsfähigkeit übersteigt.

Quellenangaben

Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
Stiennon, Nisan / Long, Long / Hou, Xinyu u. a., 2020. Learning to Summarize from Human Feedback. OpenAI. arXiv: 2009.01325.

← Zurück zur Lexikon-Übersicht