Group Relative Policy Optimization (GRPO)

Group Relative Policy Optimization (deutsch sinngemäß gruppenrelative Strategieoptimierung, abgekürzt GRPO) ist ein Verfahren des bestärkenden Lernens, das 2024 von DeepSeek für das Training von Sprachmodellen auf mathematischen Aufgaben entwickelt wurde.

Sein Kerngedanke ist eine Streichung: Wo das zuvor übliche Proximal Policy Optimization (PPO) ein zweites Netz benötigt, das den erwarteten Ertrag eines Zustands schätzt, gewinnt GRPO diese Bezugsgröße aus dem Vergleich mehrerer Antworten auf dieselbe Frage.

Bekannt wurde das Verfahren, weil mit ihm Reasoning Models trainiert wurden, deren Zwischenrechnung nicht vorgegeben, sondern aus Belohnung entstanden ist.

Zusammenfassung

Bestärkendes Lernen braucht ein Urteil darüber, ob eine Handlung besser oder schlechter war als erwartet. Diese Größe heißt Advantage, und die Frage ist, woher der Erwartungswert kommt.

PPO beantwortet sie mit einem eigenen Netz, dem Critic oder Value Model, das ungefähr so groß ist wie das trainierte Modell selbst. Es muss mitgeführt, mittrainiert und im Speicher gehalten werden – bei Sprachmodellen ein erheblicher Anteil des Gesamtaufwands.

GRPO erzeugt stattdessen zu jeder Frage eine Gruppe von Antworten, bewertet jede einzeln und nimmt den Durchschnitt der Gruppe als Bezugspunkt. Eine Antwort, die besser abschneidet als der Gruppendurchschnitt, wird verstärkt; eine schlechtere wird abgeschwächt.

Der Vorteil ist unmittelbar: Das Kritikernetz entfällt, der Speicherbedarf sinkt deutlich. Die Voraussetzung ebenso: Es muss möglich sein, mehrere vollständige Antworten zu erzeugen und automatisch zu bewerten. Bei mathematischen Aufgaben und Programmieraufgaben ist das gegeben – die Lösung ist prüfbar. Bei offenen Texten ist es das nicht.

Begriffsgeschichte

Herkunft in der Mathematik-Ausbildung (2024)

GRPO wurde im Februar 2024 in der Arbeit DeepSeekMath eingeführt, in der es darum ging, ein vergleichsweise kleines Modell auf mathematischen Wettbewerbsaufgaben zu verbessern. Der Zusammenhang ist kein Zufall: Mathematische Aufgaben liefern ein automatisches, eindeutiges Belohnungssignal, und gerade dort schlägt der Aufwand für ein Kritikernetz besonders unangenehm zu Buche.

DeepSeek-R1 (Januar 2025)

Öffentliche Wirkung entfaltete das Verfahren ein Jahr später mit DeepSeek-R1. Die zugehörige Arbeit beschreibt zwei Modelle. R1-Zero wurde ausschließlich mit bestärkendem Lernen auf dem Basismodell trainiert, ohne vorgeschaltetes überwachtes Feintuning.

Der bemerkenswerte Befund: Das Modell entwickelte von selbst längere Zwischenrechnungen, Selbstkorrektur und das Zurückgehen zu früheren Schritten – Verhaltensweisen, die niemand als Beispiel vorgegeben hatte. Sie entstanden, weil sie zu häufiger richtigen Antworten führten und deshalb verstärkt wurden.

R1-Zero hatte allerdings praktische Mängel: sprachlich vermischte Ausgaben und schwer lesbare Spuren. Das ausgelieferte R1 erhielt deshalb eine kalte Startphase mit kuratierten Beispielen. Die verbreitete Verkürzung, DeepSeek habe überwachtes Lernen überflüssig gemacht, verwechselt beide Modelle.

Verbreitung

Als quelloffen beschriebenes Verfahren mit geringem Speicherbedarf wurde GRPO rasch in die gängigen Trainingsbibliotheken aufgenommen. Es ist seither ein Standardweg, um Modelle mit prüfbarem Belohnungssignal nachzutrainieren – ein Feld, das unter der Bezeichnung Reinforcement Learning with Verifiable Rewards eigenständig geworden ist.

Methodische Grundlagen

Die Gruppe als Bezugspunkt. Zu jeder Frage werden mehrere Antworten gezogen. Der Vorteil einer Antwort ergibt sich aus ihrer Belohnung im Verhältnis zum Mittel der Gruppe, üblicherweise normiert über die Streuung. Was zählt, ist die relative Güte innerhalb einer Frage – nicht ein absoluter Wert, der über Fragen hinweg vergleichbar wäre.

Warum das trägt. Die Schwierigkeit einer Frage fällt aus der Rechnung heraus, weil alle Antworten der Gruppe dieselbe Frage beantworten. Genau diese Normierung leistet bei PPO das Kritikernetz.

Prüfbare Belohnung. Das Verfahren steht und fällt mit einer automatischen Bewertung. Bei DeepSeek-R1 setzt sie sich aus Korrektheit der Lösung und Einhaltung des Ausgabeformats zusammen. Ein gelerntes Belohnungsmodell ließe sich einsetzen, brächte aber die Anfälligkeit für Reward Hacking zurück, die das Verfahren gerade vermeidet.

Abstandsbegrenzung. Wie PPO begrenzt GRPO, wie weit sich die Strategie je Schritt vom Ausgangsmodell entfernen darf. Ohne diese Bremse verliert das Modell Fähigkeiten, die im Belohnungssignal nicht vorkommen.

Anwendungsfelder

Der Hauptanwendungsfall sind Aufgaben mit prüfbarer Lösung: Mathematik, Programmieren, formale Verifikation, strukturierte Werkzeugnutzung. Dort ist GRPO inzwischen das gängigere Verfahren, weil es bei vergleichbarem Ergebnis mit deutlich weniger Speicher auskommt.

In der Ausrichtung auf menschliche Präferenzen – dem klassischen Feld von RLHF – ist es nur eingeschränkt verwendbar, weil dort kein automatisch prüfbares Signal vorliegt. Für diesen Zweck haben sich mit Direct Preference Optimization andere Wege durchgesetzt.

Kontroversen und Kritik

Verzerrung durch die Normierung. Die Division durch die Streuung innerhalb der Gruppe bevorzugt Fragen, bei denen die Antworten stark auseinanderliegen. Fragen, die durchweg richtig oder durchweg falsch beantwortet werden, liefern kein Signal – das Verfahren lernt bevorzugt im mittleren Schwierigkeitsbereich. Mehrere Nachfolgearbeiten schlagen Korrekturen vor.

Kosten an anderer Stelle. Das Kritikernetz entfällt, dafür müssen je Frage mehrere vollständige Antworten erzeugt werden. Ob unter dem Strich gespart wird, hängt von Gruppengröße und Antwortlänge ab – bei sehr langen Denkspuren verschiebt sich die Rechnung.

Reichweite der Methode. Dass Reasoning aus Belohnung entstehen kann, ist für prüfbare Aufgaben gezeigt. Ob dasselbe für Bereiche ohne eindeutige Korrektheit gilt, ist offen und derzeit die zentrale Frage des Feldes.

Lesbarkeit als Nebenopfer. Die Spuren von R1-Zero waren sprachlich vermischt, weil nichts sie zur Lesbarkeit zwang. Das ist mehr als ein Schönheitsfehler: Es zeigt, dass Optimierung auf Ergebnis die Einsehbarkeit der Zwischenschritte gefährdet – siehe Chain-of-Thought Faithfulness.

Verwandte Begriffe

• DeepSeek – Urheberin des Verfahrens
• Reasoning Models – die damit trainierte Modellklasse
• Reinforcement Learning – übergeordnetes Feld
• RLHF – das ältere Verfahren mit Kritikernetz
• Direct Preference Optimization – alternativer Weg ohne RL
• Reward Hacking – Gefahr bei gelernten Belohnungsmodellen
• Chain-of-Thought – das entstehende Verhalten
• Chain-of-Thought Faithfulness – was dabei auf dem Spiel steht

Quellenangaben

1. DeepSeek-AI u. a., 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv: 2501.12948.
2. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
3. Schulman, John / Wolski, Filip / Dhariwal, Prafulla / Radford, Alec / Klimov, Oleg, 2017. Proximal Policy Optimization Algorithms. OpenAI. arXiv: 1707.06347.
4. Shao, Zhihong u. a., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv: 2402.03300.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.