Proximal Policy Optimization (PPO) ist ein Policy-Gradient-Algorithmus des bestärkenden Lernens, den John Schulman, Filip Wolski, Prashant Dhariwal, Alec Radford und Oleg Klimov 2017 bei OpenAI entwickelten.
Zusammenfassung
Vorgänger war Trust Region Policy Optimization (TRPO, 2015), das durch eine mathematisch strikte Nebenbedingung monotone Verbesserung der Strategie garantiert, dafür aber rechnerisch aufwendig ist und sich schwer mit modernen Netzarchitekturen kombinieren lässt. PPO behält ähnliche Stabilitätsgarantien wie TRPO, ist aber einfacher zu implementieren und benötigt deutlich weniger Rechenaufwand pro Aktualisierungsschritt.
Methodische Grundlagen
PPO begrenzt, wie stark sich die Strategie bei jedem Update von der vorherigen Version entfernen darf. Es misst das Verhältnis zwischen neuer und alter Wahrscheinlichkeit für eine gewählte Aktion und kappt dieses Verhältnis auf ein festes Band um den Wert eins. Verbessert eine große Verhaltensänderung das Ergebnis übermäßig stark, wird der Vorteil künstlich gedeckelt – das System nimmt den vorsichtigeren der beiden möglichen Werte.
Destabilisierend große Sprünge im Verhalten werden so vermieden, ohne die aufwendige Nebenbedingung von TRPO lösen zu müssen. Das Ergebnis ist ein einfacher, mit Standard-Gradientenverfahren trainierbarer Algorithmus, der dieselben Stichproben über mehrere Durchläufe wiederverwenden kann.
Anwendungsfelder
PPO diente als Basisalgorithmus für OpenAI Five, das 2019 im Spiel Dota 2 die amtierenden Weltmeister besiegte, sowie für zahlreiche Robotik-Simulationen.
Zentral wurde PPO jedoch als dritter Schritt im dreistufigen RLHF-Verfahren: Nach überwachtem Fine-Tuning auf menschlichen Demonstrationen und dem Training eines Reward-Modells aus Präferenzvergleichen stimmt PPO das Sprachmodell fein ab, wobei das Reward-Modell die Belohnung liefert. InstructGPT und die frühen ChatGPT-Versionen wurden nach diesem Verfahren trainiert.
Vor- und Nachteile, Alternativen
Neuere Verfahren wie Direct Preference Optimization (DPO) umgehen das explizite Reward-Modell und die Online-Rollouts von PPO, indem sie Präferenzdaten direkt in ein überwachtes Lernziel überführen – einfacher und deutlich günstiger, dafür weniger explorativ.
Group Relative Policy Optimization (GRPO), bekannt geworden durch DeepSeek-R1, verzichtet auf das separate Kritikernetz von PPO und bewertet jede generierte Antwort relativ zu einer Gruppe von Antworten auf denselben Prompt.
Mehrere 2025/2026er Fachquellen beschreiben eine Verschiebung weg von reinem PPO hin zu GRPO- und DPO-Varianten bei neueren Modellen. PPO bleibt jedoch dort Referenzverfahren, wo Belohnungssignale stark verrauscht oder spärlich sind und ein Reward-Modell geglättete Schätzungen liefert, die den Alternativen fehlen.
Verwandte Begriffe
- RLHF – das übergeordnete Verfahren, in dem PPO ursprünglich den dritten Schritt bildete
- Reinforcement Learning – das Feld, dem PPO entstammt
- Direct Preference Optimization – Alternative ohne explizites Reward-Modell
- Group Relative Policy Optimization – Alternative ohne Kritikernetz, zentral bei DeepSeek-R1
- InstructGPT – erstes prominentes Modell, das mit PPO nachtrainiert wurde
Quellenangaben
- Schulman, John / Wolski, Filip / Dhariwal, Prafulla / Radford, Alec / Klimov, Oleg, 2017. Proximal Policy Optimization Algorithms. OpenAI. arXiv: 1707.06347.
- Schulman, John / Levine, Sergey / Moritz, Philipp / Jordan, Michael I. / Abbeel, Pieter, 2015. Trust Region Policy Optimization. arXiv: 1502.05477.
- OpenAI, 2019. OpenAI Five. openai.com.
- DeepSeek-AI / Guo, Daya / Yang, Dejian u. a., 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv: 2501.12948. Später erschienen als DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning. In: Nature 645 (8081), S. 633–638.