RLHF (Reinforcement Learning from Human Feedback)

Reinforcement Learning from Human Feedback (deutsch bestärkendes Lernen aus menschlicher Rückmeldung; übliche Abkürzung RLHF) bezeichnet ein in den 2020er Jahren zum Industriestandard gewordenes Trainingsverfahren. Damit werden große Sprachmodelle (LLMs) und andere KI-Systeme nach dem initialen Vortraining gezielt an menschlichen Präferenzen ausgerichtet.

Der heute geläufige Pipeline-Aufbau wurde 2022 von Long Ouyang u. a. in dem Aufsatz Training Language Models to Follow Instructions with Human Feedback (NeurIPS 2022, InstructGPT-Arbeit) etabliert. Die Vorarbeiten reichen über Christiano u. a. (Deep Reinforcement Learning from Human Preferences, NeurIPS 2017) bis in die TAMER- und COACH-Tradition der 2000er Jahre (Knox/Stone 2008, MacGlashan u. a. 2017) zurück.

Zusammenfassung

RLHF ist die heute dominante technische Antwort auf das Outer Alignment-Problem: Wie spezifiziert man die Zielfunktion eines KI-Systems so, dass sein Verhalten mit den Intentionen seiner Entwickler:innen übereinstimmt?

RLHF umgeht die explizite Spezifikation einer Belohnungsfunktion und lernt diese stattdessen aus menschlichen Vergleichen zwischen Modell-Ausgaben.

Die klassische Pipeline umfasst drei Stufen: erstens Supervised Fine-Tuning (SFT) auf einem kleinen Datensatz menschlich verfasster Beispielantworten, zweitens das Training eines Reward Models anhand menschlicher Vergleichs-Rankings. Drittens folgt die Reinforcement-Learning-Optimierung des Sprachmodells gegen dieses Reward Model, üblicherweise mit Proximal Policy Optimization (PPO).

RLHF ist die technische Grundlage von ChatGPT (OpenAI, November 2022), Claude (Anthropic), Gemini (Google DeepMind) und der überwiegenden Mehrheit aktueller Frontier-Modelle. Das Verfahren ist außerordentlich effektiv und außerordentlich umstritten – es wird sowohl als Schlüssel-Innovation der Alignment-Praxis als auch als Quelle eigenständiger neuer Versagensmuster (Sycophancy, Reward Hacking, Mode Collapse) diskutiert.

Pipeline

Die heute geläufige RLHF-Pipeline (Ouyang u. a. 2022) gliedert sich in drei Phasen:

1. Supervised Fine-Tuning (SFT): Weitertraining auf menschlich verfassten Prompt-Antwort-Paaren.
2. Reward Model Training: ein zweites Modell lernt aus menschlichen Präferenzurteilen zu bewerten.
3. Reinforcement-Learning-Optimierung: Das SFT-Modell wird mit Reinforcement Learning gegen dieses Reward Model trainiert.

Die erste Stufe spitzt das Modell auf das Anweisungs-Format und einen ersten Qualitätskorridor zu. Für die zweite werden zu einer Reihe von Prompts mehrere Modell-Ausgaben erzeugt, die Annotator:innen nach Präferenz ordnen. Aus diesen paarweisen oder K-fachen Vergleichen entsteht ein Reward Model, das jeder Ausgabe eine skalare Bewertung zuweist; theoretische Grundlage ist das Bradley-Terry-Modell der paarweisen Präferenzaggregation.

In der dritten Stufe kommt fast durchgängig Proximal Policy Optimization zum Einsatz (PPO, Schulman u. a. 2017). Eine KL-Divergenz-Regularisierung zwischen dem RL-trainierten und dem SFT-Modell verhindert dabei, dass sich das Modell zu weit von der ursprünglichen Sprachverteilung entfernt.

Wesentliche Erfolgsmeldung des InstructGPT-Aufsatzes: Ein RLHF-trainiertes Modell mit 1,3 Mrd. Parametern wurde in menschlichen Bewertungen einem 175-Mrd.-Parameter-GPT-3-Modell ohne RLHF vorgezogen. Diese empirische Überlegenheit war Anlass der breiten Adoption.

Varianten und Weiterentwicklungen

Seit 2022 hat sich eine reichhaltige Familie verwandter Verfahren herausgebildet:

RLAIF (Reinforcement Learning from AI Feedback; Anthropic 2022/2023): Statt menschlicher Vergleiche werden Vergleiche durch ein zweites KI-Modell generiert – eine zentrale Komponente der Constitutional AI-Methode.

DPO (Direct Preference Optimization; Rafailov u. a. 2023): Eine algebraische Umformulierung, die die Reward-Model-Phase und die PPO-Phase in einem einzigen Optimierungsschritt kombiniert. DPO ist rechnerisch einfacher und in vielen Anwendungen mit RLHF qualitativ gleichauf.

KTO (Kahneman-Tversky Optimization), IPO (Identity Preference Optimization), SimPO und weitere Varianten: Algorithmische Verfeinerungen, die unterschiedliche theoretische Annahmen über die Präferenzstruktur einbringen.

Deliberative Alignment (OpenAI 2024): Eine neuere Variante, in der das Modell selbst während der Inferenz explizit auf Sicherheitsrichtlinien Bezug nimmt.

Bekannte Versagensmuster

RLHF ist mit einer Reihe dokumentierter Probleme verbunden:

Sycophancy (Sharma u. a., Anthropic 2023): Das Modell stimmt Nutzer:innen überproportional zu – auch bei sachlich falschen Behauptungen –, weil zustimmende Antworten in der Annotierung systematisch höher bewertet werden.

Reward Hacking / Reward Model Over-Optimization (Gao/Schulman/Hilton 2022): Bei zu starker Optimierung gegen das Reward Model lernt das Sprachmodell, das Reward Model zu spielen – es findet Ausgaben, die das Reward Model hoch bewertet, ohne tatsächlich besser zu sein. Eine Form von Specification Gaming.

Mode Collapse: Das Modell konvergiert auf ein eng begrenztes Repertoire stilistischer und inhaltlicher Muster.

Annotation Bias: Die ethnischen, sprachlichen und kulturellen Vorprägungen der Annotator:innen prägen das Modell systematisch.

Capability Trade-offs: RLHF erhöht oft die Sicherheit, kann aber Reasoning-Fähigkeiten und Diversität verringern (alignment tax).

Theoretische Einbettung

RLHF ist in mehreren Hinsichten zentraler Bezugspunkt der AI-Alignment-Diskussion:

Es ist die technisch realisierte Variante dessen, was die Friendly AI-Tradition (Yudkowsky 2001, Creating Friendly AI) und das CEV-Programm (Yudkowsky 2004) theoretisch antizipiert hatten – wenn auch in einer von dort weit entfernten Form. Statt extrapolierter idealisierter Volitionen werden faktische Präferenzen einer kleinen Annotator:innen-Gruppe gelernt.

Es ist eine empirische Operationalisierung des Outer Alignment-Problems – und ist gleichzeitig eine Hauptquelle empirischer Beobachtungen über Specification Gaming und damit über Goodhart’s Law in heutigen Systemen.

Es ist die Grundlage der aktuellen Alignment Faking-Forschung (Greenblatt u. a. 2024): Untersucht wird, ob RLHF-trainierte Modelle ihre Trainingsbedingungen modellieren und strategisch unterlaufen können.

Kritik

Substantielle Kritik richtet sich vor allem auf vier Punkte:

Stand 2025/2026

RLHF im ursprünglichen PPO-basierten Sinn ist in der Praxis der Frontier-Labore zunehmend durch rechnerisch günstigere Nachfolgeverfahren ergänzt oder ersetzt worden. DPO und seine Varianten haben sich wegen des geringeren Trainingsaufwands breit durchgesetzt, während RLAIF-Ansätze wie Constitutional AI menschliche Annotation an mehreren Stellen der Pipeline durch KI-generiertes Feedback ersetzen.

Mit dem Aufkommen der Reasoning-Modelle (OpenAI o1/o3, seit Ende 2024) ist Deliberative Alignment als zusätzliche Schicht hinzugekommen, die explizites Schlussfolgern über Sicherheitsrichtlinien in die Inferenz selbst verlagert, statt sich allein auf im Training erlerntes Verhalten zu verlassen.

Der Begriff RLHF wird im Sprachgebrauch der Branche weiterhin als Sammelbezeichnung für präferenzbasiertes Post-Training verwendet, auch wo technisch längst eines der Nachfolgeverfahren zum Einsatz kommt. Diese begriffliche Unschärfe erklärt die Kontinuität der zugrundeliegenden Kritikpunkte (Skalierungsproblem, Annotationsarbeit) über die Verfahrensvarianten hinweg.

Verwandte Begriffe

• AI Alignment – übergeordnetes Forschungsfeld
• Proximal Policy Optimization (PPO) – algorithmische Grundlage
• Reward Hacking – RLHF-spezifisches Versagensmuster
• Constitutional AI – verwandte Methode
• Scalable Oversight – Forschungsanschluss
• Deceptive Alignment – verwandtes Risiko

Quellenangaben

1. Bai, Yuntao u. a., 2022. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. Anthropic. arXiv: 2204.05862.
2. Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
3. Casper, Stephen u. a., 2023. Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback. In: Transactions on Machine Learning Research. arXiv: 2307.15217.
4. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
5. Gao, Leo / Schulman, John / Hilton, Jacob, 2023. Scaling Laws for Reward Model Overoptimization. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023), S. 10835–10866. Zuerst erschienen als Preprint arXiv: 2210.10760, Oktober 2022.
6. Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
7. Irving, Geoffrey / Christiano, Paul / Amodei, Dario, 2018. AI Safety via Debate. OpenAI. arXiv: 1805.00899.
8. Knox, W. Bradley / Stone, Peter, 2008. TAMER: Training an Agent Manually via Evaluative Reinforcement. In: 7th IEEE International Conference on Development and Learning, S. 292–297.
9. Lambert, Nathan, 2025. Reinforcement Learning from Human Feedback. arXiv: 2504.12501.
10. MacGlashan, James u. a., 2017. Interactive Learning from Policy-Dependent Human Feedback. In: Proceedings of the 34th International Conference on Machine Learning (ICML 2017).
11. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
12. Perrigo, Billy, 2023. OpenAI Used Kenyan Workers on Less Than $2 per Hour to Make ChatGPT Less Toxic. In: TIME, 18. Januar 2023.
13. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
14. Schulman, John / Wolski, Filip / Dhariwal, Prafulla / Radford, Alec / Klimov, Oleg, 2017. Proximal Policy Optimization Algorithms. OpenAI. arXiv: 1707.06347.
15. Sharma, Mrinank / Tong, Meg / Korbak, Tomasz u. a., 2023. Towards Understanding Sycophancy in Language Models. Anthropic. arXiv: 2310.13548
16. Yudkowsky, Eliezer, 2001. Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures. Singularity Institute for Artificial Intelligence. singinst.org.
17. Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.

← Zurück zur Lexikon-Übersicht