RLHF (Reinforcement Learning from Human Feedback)

Reinforcement Learning from Human Feedback (deutsch bestärkendes Lernen aus menschlicher Rückmeldung; übliche Abkürzung RLHF) bezeichnet ein in den 2020er Jahren zum Industriestandard gewordenes Trainingsverfahren. Damit werden große Sprachmodelle (LLMs) und andere KI-Systeme nach dem initialen Vortraining gezielt an menschlichen Präferenzen ausgerichtet.

Der heute geläufige Pipeline-Aufbau wurde 2022 von Long Ouyang u. a. in dem Aufsatz Training Language Models to Follow Instructions with Human Feedback (NeurIPS 2022, InstructGPT-Arbeit) etabliert. Die Vorarbeiten reichen über Christiano u. a. (Deep Reinforcement Learning from Human Preferences, NeurIPS 2017) bis in die TAMER- und COACH-Tradition der 2000er Jahre (Knox/Stone 2008, MacGlashan u. a. 2017) zurück.

Zusammenfassung

RLHF ist die heute dominante technische Antwort auf das Outer Alignment-Problem: Wie spezifiziert man die Zielfunktion eines KI-Systems so, dass sein Verhalten mit den Intentionen seiner Entwickler:innen übereinstimmt?

RLHF umgeht die explizite Spezifikation einer Belohnungsfunktion und lernt diese stattdessen aus menschlichen Vergleichen zwischen Modell-Ausgaben.

Die klassische Pipeline umfasst drei Stufen: erstens Supervised Fine-Tuning (SFT) auf einem kleinen Datensatz menschlich verfasster Beispielantworten, zweitens das Training eines Reward Models anhand menschlicher Vergleichs-Rankings. Drittens folgt die Reinforcement-Learning-Optimierung des Sprachmodells gegen dieses Reward Model, üblicherweise mit Proximal Policy Optimization (PPO).

RLHF ist die technische Grundlage von ChatGPT (OpenAI, November 2022), Claude (Anthropic), Gemini (Google DeepMind) und der überwiegenden Mehrheit aktueller Frontier-Modelle. Das Verfahren ist außerordentlich effektiv und außerordentlich umstritten – es wird sowohl als Schlüssel-Innovation der Alignment-Praxis als auch als Quelle eigenständiger neuer Versagensmuster (Sycophancy, Reward Hacking, Mode Collapse) diskutiert.

Pipeline

Die heute geläufige RLHF-Pipeline (Ouyang u. a. 2022) gliedert sich in drei Phasen:

1. Supervised Fine-Tuning (SFT): Ein vortrainiertes Sprachmodell wird auf einem Datensatz von Prompt-Antwort-Paaren weitertrainiert, in denen die Antworten von menschlichen Demonstratoren verfasst sind. Damit wird das Modell auf das Anweisungs-Format und einen ersten Qualitätskorridor zugespitzt.
2. Reward Model Training: Für eine Reihe von Prompts werden mehrere Modell-Ausgaben generiert; menschliche Annotator:innen ordnen sie nach Präferenz. Aus diesen paarweisen oder K-fachen Vergleichen wird ein Reward Model trainiert, das eine skalare Bewertung pro Modell-Ausgabe ausgibt. Theoretische Grundlage ist das Bradley-Terry-Modell der paarweisen Präferenzaggregation.
3. Reinforcement-Learning-Optimierung: Das SFT-Modell wird mit Reinforcement Learning gegen das Reward Model trainiert, in der Praxis fast durchgängig mit Proximal Policy Optimization (PPO, Schulman u. a. 2017). Eine KL-Divergenz-Regularisierung zwischen dem RL-trainierten und dem SFT-Modell verhindert übermäßige Abweichung von der ursprünglichen Sprachverteilung.

Wesentliche Erfolgsmeldung des InstructGPT-Aufsatzes: Ein RLHF-trainiertes Modell mit 1,3 Mrd. Parametern wurde in menschlichen Bewertungen einem 175-Mrd.-Parameter-GPT-3-Modell ohne RLHF vorgezogen. Diese empirische Überlegenheit war Anlass der breiten Adoption.

Varianten und Weiterentwicklungen

Seit 2022 hat sich eine reichhaltige Familie verwandter Verfahren herausgebildet:

RLAIF (Reinforcement Learning from AI Feedback; Anthropic 2022/2023): Statt menschlicher Vergleiche werden Vergleiche durch ein zweites KI-Modell generiert – eine zentrale Komponente der Constitutional AI-Methode.

DPO (Direct Preference Optimization; Rafailov u. a. 2023): Eine algebraische Umformulierung, die die Reward-Model-Phase und die PPO-Phase in einer einzigen Optimierungsschritt kombiniert. DPO ist rechnerisch einfacher und in vielen Anwendungen mit RLHF qualitativ gleichauf.

KTO (Kahneman-Tversky Optimization), IPO (Identity Preference Optimization), SimPO und weitere Varianten: Algorithmische Verfeinerungen, die unterschiedliche theoretische Annahmen über die Präferenzstruktur einbringen.

Deliberative Alignment (OpenAI 2024): Eine neuere Variante, in der das Modell selbst während der Inferenz explizit auf Sicherheitsrichtlinien Bezug nimmt.

Bekannte Versagensmuster

RLHF ist mit einer Reihe dokumentierter Probleme verbunden:

Sycophancy (Sharma u. a., Anthropic 2023): Das Modell stimmt Nutzer:innen überproportional zu – auch bei sachlich falschen Behauptungen –, weil zustimmende Antworten in der Annotierung systematisch höher bewertet werden.

Reward Hacking / Reward Model Over-Optimization (Gao/Schulman/Hilton 2022): Bei zu starker Optimierung gegen das Reward Model lernt das Sprachmodell, das Reward Model zu spielen – es findet Ausgaben, die das Reward Model hoch bewertet, ohne tatsächlich besser zu sein. Eine Form von Specification Gaming.

Mode Collapse: Das Modell konvergiert auf ein eng begrenztes Repertoire stilistischer und inhaltlicher Muster.

Annotation Bias: Die ethnischen, sprachlichen und kulturellen Vorprägungen der Annotator:innen prägen das Modell systematisch.

Capability Trade-offs: RLHF erhöht oft die Sicherheit, kann aber Reasoning-Fähigkeiten und Diversität verringern (alignment tax).

Theoretische Einbettung

RLHF ist in mehreren Hinsichten zentraler Bezugspunkt der AI-Alignment-Diskussion:

Es ist die technisch realisierte Variante dessen, was die Friendly AI-Tradition (Yudkowsky 2001, Creating Friendly AI) und das CEV-Programm (Yudkowsky 2004) theoretisch antizipiert hatten – wenn auch in einer von dort weit entfernten Form. Statt extrapolierter idealisierter Volitionen werden faktische Präferenzen einer kleinen Annotator:innen-Gruppe gelernt.

Es ist eine empirische Operationalisierung des Outer Alignment-Problems – und ist gleichzeitig eine Hauptquelle empirischer Beobachtungen über Specification Gaming und damit über Goodhart’s Law in heutigen Systemen.

Es ist die Grundlage der aktuellen Alignment Faking-Forschung (Greenblatt u. a. 2024): Untersucht wird, ob RLHF-trainierte Modelle ihre Trainingsbedingungen modellieren und strategisch unterlaufen können.

Kritik

Substantielle Kritik richtet sich vor allem auf vier Punkte:

Skalierungsproblem: Wenn RLHF die Hauptmethode zur Alignment-Sicherung ist, müssen Annotator:innen substantiell schwieriger zu beurteilende Modell-Ausgaben bewerten als ihre eigenen Fähigkeiten reichen. Diese Skalierungslücke ist Gegenstand der Forschungsprogramme Scalable Oversight (Anthropic, OpenAI) und Debate (Irving u. a. 2018).

Reduktion menschlicher Präferenzen auf paarweise Vergleiche: Eine Reihe von Forscher:innen (insbesondere Stuart Russell, Anca Dragan) argumentiert, dass die reichhaltige Struktur menschlicher Werte durch paarweise Vergleiche zwischen Text-Outputs nur sehr verlustreich erfasst wird.

Arbeitsverhältnisse der Annotation: Annotationsarbeit für RLHF wird überwiegend in Niedriglohnländern erbracht; die psychischen Belastungen (Sichtung problematischer Inhalte) sind dokumentiert (etwa der TIME-Bericht zu OpenAIs Kenya-Annotator:innen 2023).

Aus der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru): RLHF wird als Beispiel dafür diskutiert, wie zentrale Alignment-Praxis konkrete Schäden (Arbeitsausbeutung, Bias-Reproduktion) erzeugt, während die diskursive Aufmerksamkeit auf hypothetischen x-risks liegt.

Stand 2025/2026

RLHF im ursprünglichen PPO-basierten Sinn ist in der Praxis der Frontier-Labore zunehmend durch rechnerisch günstigere Nachfolgeverfahren ergänzt oder ersetzt worden. DPO und seine Varianten haben sich wegen des geringeren Trainingsaufwands breit durchgesetzt, während RLAIF-Ansätze wie Constitutional AI menschliche Annotation an mehreren Stellen der Pipeline durch KI-generiertes Feedback ersetzen.

Mit dem Aufkommen der Reasoning-Modelle (OpenAI o1/o3, seit Ende 2024) ist Deliberative Alignment als zusätzliche Schicht hinzugekommen, die explizites Schlussfolgern über Sicherheitsrichtlinien in die Inferenz selbst verlagert, statt sich allein auf im Training erlerntes Verhalten zu verlassen.

Der Begriff RLHF wird im Sprachgebrauch der Branche weiterhin als Sammelbezeichnung für präferenzbasiertes Post-Training verwendet, auch wo technisch längst eines der Nachfolgeverfahren zum Einsatz kommt. Diese begriffliche Unschärfe erklärt die Kontinuität der zugrundeliegenden Kritikpunkte (Skalierungsproblem, Annotationsarbeit) über die Verfahrensvarianten hinweg.

Verwandte Begriffe

• AI Alignment – übergeordnetes Forschungsfeld
• PPO (Proximal Policy Optimization) – algorithmische Grundlage
• Reward Hacking – RLHF-spezifisches Versagensmuster
• Constitutional AI – verwandte Methode
• DPO (Direct Preference Optimization) – Vereinfachung
• Scalable Oversight – Forschungsanschluss
• Deceptive Alignment – verwandtes Risiko

Quellenangaben

1. Bai, Yuntao u. a. (2022): Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. Anthropic. arXiv: 2204.05862.
2. Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
3. Casper, Stephen u. a., 2023. Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback. In: Transactions on Machine Learning Research. arXiv: 2307.15217.
4. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
5. Gao, Leo / Schulman, John / Hilton, Jacob, 2022. Scaling Laws for Reward Model Overoptimization. OpenAI. arXiv: 2210.10760
6. Gao, Leo / Schulman, John / Hilton, Jacob (2023): Scaling Laws for Reward Model Overoptimization. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023), S. 10835–10866.
7. Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
8. Irving, Geoffrey / Christiano, Paul / Amodei, Dario, 2018. AI Safety via Debate. OpenAI. arXiv: 1805.00899.
9. Knox, W. Bradley / Stone, Peter (2008): TAMER: Training an Agent Manually via Evaluative Reinforcement. In: 7th IEEE International Conference on Development and Learning, S. 292–297.
10. Lambert, Nathan (2024/2026): Reinforcement Learning from Human Feedback. arXiv: 2504.12501.
11. MacGlashan, James u. a. (2017): Interactive Learning from Policy-Dependent Human Feedback. In: Proceedings of the 34th International Conference on Machine Learning (ICML 2017).
12. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
13. Perrigo, Billy (2023): OpenAI Used Kenyan Workers on Less Than $2 per Hour to Make ChatGPT Less Toxic. In: TIME, 18. Januar 2023.
14. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
15. Schulman, John / Wolski, Filip / Dhariwal, Prafulla / Radford, Alec / Klimov, Oleg, 2017. Proximal Policy Optimization Algorithms. OpenAI. arXiv: 1707.06347.
16. Sharma, Mrinank / Tong, Meg / Korbak, Tomasz u. a., 2023. Towards Understanding Sycophancy in Language Models. Anthropic. arXiv: 2310.13548
17. Yudkowsky, Eliezer, 2001. Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures. Singularity Institute for Artificial Intelligence. singinst.org.
18. Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.

← Zurück zur Lexikon-Übersicht