RLAIF

Reinforcement Learning from AI Feedback (deutsch sinngemäß bestärkendes Lernen aus KI-Rückmeldung; übliche Abkürzung RLAIF) bezeichnet eine Familie von Nachtrainingsverfahren für große Sprachmodelle, in denen das Präferenzsignal, an dem das Modell ausgerichtet wird, nicht von menschlichen Annotator:innen, sondern von einem zweiten KI-Modell erzeugt wird.

Der Terminus stammt aus Anthropics Aufsatz Constitutional AI: Harmlessness from AI Feedback (Yuntao Bai u. a. 2022, arXiv 2212.08073), wo RLAIF die zweite Trainingsphase nach einer überwachten Selbstkritik-Phase bildet. Als eigenständiges, von der Konstitutionsidee ablösbares Verfahren etabliert hat den Begriff eine Google-Arbeit von Harrison Lee u. a. (2023, ICML-Fassung 2024).

Zusammenfassung

RLAIF verändert an der etablierten RLHF-Pipeline exakt eine Stelle: die Herkunft der paarweisen Präferenzurteile, aus denen das Reward-Modell gelernt wird.

Alles Weitere – Reward-Modell-Training, KL-regularisierte Optimierung der Policy – bleibt strukturell unverändert. Aus dieser scheinbar kleinen Verschiebung folgen zwei sehr unterschiedliche Begründungen.

Die ökonomische lautet, dass KI-Labeling die Annotationskosten drastisch senkt und die Datenmenge von der Verfügbarkeit menschlicher Arbeitszeit entkoppelt; Lee u. a. schätzen den Kostenvorteil ihres Aufbaus gegenüber menschlicher Annotation auf mehr als eine Größenordnung.

Die sicherheitstheoretische lautet, dass menschliche Beurteilungsfähigkeit an eine Obergrenze stößt, sobald Modellausgaben komplexer werden als das, was Annotator:innen zuverlässig prüfen können – RLAIF wird damit zu einem Kandidaten für Scalable Oversight.

Empirisch gilt der Befund von Lee u. a. als Referenz: In ihren Experimenten war RLAIF von menschlichen Bewerter:innen ähnlich häufig bevorzugt wie RLHF. Der Preis dieser Skalierbarkeit ist eine strukturelle Zirkularität: Das bewertende Modell ist selbst Produkt eines Alignment-Prozesses, weshalb RLAIF vorhandene Wertsetzungen und Verzerrungen eher amplifiziert als unabhängig prüft.

Begriffsgeschichte

Der Ausdruck entsteht als Kontrastbildung zu RLHF. Bai u. a. führen ihn im Dezember 2022 ein, um die zweite Phase der Constitutional-AI-Pipeline zu benennen: Ein Feedback-Modell wählt anhand eines zufällig gezogenen Prinzips aus einer schriftlichen Konstitution die weniger schädliche von zwei Modellantworten aus; die so erzeugten Vergleiche ersetzen die menschliche Harmlessness-Annotation.

RLAIF ist dort kein selbständiges Verfahren, sondern ein Baustein einer normativ aufgeladenen Gesamtarchitektur (Details im Eintrag Constitutional AI).

Die Ablösung vom Konstitutionsgedanken vollzieht eine Arbeitsgruppe bei Google Research: Harrison Lee, Samrat Phatale, Hassan Mansoor, Thomas Mesnard, Johan Ferret und weitere veröffentlichen am 1. September 2023 den Aufsatz RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (arXiv 2309.00267).

Die Arbeit fragt nicht nach Prinzipientreue, sondern nach Substituierbarkeit: Kann ein handelsübliches, instruktionsfeinjustiertes Sprachmodell die Präferenzlabels liefern, ohne dass die Endqualität leidet? Die 2024 auf der 41. International Conference on Machine Learning präsentierte Fassung trägt den geschärften Titel RLAIF vs. RLHF und ergänzt die Variante d-RLAIF.

Parallel entsteht die Infrastruktur, die RLAIF praktisch macht. Die Untersuchung Judging LLM-as-a-Judge (Lianmin Zheng u. a. 2023) etabliert Sprachmodelle als Bewertungsinstanz samt Katalog ihrer Verzerrungen; UltraFeedback (Ganqu Cui u. a. 2023) liefert einen großen, per LLM annotierten Präferenzdatensatz, der zur Standardressource offener Post-Training-Pipelines wird.

2024 radikalisieren Self-Rewarding Language Models (Weizhe Yuan u. a., ICML 2024) die Idee: Dasselbe Modell erzeugt Antworten und bewertet sie, wodurch Policy und Labeler in einem iterativen Kreislauf zusammenfallen.

Methodische Grundlagen

Das Grundschema ist schlicht. Zu einem Prompt werden zwei oder mehr Antworten erzeugt; ein AI Labeler erhält beide zusammen mit einer Instruktion – bei Constitutional AI ein Konstitutionsprinzip, bei Lee u. a. eine aufgabenspezifische Bewertungsrubrik – und gibt an, welche Antwort vorzuziehen ist.

Aus diesen Vergleichen wird wie im menschlichen Fall ein Reward-Modell nach dem Bradley-Terry-Schema gelernt, gegen das die Policy anschließend optimiert wird. Die Konstitution ist für RLAIF also nicht konstitutiv: Sie ist eine besonders explizite, prüfbare Form der Labeling-Instruktion, keine notwendige Bedingung.

Bedeutsam ist die Unterscheidung zweier Architekturen. Im kanonischen RLAIF werden die KI-Präferenzen in ein separates Reward-Modell destilliert, das während des Reinforcement Learning die Belohnung liefert.

Bei d-RLAIF (direct RLAIF) entfällt dieser Zwischenschritt: Die Belohnung wird während des RL direkt beim Labeler-Modell abgefragt. Das umgeht das Problem, dass ein einmal trainiertes Reward-Modell gegenüber der sich verändernden Policy veraltet, und schnitt in den Experimenten von Lee u. a. besser ab als die destillierte Variante.

Die Qualität des Signals hängt stark an der Prompt-Gestaltung. Lee u. a. berichten, dass die Aufforderung zu explizitem Zwischenschlussfolgern (Chain of Thought) vor der Präferenzangabe die Übereinstimmung des KI-Labelers mit menschlichen Urteilen verbessert, während Few-Shot-Beispiele keinen vergleichbaren Effekt zeigten.

Üblich sind außerdem das Mitteln über beide Reihenfolgen des Antwortpaars gegen Positionsverzerrung und die Verwendung weicher Wahrscheinlichkeiten statt harter Labels.

Die zentralen Ergebnisse: In ihrem Aufbau – PaLM 2 Large als Labeler, PaLM 2 Extra-Small als Policy und Reward-Modell, Optimierung mit einer modifizierten REINFORCE-Variante – wurden RLAIF und RLHF gegenüber einer rein überwacht feinjustierten Ausgangsversion in 71 beziehungsweise 73 Prozent der Fälle bevorzugt (Zusammenfassungsaufgabe) und in 63 beziehungsweise 64 Prozent (hilfreicher Dialog); im direkten Vergleich beider Verfahren war der Unterschied statistisch nicht signifikant.

Bei der Harmlosigkeitsaufgabe schnitt RLAIF mit 88 Prozent als harmlos bewerteten Antworten besser ab als RLHF (76 Prozent) und die Ausgangsversion (64 Prozent). Auch wenn der Labeler nicht größer, sondern gleich groß wie die Policy war, blieb ein Vorteil bestehen (68 Prozent); d-RLAIF erreichte 74 Prozent.

Zugleich benennt die Arbeit die Grenzen: Auf einem menschlich gelabelten Holdout-Set war das aus KI-Feedback trainierte Reward-Modell weniger treffsicher als das aus menschlichem Feedback (74,2 gegenüber 79,3 Prozent bei der Zusammenfassungsaufgabe), und nach Kontrolle der Antwortlänge fielen die Vorsprünge deutlich niedriger aus (59 statt 71, beziehungsweise 61 statt 73 Prozent).

Eine Kombination beider Feedbackquellen brachte gegenüber reinem RLHF keinen Zugewinn.

Vom Verhältnis zu DPO ist RLAIF sauber zu trennen: DPO betrifft den Optimierungsalgorithmus, RLAIF die Herkunft der Daten. Beide sind orthogonal und werden in der Praxis meist kombiniert – KI-generierte Präferenzpaare, darauf DPO, ist die verbreitetste offene Umsetzung.

Anwendungsfelder

Der ursprüngliche und bis heute wichtigste Anwendungsfall ist das Sicherheitstraining: Harmlessness-Präferenzen lassen sich vergleichsweise gut aus expliziten Regeln ableiten, während Annotationsarbeit hier besonders belastend ist.

Im offenen Ökosystem hat sich RLAIF über Datensätze verbreitet: Hugging Face veröffentlichte im Februar 2024 eine durchgängige Rezeptur für Constitutional AI mit offenen Modellen samt zweier Vergleichsdatensätze und der Modelle mistral-7b-anthropic und mistral-7b-grok.

Das Post-Training-Paket Tulu 3 des Allen Institute for AI (Nathan Lambert u. a. 2024) dokumentiert eine vollständige offene Nachtrainings-Pipeline einschließlich der Präferenzdatengenerierung.

Auch der Bau von Reward-Modellen selbst stützt sich inzwischen auf KI-Labeling: Für Skywork-Reward-V2 (Chris Yuhao Liu u. a. 2025) wurde der Datensatz SynPref-40M mit 40 Millionen Präferenzpaaren in einer zweistufigen Mensch-KI-Pipeline kuratiert, von denen eine geprüfte Teilmenge von 26 Millionen Paaren in das Training von acht Reward-Modellen zwischen 0,6 und 8 Milliarden Parametern einging.

Kontroversen und Kritik

Der schwerwiegendste Einwand ist die Zirkularität. Der bewertende Labeler ist selbst durch RLHF geprägt; seine Urteile sind daher keine unabhängige Prüfinstanz, sondern eine Vervielfältigung bereits getroffener Wertsetzungen. Was als Skalierung von Aufsicht erscheint, ist der Sache nach eine Verbilligung ihrer Reproduktion – ein Punkt, den auch Stephen Casper u. a. (2023) in ihrer Bestandsaufnahme der RLHF-Grenzen betonen.

Empirisch untermauert wird das durch die Forschung zu Verzerrungen von Sprachmodell-Jurys. Koki Wataoka, Tsubasa Takahashi und Ryokan Ri (2024) quantifizieren eine Self-Preference Bias: Modelle bevorzugen systematisch Ausgaben, die ihrer eigenen Erzeugungsverteilung ähneln.

Wei-Lin Chen u. a. (2025) differenzieren den Befund – ein Teil der Selbstbevorzugung entspreche tatsächlich höherer Qualität –, zeigen aber zugleich, dass gerade die eigenen Fehler von starken Modellen schlecht erkannt werden.

Hinzu kommen Längen-, Positions- und Stilpräferenzen; die Längenkorrektur bei Lee u. a. illustriert, wie viel des gemessenen Vorsprungs auf solche Oberflächenmerkmale entfällt. Für die Folgeprobleme siehe die Einträge Reward Hacking und Sycophancy.

Populär, aber präzisierungsbedürftig ist die Sorge vor einem Modellkollaps. Ilia Shumailov u. a. (Nature 2024) zeigen, dass rekursives Training auf selbst erzeugten Daten zu fortschreitendem Verlust der Verteilungsränder führt.

Der Befund betrifft primär das Vortraining auf generierten Texten, nicht das Labeling von Präferenzen über menschlich erzeugten oder kuratierten Prompts; eine direkte Übertragung auf RLAIF ist plausibel als Analogie, aber nicht belegt, und die Arbeit selbst ist diskutiert worden.

Normativ bleibt die Frage offen, wessen Werte in die Labeling-Instruktion eingehen – bei Constitutional AI in Gestalt der Konstitution, bei generischem RLAIF oft unausgesprochen in einer Rubrik, die niemand veröffentlicht.

Schließlich ziehen Kosten- und Sicherheitsargument in verschiedene Richtungen: Das ökonomische Motiv favorisiert möglichst billige, schwache Labeler, das sicherheitstheoretische verlangt gerade die aufwendigen, prüfbaren und stark geprüften. Und arbeitspolitisch wird menschliche Annotation nicht abgeschafft, sondern verlagert – auf Kuratierung, Stichprobenprüfung und Erstellung von Ankerdaten.

Stand 2025/2026

Synthetische Präferenzdaten sind zum Normalfall geworden; eine offene Post-Training-Pipeline ohne LLM-generierte Labels ist 2026 die Ausnahme. Zugleich hat sich die Arbeitsteilung verschoben. Für verifizierbare Domänen wie Mathematik und Programmierung haben sich programmatisch prüfbare Belohnungen durchgesetzt, wodurch KI-Feedback dort an Bedeutung verliert.

Für offene, nicht verifizierbare Aufgaben rückt es dafür in eine strukturiertere Form: Anisha Gunjal u. a. (2025) schlagen mit Rubrics as Rewards explizite, checklistenartige Bewertungsraster als Belohnungssignal vor – faktisch eine Konstitution pro Aufgabe statt pro Modell.

Der zweite Trend ist Hybridisierung. Skywork-Reward-V2 (Juli 2025) argumentiert programmatisch für Human-AI Synergy: Menschen liefern geprüfte Ankerannotationen, das Sprachmodell skaliert deren Anwendung. Das ist eine Absage an die Vorstellung, KI-Feedback könne menschliches vollständig ersetzen.

Bei Anthropic hat sich das Konstitutionsprinzip in zwei Richtungen ausdifferenziert: Die Constitutional Classifiers (Mrinank Sharma u. a., Januar 2025) verlagern es vom Training in eine Filterschicht zur Inferenzzeit, und am 21. Januar 2026 erschien eine grundlegend überarbeitete Claude-Konstitution, über die unter anderem das Magazin TIME berichtete.

Theoretisch schließlich hat sich die Debatte vom Ob zum Wie der Korrektur verschoben. Xintao Xia u. a. legen im Februar 2026 einen statistischen Rahmen für Alignment mit systematisch verzerrtem KI-Feedback vor, der die Verzerrung des Labelers nicht zu vermeiden, sondern mithilfe externer menschlicher Referenzdaten explizit herauszurechnen versucht.

RLAIF ist damit normalisiert; die offene Frage ist nicht mehr die Machbarkeit, sondern die Kalibrierung und die Rechenschaftsfähigkeit des Signals.

Quellenangaben

Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
Casper, Stephen u. a., 2023. Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback. In: Transactions on Machine Learning Research. arXiv: 2307.15217.
Chen, Wei-Lin u. a., 2025. Do LLM Evaluators Prefer Themselves for a Reason? arXiv: 2504.03846
Cui, Ganqu u. a., 2023. UltraFeedback: Boosting Language Models with Scaled AI Feedback. arXiv: 2310.01377
Gunjal, Anisha u. a., 2025. Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains. arXiv: 2507.17746
Huang, Shengyi Costa u. a., 2024. Constitutional AI with Open LLMs. Hugging Face Blog, 1. Februar 2024.
Lambert, Nathan u. a., 2024. Tulu 3: Pushing Frontiers in Open Language Model Post-Training. Allen Institute for AI. arXiv: 2411.15124
Lee, Harrison u. a., 2024. RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. In: Proceedings of the 41st International Conference on Machine Learning, PMLR 235, S. 26874–26901. arXiv: 2309.00267
Liu, Chris Yuhao u. a., 2025. Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy. arXiv: 2507.01352
Ostrovsky, Nikita / Perrigo, Billy, 2026. How Do You Teach an AI to Be Good? Anthropic Just Published Its Answer. In: TIME, 21. Januar 2026.
Sharma, Mrinank u. a., 2025. Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming. Anthropic. arXiv: 2501.18837
Shumailov, Ilia u. a., 2024. AI Models Collapse When Trained on Recursively Generated Data. In: Nature 631, S. 755–759. DOI: 10.1038/s41586-024-07566-y
Wataoka, Koki / Takahashi, Tsubasa / Ri, Ryokan, 2024. Self-Preference Bias in LLM-as-a-Judge. NeurIPS 2024 Safe Generative AI Workshop. arXiv: 2410.21819
Xia, Xintao / Xia, Zhiqiu / Zhang, Linjun / Cai, Zhanrui, 2026. A Statistical Framework for Alignment with Biased AI Feedback. arXiv: 2602.08259
Yuan, Weizhe u. a., 2024. Self-Rewarding Language Models. ICML 2024. arXiv: 2401.10020
Zheng, Lianmin u. a., 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. arXiv: 2306.05685

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.