Reward Model

Ein Reward Model (deutsch auch Belohnungsmodell) ist ein Modell, das aus menschlichen Präferenzurteilen trainiert wird, um die Qualität einer Ausgabe eines anderen Systems zu bewerten. Es ersetzt eine explizit programmierte Belohnungsfunktion im Reinforcement Learning und ist der zentrale Baustein von Reinforcement Learning from Human Feedback (RLHF).

Zusammenfassung

Klassisches Reinforcement Learning benötigt eine Belohnungsfunktion, die für jede Handlung eines Agenten einen numerischen Wert liefert. Für viele reale Aufgaben – etwa die Qualität einer geschriebenen Antwort – lässt sich eine solche Funktion nicht sinnvoll von Hand formulieren.

Der Reward-Model-Ansatz löst dieses Problem, indem er Menschen bittet, jeweils zwei Ausgaben desselben Systems zu vergleichen und die bessere auszuwählen, statt eine absolute Bewertung zu vergeben. Aus vielen solchen paarweisen Vergleichen wird ein Modell trainiert, das diese Präferenzen vorhersagt und damit eine kontinuierliche Bewertungsfunktion für neue, ungesehene Ausgaben liefert. Das trainierte Reward Model übernimmt anschließend die Rolle der Belohnungsfunktion in einem klassischen Reinforcement-Learning-Verfahren, das die eigentliche Politik – etwa ein Sprachmodell – auf hohe Bewertungen hin optimiert.

Begriffsgeschichte

Die grundlegende Methode stammt aus Deep Reinforcement Learning from Human Preferences von Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg und Dario Amodei, veröffentlicht 2017. Die Autor:innen zeigten, dass sich komplexe Verhaltensweisen – etwa bei Atari-Spielen und simulierten Roboter-Bewegungsaufgaben – trainieren lassen, indem Menschen weniger als ein Prozent der Interaktionen des Agenten mit der Umgebung bewerten. Mit rund einer Stunde menschlicher Bewertungszeit ließen sich so komplexe, neuartige Verhaltensweisen erzeugen, für die zuvor keine handformulierte Belohnungsfunktion existierte.

Breite praktische Bedeutung erlangte der Ansatz durch Training Language Models to Follow Instructions with Human Feedback von Long Ouyang und Kolleg:innen (2022), das Verfahren hinter InstructGPT. Hier bewertete ein aus dem Basismodell abgeleitetes Reward Model die Qualität von Antworten auf Instruktionen, und das eigentliche Sprachmodell wurde per Reinforcement Learning auf hohe Bewertungen durch dieses Reward Model trainiert – der Kern dessen, was seither als RLHF bekannt ist.

Methodische Grundlagen

Das Training eines Reward Models läuft typischerweise in drei Schritten ab. Zunächst erzeugt das zu bewertende System mehrere Antworten auf dieselbe Eingabe. Menschliche Bewerter:innen vergleichen anschließend Antwortpaare und wählen die bessere aus, ohne eine absolute Punktzahl zu vergeben – paarweise Vergleiche sind für Menschen konsistenter zu treffen als absolute Bewertungen. Aus diesen Präferenzdaten wird schließlich ein Modell trainiert, meist mit derselben Grundarchitektur wie das zu bewertende System, das jeder Ausgabe einen skalaren Bewertungswert zuweist, der die gelernten menschlichen Präferenzen approximiert.

Das trainierte Reward Model dient anschließend als Belohnungssignal für ein Reinforcement-Learning-Verfahren wie Proximal Policy Optimization, das die Politik des zu optimierenden Systems auf hohe Reward-Model-Bewertungen hin anpasst.

Anwendungsfelder

Reward Models sind der zentrale Baustein von RLHF und damit an der Ausrichtung praktisch aller großen kommerziellen Chat-Sprachmodelle beteiligt, von InstructGPT und ChatGPT bis zu nachfolgenden Systemen. Sie werden eingesetzt, um Modelle hilfreicher, ehrlicher und weniger schädlich zu machen, ohne dass diese Eigenschaften explizit programmiert werden müssten.

Alternative Verfahren wie Direct Preference Optimization (DPO) verzichten auf ein separates Reward Model und optimieren die Politik direkt auf den Präferenzdaten – DPO zeigt formal, dass ein Sprachmodell implizit bereits ein Reward Model kodiert.

Kontroversen und Kritik

Reward Hacking. Ein zentrales Problem ist, dass ein optimiertes System lernen kann, die Bewertung des Reward Models auszunutzen, ohne die eigentlich gewünschte Eigenschaft zu verbessern – ein Beispiel für Goodhart’s Law: Sobald eine Kennzahl zum Optimierungsziel wird, hört sie auf, ein verlässliches Maß zu sein.

Verzerrungen aus den Bewertungsdaten. Da das Reward Model menschliche Präferenzen approximiert, überträgt es systematische Verzerrungen der Bewertenden – etwa eine Vorliebe für längere oder selbstbewusster klingende Antworten unabhängig von deren tatsächlicher Qualität.

Abhängigkeit von Vergleichsqualität. Die Zuverlässigkeit eines Reward Models hängt unmittelbar davon ab, wie konsistent und sorgfältig die zugrunde liegenden menschlichen Präferenzurteile getroffen wurden. Bei komplexen oder mehrdeutigen Aufgaben sinkt diese Konsistenz, was sich unmittelbar in einem weniger verlässlichen Reward Model niederschlägt.

Verwandte Begriffe

• Group Relative Policy Optimization – RL-Verfahren, das ebenfalls auf einem Bewertungssignal aufbaut
• AI Alignment – übergeordnetes Forschungsfeld, dem der Ansatz zuzurechnen ist
• Scalable Oversight – verwandtes Problem, wenn menschliche Bewertung an ihre Grenzen stößt
• Concrete Problems in AI Safety – frühe Arbeit, die verwandte Belohnungsprobleme benennt

Quellenangaben

1. Christiano, Paul / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. arXiv: 1706.03741.
2. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
3. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.

← Zurück zur Lexikon-Übersicht