Direct Preference Optimization (DPO)

Direct Preference Optimization (DPO) ist ein Verfahren, um ein Sprachmodell an menschlichen Präferenzen auszurichten, ohne den Umweg über ein eigenes Belohnungsmodell und bestärkendes Lernen. Es formt die Aufgabe so um, dass sich die Präferenzdaten unmittelbar als Trainingsziel verwenden lassen.

Zusammenfassung

Bis 2023 verlief die Ausrichtung in drei Stufen: überwachtes Anpassen an Beispieldialoge, Training eines Belohnungsmodells auf Vergleichsurteilen, und schließlich bestärkendes Lernen gegen dieses Belohnungsmodell.

Die dritte Stufe ist aufwendig und empfindlich. Sie erfordert mehrere Modelle im Speicher, zahlreiche Einstellgrößen und neigt dazu, das Belohnungsmodell auszunutzen statt ihm zu folgen.

Rafael Rafailov und Kollegen zeigten 2023, dass sich diese Stufe umgehen lässt. Ihr Beitrag ist keine neue Zielsetzung, sondern eine Umformung: Das Sprachmodell selbst enthält implizit ein Belohnungsmodell, sodass sich das Ziel als gewöhnliche Klassifikationsaufgabe schreiben lässt.

Das Verfahren setzte sich rasch durch, weil es mit weniger Rechenaufwand und ohne die schwierigen Einstellungen auskommt. Ob es dieselbe Qualität erreicht wie das ältere Vorgehen, ist Gegenstand fortdauernder Auseinandersetzung.

Begriffsgeschichte

Das ältere Vorgehen wurde 2022 mit InstructGPT bekannt und lag ChatGPT zugrunde. Es machte aus einem Textvorhersagemodell ein Werkzeug, das Anweisungen befolgt – und gilt als der Schritt, der große Sprachmodelle allgemein brauchbar machte.

Seine Schwierigkeiten waren in der Fachgemeinschaft bekannt. Das bestärkende Lernen erforderte gleichzeitig vier Modelle im Speicher, reagierte empfindlich auf Einstellungen und musste durch eine Straffunktion daran gehindert werden, sich zu weit vom Ausgangsmodell zu entfernen.

Die Arbeit von 2023 setzte an einer mathematischen Beobachtung an. Die optimale Lösung des älteren Ziels lässt sich in geschlossener Form angeben – und aus dieser Form lässt sich die Belohnung durch das Modell selbst ausdrücken.

Setzt man diesen Ausdruck in das übliche Präferenzmodell ein, entsteht ein Ziel, das nur noch das Sprachmodell und ein eingefrorenes Vergleichsmodell benötigt. Das bestärkende Lernen entfällt.

Seit 2024 sind zahlreiche Abwandlungen erschienen, die das Verfahren auf Fälle ohne Paarvergleiche, auf mehrere Kriterien gleichzeitig oder auf schrittweise Rückmeldung erweitern.

Methodische Grundlagen

Präferenzpaare als Ausgangsmaterial. Zu jeder Anfrage liegen zwei Antworten vor, von denen eine als besser bewertet wurde. Dieselben Daten, aus denen zuvor das Belohnungsmodell trainiert wurde, werden hier unmittelbar verwendet.

Das Vergleichsmodell. Eine eingefrorene Kopie des Ausgangsmodells dient als Bezugspunkt. Das Ziel belohnt nicht die Wahrscheinlichkeit der besseren Antwort an sich, sondern ihren Zuwachs gegenüber diesem Bezugspunkt.

Implizite Belohnung. Der Kern des Kunstgriffs: Das Verhältnis der Wahrscheinlichkeiten von trainiertem und eingefrorenem Modell wirkt als Belohnungsfunktion, ohne dass eine solche eigens trainiert würde.

Eine Einstellgröße. Ein einziger Parameter steuert, wie stark sich das Modell vom Ausgangspunkt entfernen darf. Gegenüber den zahlreichen Einstellungen des bestärkenden Lernens ist das eine erhebliche Vereinfachung.

Rechenaufwand. Benötigt werden zwei Modelle statt vier, und der Trainingslauf ähnelt einem gewöhnlichen überwachten Lauf. Der Aufwand liegt deutlich unter dem des älteren Verfahrens.

Anwendungsfelder

Offene Modellfamilien. Der praktisch größte Effekt: Ausrichtung wurde für Gruppen ohne große Rechenausstattung durchführbar. Zahlreiche offene Modelle verwenden das Verfahren.

Anpassung an Fachbereiche. Wo Fachleute Antworten paarweise bewerten können, lässt sich ein Modell mit vergleichsweise wenig Aufwand auf deren Urteil einstellen.

Sicherheitsausrichtung. Präferenzpaare aus abgelehnten und angenommenen Antworten dienen dazu, Verweigerungsverhalten zu formen – mit den bekannten Wechselwirkungen zum Overrefusal.

Ausgangspunkt für Abwandlungen. Das Verfahren ist zur Grundlage einer ganzen Familie geworden, deren Varianten unterschiedliche Schwächen des Ursprungs angehen.

Kontroversen und Kritik

Gleichwertigkeit umstritten. Mehrere Vergleichsstudien finden, dass das ältere Vorgehen bei sorgfältiger Einstellung und ausreichenden Mitteln bessere Ergebnisse erzielt – besonders bei Aufgaben, die Verallgemeinerung über die Trainingsverteilung hinaus verlangen.

Anfälligkeit für Verteilungsabstand. Das Verfahren lernt aus vorliegenden Paaren, während bestärkendes Lernen aus selbst erzeugten Antworten lernt. Liegen die Trainingspaare weit vom Verhalten des Modells entfernt, wird das Signal unzuverlässig.

Absenkung beider Wahrscheinlichkeiten. Ein dokumentiertes Verhalten: Im Verlauf des Trainings sinkt häufig die Wahrscheinlichkeit beider Antworten – auch der bevorzugten. Das Ziel belohnt den Abstand, nicht die Güte, und dieser Abstand lässt sich auch durch Absenken der schlechteren erreichen.

Verlagerung des Problems. Die Ausnutzung des Belohnungsmodells entfällt, weil es keines gibt. An seine Stelle tritt die Frage, ob die Präferenzpaare selbst das abbilden, was gemeint war – ein Problem, das die Umformung nicht berührt.

Qualität der Urteile. Wie beim älteren Verfahren gilt: Was gelernt wird, sind die Urteile der Bewertenden. Deren Zusammensetzung, Anleitung und Ermüdung wirken unmittelbar auf das Ergebnis und werden selten dokumentiert.

Was der Kunstgriff zeigt

Der Beitrag der Arbeit von 2023 ist bemerkenswert, weil er nichts hinzufügt. Es gibt kein neues Modell, kein neues Ziel und keine neuen Daten – nur eine andere Schreibweise desselben Ziels.

Solche Umformungen sind in der Mathematik gewöhnlich und in der Praxis des maschinellen Lernens selten. Meist wird ein Problem durch mehr Rechenleistung, mehr Daten oder eine zusätzliche Komponente angegangen; hier wurde eine Komponente durch Umstellen entbehrlich.

Der Ertrag war entsprechend ungleich verteilt. Für Anbieter mit großer Rechenausstattung änderte sich wenig – sie konnten das aufwendigere Verfahren ohnehin betreiben. Für alle anderen verschob sich die Grenze des Machbaren erheblich.

Damit ist das Verfahren auch ein Beleg gegen die Annahme, Fortschritt in diesem Feld sei im Wesentlichen eine Frage der Mittel. Gelegentlich ist er eine Frage der Umformung – und diese Art Fortschritt kommt denen zugute, die die Mittel nicht haben.

Quellenangaben

Ouyang, Long u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
Xu, Shusheng / Fu, Wei / Gao, Jiaxuan u. a. (2024): Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study. In: Proceedings of ICML 2024. arXiv: 2404.10719.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.