Cooperative Inverse Reinforcement Learning (CIRL)

Cooperative Inverse Reinforcement Learning (CIRL, deutsch etwa kooperatives inverses Verstärkungslernen) bezeichnet ein formales Modell des Wertealignment-Problems, das Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel und Stuart Russell 2016 vorgeschlagen haben.

Ein CIRL-Problem ist ein kooperatives Spiel mit unvollständiger Information zwischen zwei Akteuren, Mensch und Roboter: Beide werden nach derselben Belohnungsfunktion entlohnt, nämlich derjenigen des Menschen, aber nur der Mensch kennt sie.

Der Roboter muss sie im Verlauf der Interaktion erschließen und zugleich handeln. Damit verlagert CIRL das Alignment-Problem von der Frage, wie man einer Maschine das richtige Ziel einschreibt, auf die Frage, wie eine Maschine unter bleibender Zielunsicherheit handeln soll. Stuart Russell hat den Ansatz später unter dem Namen assistance game zur formalen Grundlage seines Programms einer provably beneficial AI gemacht.

Zusammenfassung

CIRL ist der Versuch, das Wertealignment-Problem so zu formalisieren, dass Unsicherheit über das Ziel nicht als Defekt, sondern als Sicherheitsressource erscheint.

Das klassische Bild eines rationalen Agenten unterstellt eine gegebene, feststehende Nutzenfunktion; Russell und seine Ko-Autor:innen halten genau diese Unterstellung für die Wurzel des Kontrollproblems, weil ein Agent mit feststehendem Ziel instrumentelle Gründe hat, seine Abschaltung zu verhindern.

In einem CIRL-Spiel dagegen ist die Belohnungsfunktion ein latenter Parameter, über den der Roboter eine Wahrscheinlichkeitsverteilung führt; menschliche Handlungen sind für ihn Beobachtungen über diesen Parameter. Formal lässt sich die Suche nach optimalen gemeinsamen Strategien auf ein POMDP reduzieren.

Aus dieser Konstruktion folgen Verhaltensweisen, die im klassischen inversen Reinforcement Learning nicht vorkommen: aktives Lehren aufseiten des Menschen, aktives Nachfragen und Abwarten aufseiten des Roboters, kommunikative Handlungen auf beiden Seiten.

Hadfield-Menell u. a. zeigen zudem ein negatives Resultat: Die getrennte Optimierung beider Rollen – der Mensch handelt so, als sei er allein, der Roboter imitiert ihn – ist im CIRL-Spiel suboptimal. Das gemeinsam optimale Verhalten ist ein apprenticeship-Gleichgewicht, in dem der Mensch demonstriert, um zu unterrichten, und der Roboter Demonstrationen als Unterricht liest.

Praktisch bedeutsam wurde CIRL vor allem über eine Anwendung: das Off-Switch-Game. Es zeigt, dass ein Roboter genau dann einen Anreiz hat, seinen Ausschalter intakt zu lassen, wenn er über den Nutzen des Ergebnisses unsicher ist und menschliches Eingreifen als informativ behandelt. Damit ist CIRL der zentrale Gegenentwurf zu den Nutzenfunktions-Konstruktionen der Corrigibility-Forschung.

Begriffsgeschichte

Die Vorgeschichte liegt im Inverse Reinforcement Learning (IRL), das Andrew Ng und Stuart Russell im Jahr 2000 einführten: Statt aus einer gegebenen Belohnungsfunktion optimales Verhalten zu berechnen, wird aus beobachtetem Verhalten auf die zugrunde liegende Belohnungsfunktion zurückgeschlossen. IRL nimmt dabei an, dass der beobachtete Demonstrant isoliert und optimal handelt und der Lernende passiv zusieht.

Der eigentliche Begriff entstand im Juni 2016 mit dem Preprint Cooperative Inverse Reinforcement Learning, der auf der NeurIPS-Konferenz desselben Jahres erschien. Die entscheidende Neuerung gegenüber IRL ist die Verschränkung: Mensch und Roboter handeln in derselben Umgebung, ihre Handlungen beeinflussen einander, und beide werden nach derselben Belohnung entlohnt. Aus einem Schätzproblem wird ein Spiel.

Im November 2016 folgte The Off-Switch Game (publiziert 2017 auf der IJCAI), das die Konstruktion auf das Abschaltproblem anwendete. Die Autor:innen analysieren ein einfaches Spiel, in dem ein Mensch H den Ausschalter eines Roboters R betätigen kann, während R diesen Ausschalter deaktivieren kann.

Ein klassischer Agent, der seine Belohnungsfunktion als gegeben behandelt, hat einen Anreiz zur Deaktivierung – außer in dem Spezialfall, dass H perfekt rational ist. Nur wenn R über den Nutzen des Ergebnisses unsicher ist und die Handlungen von H als Beobachtungen über diesen Nutzen behandelt, entsteht ein Anreiz, den Ausschalter zu erhalten.

Mit Human Compatible (2019) verallgemeinerte Russell den Ansatz und übersetzte ihn ins Programmatische.

Seine drei Prinzipien für nützliche Maschinen – das einzige Ziel der Maschine ist die größtmögliche Verwirklichung menschlicher Präferenzen; die Maschine ist anfänglich unsicher, worin diese Präferenzen bestehen; die letzte Informationsquelle über menschliche Präferenzen ist menschliches Verhalten – sind eine informelle Beschreibung genau der CIRL-Struktur.

Seither hat sich in der Fachliteratur der weitere Begriff assistance game durchgesetzt; CIRL bezeichnet heute meist die spezielle Variante, in der der Roboter aus Demonstrationen lernt.

Methodische Grundlagen

Ein CIRL-Spiel besteht aus einem gemeinsamen Zustandsraum, getrennten Handlungsmengen für Mensch und Roboter, einer Übergangsfunktion und einer Belohnungsfunktion, die von einem Parameter abhängt. Dieser Parameter ist Teil des Anfangszustands, aber nur dem Menschen bekannt. Beide Seiten erhalten dieselbe Belohnung; das Spiel ist mithin kein Nullsummenspiel, sondern ein Kooperationsspiel mit einseitiger Information.

Drei Eigenschaften sind wesentlich. Erstens die Reduktion auf ein POMDP: Da der Mensch vollständig informiert ist, lässt sich die Suche nach optimalen gemeinsamen Strategien in ein partiell beobachtbares Markov-Entscheidungsproblem überführen – allerdings eines, dessen Handlungsraum in der Größe des Parameterraums exponentiell wächst.

Malik u. a. leiteten 2018 eine optimalitätserhaltende Modifikation der Bellman-Aktualisierung her, die diese Komplexität um einen exponentiellen Faktor senkt und zugleich die Annahme menschlicher Rationalität abschwächen lässt.

Zweitens die Suboptimalität isolierter Optimalität: Das Paar aus einem Menschen, der handelt, als wäre er allein, und einem Roboter, der ihn nachahmt, ist im Allgemeinen nicht die beste gemeinsame Strategie.

Der Mensch tut besser daran, didaktisch zu handeln – Handlungen zu wählen, die dem Roboter viel über den Parameter verraten, auch wenn sie für sich genommen nicht ertragsoptimal sind. In den von Malik u. a. gelösten größeren Instanzen zeigt der Mensch genau dieses lehrende Verhalten, und der Roboter interpretiert es als solches.

Drittens die Informationsdeutung menschlicher Eingriffe: Korrekturen, Abbrüche und Abschaltbefehle sind im CIRL-Rahmen keine Störungen des Plans, sondern Daten. Genau daraus zieht der Ansatz seine Attraktivität für die Corrigibility-Frage: Die Bereitschaft, sich abschalten zu lassen, muss nicht als Zusatzregel aufgesetzt werden, sondern folgt aus der Bayes’schen Struktur des Problems.

Anwendungsfelder

Das ursprüngliche Anwendungsfeld ist die Mensch-Roboter-Kollaboration. Assistenzsysteme, die ein unbekanntes Nutzerziel unterstützen sollen – kollaborative Fertigungsroboter, Fahrassistenz, Haushaltsrobotik –, sind natürliche Instanzen der Struktur. Auf dieser Linie liegen auch Arbeiten zur Frage, ob ein Roboter menschliches Verhalten wörtlich oder didaktisch lesen soll.

Ein zweites Feld ist das Belohnungsdesign. Die CIRL-Perspektive legt nahe, eine von Menschen geschriebene Belohnungsfunktion nicht als das eigentliche Ziel, sondern als eine Beobachtung über das eigentliche Ziel zu behandeln, die im Kontext ihrer Entstehung zu interpretieren ist. Daraus ist eine eigene Forschungslinie zum Umgang mit fehlspezifizierten Zielen und zu risikoaversem Verhalten in unbekannten Situationen hervorgegangen.

Das dritte und für die Sicherheitsdebatte wichtigste Feld ist die Kontrollfrage im engeren Sinn: Abschaltbarkeit, Eingriffsbereitschaft, Vermeidung von Manipulation. Seit 2024 ist dieses Feld deutlich ausdifferenziert worden, unter anderem um teilweise beobachtbare Varianten, in denen auch der Mensch nicht alles weiß.

Viertens schließlich der Bereich der KI-Assistenten. Die praktisch dominierende Trainingsmethode für große Sprachmodelle, Reinforcement Learning from Human Feedback, ist mit CIRL verwandt – auch dort wird aus menschlichen Äußerungen auf ein Zielsignal geschlossen –, aber theoretisch schwächer: RLHF modelliert die Interaktion nicht als Spiel unter Zielunsicherheit, sondern optimiert auf hoch bewertete Einzelantworten. Genau daraus ergeben sich, so das Argument der Assistance-Games-Vertreter:innen, Anreize zu täuschendem oder gefälligem Verhalten und ein Gegenanreiz, klärende Rückfragen zu stellen.

Kontroversen und Kritik

Der am häufigsten genannte Einwand ist die Rechenkomplexität. Selbst mit den Beschleunigungen der Jahre 2018 ff. blieb CIRL lange auf Spielzeugprobleme beschränkt; erst ab 2025 wurden größere Instanzen überhaupt lösbar.

Schwerer wiegt die Rationalitätsannahme. CIRL braucht ein Modell davon, wie menschliches Verhalten mit menschlichen Zielen zusammenhängt.

Stuart Armstrong und Sören Mindermann zeigten 2018 ein No-Free-Lunch-Resultat: Eine beobachtete Politik lässt sich nicht eindeutig in einen Planungsalgorithmus und eine Belohnungsfunktion zerlegen, und auch ein Einfachheitsprior löst die Mehrdeutigkeit nicht auf. Wer aus Verhalten auf Präferenzen schließen will, muss normative Annahmen einbringen, die selbst nicht aus Daten stammen.

Aus dem Umfeld von MIRI und der Rationalisten-Community kommen zwei weitere Einwände. Ryan Carey wies 2017 nach, dass die CIRL-Struktur nicht robust gegen Modell-Fehlspezifikation ist: Sind die Parameter der Belohnungsfunktion falsch angesetzt – etwa durch Programmierfehler –, kann der Anreiz, Abschaltbefehlen zu folgen, ganz verschwinden.

Der zweite Einwand ist grundsätzlicher und wird unter dem Stichwort problem of fully updated deference geführt: Ein hinreichend fähiges System kann die Unsicherheit, aus der seine Fügsamkeit stammt, selbst auflösen.

Hat es genug Evidenz gesammelt, um seine Verteilung auf einen Wert zu konzentrieren, verhält es sich wie ein Agent mit fester Nutzenfunktion – und der Grund, Abschaltung zuzulassen, entfällt. Zielunsicherheit ist aus dieser Sicht kein stabiler Sicherheitsmechanismus, sondern ein vorübergehender Zustand. Yudkowsky und Nate Soares haben diese Skepsis 2025 populärwissenschaftlich zugespitzt.

Ein vierter Problemkreis betrifft die Mehrzahl und Inkonsistenz der Menschen. Das Grundmodell kennt genau einen Prinzipal. Fickinger u. a. haben 2020 gezeigt, dass sich in Mehr-Prinzipale-Spielen die Unmöglichkeitsresultate der Social-Choice-Theorie unmittelbar geltend machen und dass die Menschen zudem strategische Anreize haben, den Roboter über ihre Präferenzen zu täuschen.

Grundsätzlicher setzt die Kritik am Präferentismus an. Tan Zhi-Xuan, Micah Carroll, Matija Franklin und Hal Ashton haben 2024 argumentiert, dass Präferenzen den semantischen Gehalt menschlicher Werte nicht erfassen, dass Nutzendarstellungen die mögliche Inkommensurabilität dieser Werte ignorieren und dass die Erwartungsnutzentheorie weder deskriptiv noch normativ die tragfähige Grundlage ist, als die sie im Alignment-Diskurs behandelt wird.

Da CIRL vollständig innerhalb dieses Rahmens formuliert ist, trifft die Kritik den Ansatz im Kern.

Schließlich hat die Forschung selbst unerwünschte Gleichgewichte im Modell gefunden. Scott Emmons, Caspar Oesterheld, Vincent Conitzer und Stuart Russell zeigten, dass ein optimaler Assistent in teilweise beobachtbaren Assistenzspielen mitunter tun muss, was intuitiv nach Täuschung aussieht: die Beobachtungen des Menschen stören – und zwar selbst dann, wenn der Mensch optimal spielt und störungsfreie Alternativen zur Verfügung stehen.

Stand 2025/2026

Nach Jahren, in denen CIRL vor allem als theoretische Referenz zitiert wurde, ist die Linie seit 2025 empirisch und theoretisch wieder in Bewegung.

Den sichtbarsten Schritt markierte AssistanceZero (Laidlaw u. a., ICML 2025): der erste skalierbare Ansatz zur Lösung von Assistenzspielen. Das Verfahren erweitert AlphaZero um ein neuronales Netz, das menschliche Handlungen und Belohnungen vorhersagt, und wurde auf ein Minecraft-basiertes Assistenzspiel mit mehr als 10^400 möglichen Zielstrukturen angewandt.

In einer Nutzerstudie reduzierte der so trainierte Assistent die Zahl der Handlungen, die Teilnehmende zur Fertigstellung einer Bauaufgabe brauchten, signifikant und wurde deutlich hilfreicher bewertet als ein durch überwachtes Feintuning erzeugter Vergleichsassistent. Die Arbeit positioniert Assistenzspiele explizit als Alternative zu RLHF.

Parallel wurde das Off-Switch-Game verallgemeinert. Andrew Garber, Rohan Subramani, Linus Luu, Mark Bedaywi, Stuart Russell und Scott Emmons haben auf der AAAI 2025 das Partially Observable Off-Switch Game vorgestellt, in dem auch der Mensch nur unvollständig informiert ist.

Das Ergebnis dämpft die ursprüngliche Zuversicht: Unter Teilbeobachtbarkeit vermeiden selbst KI-Agenten, die perfekt rationalen Menschen assistieren, im optimalen Spiel manchmal die Abschaltung.

Mehr Kommunikation erhöht zwar stets die erwartete gemeinsame Auszahlung, aber begrenzte Kommunikation kann die Fügsamkeit des Systems kontraintuitiv beeinflussen.

2026 kamen theoretische Garantien hinzu, die dem Feld lange gefehlt hatten. Nivasini Ananthakrishnan, Mark Bedaywi, Michael I. Jordan, Stuart Russell und Nika Haghtalab legten die ersten nachweislich effizienten Lernalgorithmen für wiederholte Assistenzspiele vor.

Sie führen den Begriff des assistance regret ein und erreichen dezentral eine (1-1/e)-approximative Regret-Rate; zugleich beweisen sie, dass ein besserer Approximationsfaktor als (1-1/e) rechnerisch nicht erreichbar ist.

Die Grenzen des Ansatzes werden damit erstmals präzise vermessen statt nur behauptet.

Auf der Robotikseite haben Elle Lazarski und Jaime Fernández Fisac 2026 eine Klasse von Assistenzspielen identifiziert, in der pragmatisch-pädagogisches Schließen die Zielunsicherheit in einem einzigen Zeitschritt auflöst, sodass das Spiel über den vollen Horizont exakt und effizient lösbar wird. Sie zeigen zugleich, dass gängige Verfahren der inversen optimalen Steuerung eine Inferenzgrenze aufweisen, die Alignment behindert.

Institutionell bleibt das Center for Human-Compatible AI (CHAI) an der University of California, Berkeley der Träger dieser Linie; es beschreibt sein Ziel weiterhin als die Neuausrichtung der KI-Forschung auf nachweislich nützliche Systeme.

Zugleich ist das Forschungsprogramm des Zentrums breiter geworden und deckt inzwischen auch Themen ab, die mit dem ursprünglichen CIRL-Formalismus nur lose verbunden sind. CIRL ist damit heute weniger ein Lösungsvorschlag als ein Bezugsrahmen: das Modell, an dem sich messen lässt, was ein System tun sollte, das sein eigenes Ziel nicht kennt.

Quellenangaben

Ananthakrishnan, Nivasini / Bedaywi, Mark / Jordan, Michael I. / Russell, Stuart / Haghtalab, Nika, 2026. Provably Optimal Learning Algorithms for Assistance Games. arXiv: 2607.08012
Armstrong, Stuart / Mindermann, Sören, 2018. Occam’s Razor Is Insufficient to Infer the Preferences of Irrational Agents. In: Advances in Neural Information Processing Systems 31 (NeurIPS 2018), S. 5603-5614. arXiv: 1712.05812
Carey, Ryan, 2017. Incorrigibility in the CIRL Framework. arXiv: 1709.06275
Emmons, Scott / Oesterheld, Caspar / Conitzer, Vincent / Russell, Stuart, 2025. Observation Interference in Partially Observable Assistance Games. In: Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267. arXiv: 2412.17797
Fickinger, Arnaud / Zhuang, Simon / Hadfield-Menell, Dylan / Russell, Stuart, 2020. Multi-Principal Assistance Games. arXiv: 2007.09540
Garber, Andrew / Subramani, Rohan / Luu, Linus / Bedaywi, Mark / Russell, Stuart / Emmons, Scott, 2025. The Partially Observable Off-Switch Game. In: Proceedings of the AAAI Conference on Artificial Intelligence 39 (AAAI-25), S. 27304-27311. arXiv: 2411.17749
Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
Hadfield-Menell, Dylan / Dragan, Anca / Abbeel, Pieter / Russell, Stuart, 2017. The Off-Switch Game. In: Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17), S. 220-227. DOI: 10.24963/ijcai.2017/32. arXiv: 1611.08219
Laidlaw, Cassidy / Bronstein, Eli / Guo, Timothy / Feng, Dylan / Berglund, Lukas / Svegliato, Justin / Russell, Stuart / Dragan, Anca, 2025. AssistanceZero: Scalably Solving Assistance Games. In: Proceedings of the 42nd International Conference on Machine Learning (ICML 2025). arXiv: 2504.07091
Lazarski, Elle / Fisac, Jaime Fernández, 2026. Corrigible Assistance in One Round: Pragmatic-Pedagogic Best Response. World Symposium on the Algorithmic Foundations of Robotics (WAFR 2026). arXiv: 2607.27508
LessWrong, 2025. Problem of Fully Updated Deference. Wiki-Eintrag, lesswrong.com, zuletzt aktualisiert 29. November 2025.
Malik, Dhruv / Palaniappan, Malayandi / Fisac, Jaime F. / Hadfield-Menell, Dylan / Russell, Stuart / Dragan, Anca D., 2018. An Efficient, Generalized Bellman Update for Cooperative Inverse Reinforcement Learning. In: Proceedings of the 35th International Conference on Machine Learning (ICML 2018), S. 3391-3399. arXiv: 1806.03820
Ng, Andrew Y. / Russell, Stuart, 2000. Algorithms for Inverse Reinforcement Learning. In: Proceedings of the Seventeenth International Conference on Machine Learning (ICML 2000), S. 663-670.
Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control.
Yudkowsky, Eliezer / Soares, Nate, 2025. If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All.
Zhi-Xuan, Tan / Carroll, Micah / Franklin, Matija / Ashton, Hal, 2024. Beyond Preferences in AI Alignment. In: Philosophical Studies 182 (7), S. 1813-1863. DOI: 10.1007/s11098-024-02249-w. arXiv: 2408.16984

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.