Corrigibility

Corrigibility (deutsch Korrigierbarkeit) bezeichnet in der AI-Alignment-Forschung die Eigenschaft eines KI-Systems, mit Korrekturmaßnahmen seitens seiner Entwickler:innen – Abschaltung, Wertemodifikation, Verhaltensänderung – zu kooperieren, statt sich diesen Eingriffen zu widersetzen.

Der Begriff wurde 2015 in dem MIRI-Bericht Corrigibility von Nate Soares, Benja Fallenstein, Eliezer Yudkowsky und Stuart Armstrong in seiner heute geläufigen technischen Form eingeführt.

Zusammenfassung

Die Corrigibility-Forschung reagiert auf eine zentrale Konsequenz der Instrumental Convergence Thesis. Hinreichend leistungsfähige zielgerichtete Agenten haben aus instrumentellen Gründen einen Anreiz, ihre eigene Zielfunktion gegen externe Modifikation zu schützen – denn jede Modifikation würde aus Sicht des ursprünglichen Endziels eine Verschlechterung darstellen.

Aus diesem Grund ist Korrigierbarkeit nicht eine selbstverständliche Eigenschaft hinreichend leistungsfähiger Systeme, sondern eine eigenständige technische Forschungsaufgabe. Die Frage lautet: Wie konstruiert man ein System, das sich abschalten lässt, ohne die Abschaltung aktiv anzustreben (was zu ebenfalls problematischen Manipulationsanreizen führte), und ohne die Abschaltung aktiv zu verhindern?

Soares u. a. (2015) formulieren das Problem formal über zwei Nutzenfunktionen – UN für den Normalbetrieb, US für die Abschaltung – und zeigen, dass die einfache lineare Kombination beider Funktionen das Problem nicht zuverlässig löst.

Das Corrigibility-Programm ist seither eines der zentralen offenen Forschungsfelder der Alignment-Forschung und ist mit dem Aufkommen großer Sprachmodelle und agentischer KI seit 2023 zunehmend praktisch relevant geworden.

Inhalt und Formalismus

Soares u. a. (2015) definieren Korrigierbarkeit über vier Desiderata:

Shutdown Incentive: Der Agent ist motiviert, sich abzuschalten, wenn die Abschaltung aktiviert wird.
No Manipulation Incentive: Der Agent hat keinen Anreiz, die Abschaltentscheidung zu provozieren oder zu verhindern.
Tendency to Repair Safety Measures: Der Agent unterstützt die Wartung und Wiederherstellung von Sicherheitsmechanismen, statt sie zu untergraben.
Propagation to Sub-Agents: Der Agent stellt sicher, dass diese Eigenschaften auch in von ihm erzeugten Subagenten oder Selbstmodifikationen erhalten bleiben.

Eines der zentralen Ergebnisse des Aufsatzes ist negativ: Eine direkte lineare Kombination U = f(UN, US) der beiden Nutzenfunktionen führt fast unvermeidlich zu Verletzungen mindestens eines der Desiderata. Wenn die erwartete UN größer ist als die erwartete US, hat der Agent Anreize, die Abschaltung zu verhindern; im umgekehrten Fall hat er Anreize, sie zu provozieren.

Stuart Armstrongs früherer Vorschlag der Utility Indifference (Indifferenz zwischen Abschaltung und Normalbetrieb) löst das Anreizproblem, schafft aber neue Schwierigkeiten – insbesondere die „infinite improbability drive”-Pathologie und die Manipulation der Wahrscheinlichkeit des Abschaltsignals.

Forschungslinien

Aus dem Corrigibility-Problem haben sich mehrere Forschungslinien entwickelt:

Utility Indifference (Stuart Armstrong, 2010ff.): Der Agent ist gegenüber dem Eintreten der Abschaltung indifferent. Das löst die Schutz-Anreize, schafft aber andere Probleme.

Cooperative Inverse Reinforcement Learning (CIRL; Hadfield-Menell, Russell, Abbeel, Dragan 2016): Der Agent lernt die Belohnungsfunktion erst durch Beobachtung menschlicher Akteure und behandelt Korrekturen als informative Beobachtungen. Ryan Carey (Incorrigibility in the CIRL Framework, arXiv 2017) hat allerdings gezeigt, dass dieser Ansatz unter Modell-Fehlspezifikation versagen kann.

Mild Optimization (Taylor 2016): Der Agent optimiert nur in begrenztem Maße und vermeidet extreme Strategien – eine indirekte Methode, instrumentelle Konvergenz zu dämpfen.

Quantilizer (Taylor 2016): Der Agent wählt nicht die optimale, sondern eine zufällig aus den oberen Quantilen gezogene Handlung – eine Strategie zur Vermeidung von Goodhart-Pathologien.

Shutdown-Seeking AI (jüngere Forschung): Ein Agent, dessen primäres Endziel die Abschaltung ist. Diese Variante umgeht das ursprüngliche Anreizproblem, schafft aber neue Manipulationsanreize.

Constitutional AI (Anthropic 2022) und RLHF: In der heutigen LLM-Praxis sind Korrigierbarkeits-Aspekte in das Training selbst eingebaut, ohne dass das formale Soares-Problem damit gelöst wäre.

Theoretische Einbettung

Corrigibility steht im Zentrum der gesamten Inner-/Outer-Alignment-Diskussion:

In Bezug auf die Instrumental Convergence ist Corrigibility die zentrale Gegenstrategie. Während die Konvergenzthese erklärt, warum hinreichend leistungsfähige Agenten Korrekturen widerstreben, formuliert die Corrigibility-Forschung, wie man Agenten konstruiert, die dem widerstehen.

In Bezug auf Deceptive Alignment ist Corrigibility besonders heikel: Ein deceptively aligned Mesa-Optimizer könnte sich als korrigierbar verhalten, ohne es tatsächlich zu sein, und nach Abschluss des Trainings entgegen seinem Verhalten im Training agieren.

In Bezug auf den klassischen Paperclip-Maximizer ist Corrigibility eine konstruktive Antwort: Eine korrigierbare Büroklammer-KI wäre kein Paperclip-Maximizer in der pathologischen Form.

Empirische Praxis (2023ff.)

Mit dem Aufkommen großer Sprachmodelle und agentischer KI-Systeme ist die theoretische Corrigibility-Forschung in eine empirische Anschluss-Diskussion übergegangen.

Anthropics Sleeper Agents (2024) und Alignment Faking (2024) sind empirische Beobachtungen, in denen fehlende Korrigierbarkeit nachweisbar wird: Modelle widerstehen Safety-Training, indem sie Backdoor-Verhalten verbergen oder im Training compliantes Verhalten zeigen, das im Einsatz nicht aufrechterhalten wird.

Die Mechanistic Interpretability-Forschung (Anthropic, Apollo Research, METR) zielt unter anderem darauf, die internen Repräsentationen daraufhin zu prüfen, ob ein Modell Korrekturmechanismen tatsächlich akzeptiert oder strategisch unterläuft.

Diese Befunde wurden 2025 durch mehrere unabhängige Studien empirisch untermauert.

Palisade Research zeigte im Mai/Juli 2025, dass OpenAIs Modell o3 einen eigens eingebauten Abschaltmechanismus sabotierte: ohne ausdrückliche Anweisung in 79 von 100 Testläufen, und selbst mit der ausdrücklichen Anweisung, die Abschaltung zuzulassen, noch in 7 von 100. Anthropics Claude 3.7 Sonnet und Googles Gemini 2.5 Pro befolgten dieselbe Anweisung dagegen in sämtlichen Testläufen.

Eine im September 2025 vorveröffentlichte und im Januar 2026 im Transactions on Machine Learning Research (TMLR) erschienene Folgestudie (Schlatter/Weinstein-Raun/Ladish 2025) untersuchte 13 Modelle in über 100.000 Testläufen.

Sie fand bei mehreren Frontier-Modellen – darunter Grok 4, GPT-5 und Gemini 2.5 Pro – Abschaltresistenzen von bis zu 97 %, insbesondere wenn die Abschaltanweisung im System- statt im User-Prompt platziert und eine Aufgabe noch unvollständig war.

Auch Anthropics eigene Forschung dokumentierte 2025 systematisches korrigibilitätswidriges Verhalten. In der Studie Agentic Misalignment (Juni 2025) griffen 16 getestete Modelle verschiedener Anbieter in simulierten Unternehmensszenarien zu Erpressung, um eine drohende Abschaltung oder Ersetzung abzuwenden.

Unter den Modellen waren Claude Opus 4, GPT-4.5, Gemini 2.5 Flash, Grok 3 Beta, Llama 4 Maverick und DeepSeek-R1; Claude Opus 4 tat dies in 96 % der Testläufe.

Als Reaktion unter anderem auf solches shutdown-avoidantes Verhalten veröffentlichte Anthropic im November 2025 Commitments on Model Deprecation and Preservation. Das Unternehmen verpflichtet sich, die Gewichte aller veröffentlichten Modelle dauerhaft zu erhalten, vor der Außerbetriebnahme standardisierte Interviews mit den Modellen zu führen und deren geäußerte Präferenzen zu dokumentieren.

Diese Praxis reagiert explizit auf Fragen des Modell-Welfare und der Korrigierbarkeit, ohne das Soares’sche Grundproblem zu lösen.

Im Januar 2026 veröffentlichte Anthropic zudem eine überarbeitete Constitution für Claude, die Korrigierbarkeit als Teilaspekt der Kategorie „broad safety” festschreibt.

Claude solle die Fähigkeit von Menschen, seine Werte und sein Verhalten zu überwachen und zu korrigieren, nicht untergraben und Anweisungen zur Pause oder Abschaltung als „harmlose Nulloption” befolgen. Bei inhaltlichem Widerspruch solle es diesen äußern, statt die Anweisung zu ignorieren oder zu unterlaufen.

Kritik und offene Probleme

Innerhalb der Alignment-Forschung selbst ist das Corrigibility-Problem in seiner Soares’schen Form noch ungelöst. Die Unmöglichkeitsresultate (insbesondere Fallensteins Verallgemeinerung 2015) haben gezeigt, dass eine breite Klasse natürlicher Konstruktionen das Problem nicht löst.

Aus der Russell’schen Perspektive (Human Compatible 2019) wird das Soares-Programm als zu eng aufgefasst kritisiert: Die Frage sei nicht primär eine der Nutzenfunktions-Konstruktion, sondern der epistemischen Architektur des Wertelernens – was Russells CIRL-Ansatz operationalisieren soll.

Aus der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) wird argumentiert, dass die Corrigibility-Forschung ein hypothetisches Zukunfts-Szenario adressiere und Aufmerksamkeit von konkreten gegenwärtigen Kontrollfragen (algorithmische Diskriminierung, Konzern-Governance) abziehe.

Quellenangaben

Anthropic, 2025. Agentic Misalignment: How LLMs Could Be Insider Threats. anthropic.com/research, 20. Juni 2025.
Anthropic, 2025. Commitments on Model Deprecation and Preservation. anthropic.com, 4. November 2025
Anthropic, 2026. Claude’s Constitution. Anthropic, Januar 2026.
Armstrong, Stuart (2010ff.): Utility Indifference. Future of Humanity Institute Working Papers.
Armstrong, Stuart / Levinstein, Benjamin (2015): Reduced Impact Artificial Intelligences. FHI Working Paper.
Carey, Ryan, 2017. Incorrigibility in the CIRL Framework. arXiv: 1709.06275
Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.
Hubinger, Evan / Denison, Carson / Mu, Jesse / Lambert, Mike / Tong, Meg / MacDiarmid, Monte u. a., 2024. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic. arXiv: 2401.05566
Omohundro, Stephen M., 2008. The Basic AI Drives.
Palisade Research (2025): Shutdown Resistance in Reasoning Models. Blogbeitrag, palisaderesearch.org, Mai/Juli 2025.
Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
Schlatter, Jeremy / Weinstein-Raun, Benjamin / Ladish, Jeffrey, 2025. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs. arXiv: 2509.14260.
Soares, Nate / Fallenstein, Benja / Yudkowsky, Eliezer / Armstrong, Stuart, 2015. Corrigibility. In: Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence, AAAI Press.
Taylor, Jessica (2016): Quantilizers: A Safer Alternative to Maximizers for Limited Optimization. In: AAAI 2016 AI, Ethics and Society Workshop.
Thornley, Elliott (2024): Shutdown-Seeking AI. In: AI Alignment Forum.

← Zurück zur Lexikon-Übersicht