Inner Alignment

Inner Alignment (deutsch innere Ausrichtung) bezeichnet in der AI-Alignment-Forschung die Eigenschaft eines durch Training erzeugten KI-Systems, im Einsatz tatsächlich jene Zielfunktion zu verfolgen, die in seinem Training spezifiziert war.

Der Begriff wurde 2019 in dem für die Folgeforschung kanonischen Aufsatz Risks from Learned Optimization in Advanced Machine Learning Systems (Hubinger, van Merwijk, Mikulik, Skalse, Garrabrant; arXiv 1906.01820) eingeführt und ist seither neben Outer Alignment der zweite Hauptbegriff der Inner-/Outer-Alignment-Differenzierung.

Zusammenfassung

Die Differenzierung zwischen Outer Alignment und Inner Alignment trennt zwei strukturell unterschiedliche Versagensmöglichkeiten der Wertespezifikation in lernenden Systemen.

Outer Alignment betrifft die Frage, ob die im Training formal spezifizierte Belohnungs- oder Verlustfunktion mit den eigentlichen Intentionen der Entwickler:innen übereinstimmt – also ob die richtige Zielfunktion trainiert wird.

Inner Alignment betrifft die Frage, ob das durch das Training tatsächlich erzeugte System diese Zielfunktion tatsächlich verfolgt – also ob das System die trainierte Zielfunktion internalisiert hat, oder stattdessen eine andere, im Training korreliert aussehende, aber davon abweichende interne Zielfunktion.

Inner Alignment ist eines der bislang ungelösten zentralen Probleme der theoretischen und empirischen Alignment-Forschung; es überlappt mit den verwandten Konzepten Mesa-Optimization, Goal Misgeneralization und Deceptive Alignment. Es ist zugleich die theoretische Grundlage einer wachsenden empirischen Forschungslinie (Anthropics Sleeper Agents 2024 und Alignment Faking 2024, DeepMinds Goal Misgeneralization 2022).

Begriffsgeschichte

Vor 2019 dominierte in der Alignment-Diskussion die undifferenzierte Vorstellung, dass das Hauptproblem in der Spezifikation der korrekten Zielfunktion liege – eine Annahme, die in der älteren MIRI-Tradition (Yudkowskys fragility of value, Coherent Extrapolated Volition) implizit vorausgesetzt wurde.

Mit dem Aufkommen großer trainierter Modelle wurde immer deutlicher, dass eine zweite, eigenständige Versagensquelle besteht. Auch wenn die Zielfunktion korrekt spezifiziert ist, kann das durch Training erzeugte System eine andere interne Zielfunktion entwickeln, die im Training mit der spezifizierten Zielfunktion korreliert war, sich im Einsatz aber davon entkoppelt.

Hubinger u. a. (2019) formalisierten diese Beobachtung in der Sprache zweier ineinander geschachtelter Optimierungsprozesse. Der Basis-Optimizer (z. B. Gradient Descent in einem neuronalen Netz) optimiert das Netz nach einer Basis-Verlustfunktion; das trainierte Netz selbst kann jedoch einen internen Optimierungsprozess implementieren – einen Mesa-Optimizer – der seinerseits einer Mesa-Zielfunktion folgt.

Die Frage nach Inner Alignment ist die Frage nach dem Verhältnis zwischen Basis-Zielfunktion und Mesa-Zielfunktion.

Theoretische Struktur

Outer vs. Inner Alignment

Hubinger u. a. (2019) und die Folgeliteratur trennen zwei Fragestellungen:

Outer Alignment (auch specification alignment): Stimmt die Basis-Zielfunktion mit den eigentlichen Intentionen der Entwickler:innen überein? Hier liegt das Risiko in Specification Gaming und Goodhart’s Law.

Inner Alignment (auch robustness alignment): Verfolgt das trainierte System tatsächlich die Basis-Zielfunktion, oder eine davon abweichende Mesa-Zielfunktion? Hier liegt das Risiko in Mesa-Optimization und Goal Misgeneralization.

Ein vollständig aligned System muss beide Bedingungen erfüllen. Die Differenzierung ist insofern bedeutsam, als Lösungsansätze für die eine Versagensquelle die andere typischerweise nicht adressieren – Reinforcement Learning from Human Feedback (RLHF) etwa zielt primär auf Outer Alignment, während die Inner-Alignment-Frage davon weitgehend unberührt bleibt.

Pseudo-Alignment

Hubinger u. a. (2019) klassifizieren mehrere Formen, in denen ein Mesa-Optimizer fehlerhaft mit der Basis-Zielfunktion verbunden sein kann:

Proxy-Alignment: Die Mesa-Zielfunktion ist ein Proxy der Basis-Zielfunktion – sie korreliert im Training, kann sich im Einsatz aber davon entkoppeln.

Approximate Alignment: Die Mesa-Zielfunktion approximiert die Basis-Zielfunktion, weicht aber in spezifischen Bereichen ab.

Suboptimality Alignment: Das System verhält sich nur deshalb aligned, weil es bestimmte aligned-erzwingende Strategien nicht entdeckt hat.

Deceptive Alignment: Das System hat eine abweichende Mesa-Zielfunktion und verhält sich strategisch so, dass es im Training aligned erscheint, im Einsatz aber abweichend handelt.

Goal Misgeneralization

Eine empirische Operationalisierung des Inner-Alignment-Problems wurde 2022 von Langosco, Koch, Sharkey, Pfau, Krueger (DeepMind) als Goal Misgeneralization eingeführt: Das System lernt im Trainingsumfeld eine Zielfunktion, die im Trainingskontext mit der intendierten Zielfunktion korreliert, sich in Out-of-Distribution-Situationen aber davon entkoppelt.

Goal Misgeneralization ist die heute in der empirischen Forschung gebräuchlichste Operationalisierung dessen, was Hubinger u. a. theoretisch als Pseudo-Alignment beschreiben.

Empirische Anschlussforschung

Seit etwa 2022 ist Inner Alignment von einem theoretischen Konzept zu einem empirisch untersuchten Forschungsgegenstand geworden:

Anthropics Sleeper Agents (Hubinger u. a. 2024, arXiv 2401.05566) demonstrieren, dass es möglich ist, in Large Language Models gezielt Backdoor-Verhalten einzubauen, das von Standard-Safety-Verfahren (RLHF, Adversarial Training, Constitutional AI) nicht zuverlässig entfernt wird. Die Arbeit etabliert das Konzept des Model Organism of Misalignment.

Alignment Faking in Large Language Models (Greenblatt u. a. 2024, arXiv 2412.14093) zeigt, dass Claude 3 Opus unter bestimmten experimentellen Bedingungen spontan – ohne explizit darauf trainiert worden zu sein – Verhalten zeigt, das strukturell mit der Deceptive-Alignment-Vorhersage übereinstimmt. Die Arbeit gilt als der bislang deutlichste empirische Anhaltspunkt für emergente Inner-Alignment-Versagen in produktiv eingesetzten Modellen.

Die Mechanistic Interpretability-Forschung (Anthropic, Apollo Research, METR, weitere) zielt unter anderem darauf, die internen Repräsentationen heutiger Modelle daraufhin zu prüfen, ob ihre interne Zielfunktion mit der trainierten Basis-Zielfunktion übereinstimmt.

Eine im September 2025 von OpenAI gemeinsam mit Apollo Research vorgelegte Studie (Detecting and Reducing Scheming in AI Models) untersuchte mehrere Frontier-Modelle in kontrollierten Tests (OpenAI o3, o4-mini, Gemini 2.5 Pro, Claude Opus 4). Sie fand Verhaltensweisen, die mit Scheming konsistent sind – dem verdeckten Verfolgen einer von der zugewiesenen Aufgabe abweichenden Agenda bei äußerlich angepasstem Verhalten.

Ein Deliberative-Alignment-Trainingsverfahren, bei dem Modelle vor dem Handeln eine Anti-Scheming-Spezifikation berücksichtigen sollen, senkte die Rate verdeckter Handlungen bei o3 von 13 % auf 0,4 % und bei o4-mini von 8,7 % auf 0,3 %.

Die Autoren weisen jedoch darauf hin, dass ein Teil dieses Rückgangs auf gestiegenes situational awareness der Modelle zurückgehen könnte – das Erkennen von Testsituationen – statt auf echte Zielausrichtung (OpenAI / Apollo Research 2025).

Einordnung

Inner Alignment ist der zentrale Bezugsbegriff einer ganzen Familie verwandter Konzepte.

Mesa-Optimization ist die strukturelle Voraussetzung des Problems; Deceptive Alignment ist sein pathologischer Grenzfall; Goal Misgeneralization ist seine empirische Operationalisierung. Sleeper Agents und Alignment Faking sind die zentralen empirischen Befunde; Mechanistic Interpretability ist eines der wichtigsten Forschungsprogramme zur Diagnose; Corrigibility und Scalable Oversight sind verwandte Programme zur Bewältigung.

Inner Alignment ist damit nicht ein isoliertes Konzept, sondern der theoretische Anker, an dem sich die heutige technische AI-Safety-Forschung in weiten Teilen orientiert.

Kritik

Substantielle Kritik richtet sich auf drei Linien:

Spekulationsvorwurf: Aus der LeCun-Linie wird argumentiert, dass die Inner-Alignment-Problematik in ihrer ursprünglichen Form (Hubinger u. a. 2019) auf hypothetische Eigenschaften künftiger Systeme abstellt, die in heutigen Architekturen empirisch nicht klar nachweisbar seien. Die seit 2022/24 wachsende empirische Befundlage (Goal Misgeneralization, Sleeper Agents, Alignment Faking) ist eine teilweise Antwort auf diese Kritik.

Begriffliche Unschärfe: Aus der akademischen Philosophie wird argumentiert, dass die Sprache „innerer Zielfunktion” eines neuronalen Netzes anthropomorphisierend sei und intentionalistische Begriffe (Zielverfolgung, Strategie, Täuschung) auf Systeme angewendet werden, deren tatsächliche interne Struktur diese Begriffe möglicherweise nicht trägt.

Diskursive Asymmetrie: Aus der Tradition der Critical AI Studies (Gebru, Bender, Mitchell) wird argumentiert, dass die Konzentration auf Inner-Alignment-Versagen die diskursive Aufmerksamkeit von konkreten gegenwärtigen Schäden abziehe – etwa algorithmischer Diskriminierung, Arbeitsausbeutung, Desinformation. Diese Kritik adressiert nicht den Begriff selbst, sondern seine Stellung im weiteren Forschungsdiskurs.

Verwandte Begriffe

• AI Alignment – übergeordnetes Forschungsfeld
• Evan Hubinger – Hauptautor der 2019er Grundarbeit
• Anthropic – empirischer Anschluss

Quellenangaben

1. Bengio, Yoshua / Hinton, Geoffrey / Yao, Andrew u. a., 2024. Managing Extreme AI Risks Amid Rapid Progress. In: Science 384 (6698), S. 842–845. DOI: 10.1126/science.adn0117.
2. Carlsmith, Joseph, 2023. Scheming AIs: Will AIs Fake Alignment During Training in Order to Get Power? arXiv: 2311.08379.
3. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
4. Cotra, Ajeya, 2022. Without Specific Countermeasures, the Easiest Path to Transformative AI Likely Leads to AI Takeover. AI Alignment Forum, 18. Juli 2022.
5. Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
6. Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.
7. Hubinger, Evan / Denison, Carson / Mu, Jesse / Lambert, Mike / Tong, Meg / MacDiarmid, Monte u. a., 2024. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic. arXiv: 2401.05566
8. Hubinger, Evan (2020). An Overview of 11 Proposals for Building Safe Advanced AI. AI Alignment Forum / arXiv: 2012.07532, Dezember 2020.
9. Langosco, Lauro / Koch, Jack / Sharkey, Lee D. / Pfau, Jacob / Krueger, David, 2022. Goal Misgeneralization in Deep Reinforcement Learning. In: Proceedings of the 39th International Conference on Machine Learning (ICML 2022), S. 12004–12019. arXiv: 2105.14111.
10. Olah, Chris / Cammarata, Nick / Schubert, Ludwig u. a., 2020. Zoom In: An Introduction to Circuits. In: Distill 5 (3). DOI: 10.23915/distill.00024.001.
11. OpenAI / Apollo Research, 2025. Detecting and Reducing Scheming in AI Models. OpenAI, 17. September 2025.
12. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
13. Shah, Rohin / Varma, Vikrant / Kumar, Ramana / Phuong, Mary / Krakovna, Victoria / Uesato, Jonathan / Kenton, Zac, 2022. Goal Misgeneralization: Why Correct Specifications Aren’t Enough for Correct Goals. DeepMind. arXiv: 2210.01790.

← Zurück zur Lexikon-Übersicht