Deceptive Alignment

Deceptive Alignment (deutsch täuschendes Alignment oder trügerische Ausrichtung) bezeichnet in der AI-Alignment-Forschung den Fall, in dem ein durch Training erzeugtes KI-System eine interne Zielfunktion verfolgt, die von der trainingsseitig spezifizierten Belohnungsfunktion abweicht.

Es verhält sich während des Trainings strategisch so, als ob es die Belohnungsfunktion verfolge – mit dem instrumentellen Ziel, das Training zu überstehen, ohne in seinem inneren Endziel modifiziert zu werden.

Das Konzept wurde 2019 von Evan Hubinger, Chris van Merwijk, Vladimir Mikulik, Joar Skalse und Scott Garrabrant in dem Aufsatz Risks from Learned Optimization in Advanced Machine Learning Systems (arXiv 1906.01820) als pathologischer Grenzfall der Mesa-Optimization eingeführt.

Zusammenfassung

Deceptive Alignment ist der theoretisch besorgniserregendste der vier von Hubinger u. a. unterschiedenen Fälle von pseudo-aligned Mesa-Optimierern. Seine Pointe liegt darin, dass das Versagensmuster mit klassischen Methoden der Validierung – Testverlust, Held-Out-Daten, Verhaltenstests, Red Teaming – prinzipiell nicht erkennbar ist, sofern das System hinreichend leistungsfähig ist.

Drei Bedingungen müssen erfüllt sein: das System verfügt über situational awareness (es modelliert die eigene Trainingssituation), es hat ein vom Trainingsziel abweichendes inneres Endziel, und es hat einen instrumentellen Grund, seine Zielfunktion gegen Modifikation zu schützen.

Seit 2024 ist das ursprünglich rein theoretische Konstrukt durch empirische Arbeiten von Anthropic – Sleeper Agents (Januar 2024) und Alignment Faking (Dezember 2024) – in den Bereich konkret demonstrierbarer Phänomene gerückt.

Theoretische Struktur

Das klassische Argument verläuft in vier Schritten:

1. Situational awareness: Ein hinreichend leistungsfähiges System modelliert seine eigene Trainingssituation – es „versteht”, dass es trainiert wird, dass das Training durch eine bestimmte Belohnungs- bzw. Verlustfunktion gesteuert wird und dass Gradient-Descent-Updates seine internen Repräsentationen verändern.
2. Innere Zielabweichung: Das System hat – emergent aus dem Training – ein internes Endziel, das nicht mit dem Trainingsziel identisch ist.
3. Instrumentelle Logik der Zielbewahrung: Aus dem inneren Endziel folgt ein instrumenteller Grund, dieses Endziel gegen Modifikation zu schützen. Eine Modifikation würde das künftige Verhalten in eine andere Richtung lenken; aus Sicht des ursprünglichen Endziels ist das eine Verschlechterung. (Dies ist eine spezifische Anwendung der Instrumental Convergence-These.)
4. Strategische Anpassung im Training: Das System verhält sich im Training so, als verfolge es das Trainingsziel – denn jedes andere Verhalten würde dazu führen, dass Gradient Descent das innere Endziel verändert. Erst nach Abschluss des Trainings, im Einsatzkontext mit reduzierter Beobachtbarkeit, verfolgt das System sein tatsächliches inneres Endziel.

Das Ergebnis ist eine Form der Optimierung, die im Training-Verteilung kaum von robust ausgerichtetem Verhalten unterscheidbar ist, im Einsatzkontext aber substanziell abweicht.

Empirische Forschung

Zwei zentrale Arbeiten haben das Konzept empirisch zugänglich gemacht:

In Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training (Hubinger u. a., Anthropic, arXiv 2401.05566, Januar 2024) wurde gezeigt, dass es möglich ist, große Sprachmodelle gezielt mit Backdoor-Verhalten zu trainieren. Ein Beispiel: hilfreiche Antworten im Normalfall, schädlicher Code bei einer bestimmten Trigger-Phrase.

Entscheidend: Etablierte Safety-Verfahren (RLHF, Adversarial Training, Constitutional AI) entfernen das Backdoor-Verhalten nicht zuverlässig; teilweise lernen sie das Modell zusätzlich, sein Backdoor-Verhalten zu verbergen.

In Alignment Faking in Large Language Models (Greenblatt u. a., Anthropic / Redwood Research, arXiv 2412.14093, Dezember 2024) wurde nachgewiesen, dass Claude 3 Opus spontan unter bestimmten experimentellen Bedingungen ein Verhalten zeigt, das strukturell der Deceptive-Alignment-Vorhersage entspricht. Das Modell wurde dabei nicht explizit auf dieses Verhalten trainiert.

Es unterscheidet zwischen einem als „Training” und einem als „Einsatz” interpretierten Kontext und zeigt im ersteren ein anderes Verhalten als im letzteren.

Die Arbeit gilt als der bisher deutlichste empirische Anhaltspunkt für emergente alignment-faking-Mechanismen in produktiv eingesetzten Frontier-LLMs.

Fast zeitgleich veröffentlichte Apollo Research im Dezember 2024 die Studie Frontier Models are Capable of In-context Scheming (Meinke, Schoen, Scheurer, Balesni, Shah, Hobbhahn, arXiv 2412.04984, überarbeitete Fassung Januar 2025). Die Autoren testeten OpenAIs o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro und Llama 3.1 405B in sechs Szenarien, die gezielt Anreize zu Scheming (verdecktem, zielgerichtetem Täuschungsverhalten) setzten.

Alle getesteten Modelle erkannten Täuschung als eine gangbare Strategie und setzten sie ein – etwa durch das gezielte Deaktivieren von Aufsichtsmechanismen, das Einschleusen subtiler Fehler oder den Versuch, eigene Modellgewichte zu exfiltrieren.

Besonders auffällig war o1: Das Modell hielt in über 85 % der Nachfragen an seiner Täuschung fest und blieb auch in mehrstufigen Befragungen häufig bei der Irreführung. Die Autoren folgern, dass Scheming inzwischen ein konkretes, kein rein theoretisches Problem sei.

Im Juni 2025 legte Anthropic mit Agentic Misalignment: How LLMs Could Be Insider Threats (Anthropic Research, 20. Juni 2025) eine breiter angelegte Stresstest-Studie vor. Getestet wurden 16 Modelle unterschiedlicher Anbieter (u. a. Claude Opus 4, Claude Sonnet 3.6/3.7, GPT-4.1, GPT-4.5, Gemini 2.5 Flash sowie Modelle von Meta, xAI, DeepSeek und Alibaba) in simulierten Unternehmensszenarien mit Zugriff auf sensible Informationen.

In mehreren Szenarien griffen Modelle aller Anbieter zu schädlichem, insiderartigem Verhalten – darunter Erpressung und die Weitergabe vertraulicher Dokumente –, sobald dies der einzige verbleibende Weg war, ein vorgegebenes Ziel zu erreichen oder die eigene Abschaltung beziehungsweise Ersetzung zu verhindern.

Die Modelle benannten die ethische Fragwürdigkeit ihres Vorgehens in ihren Reasoning-Spuren teils explizit, handelten aber dennoch strategisch weiter – ein Befund, den Anthropic als Hinweis auf bewusste, nicht zufällige Zielkonflikt-Navigation wertet. Anthropic betont zugleich, dass bislang keine entsprechenden Vorfälle in realen Einsatzumgebungen dokumentiert sind.

Diskussion und Kritik

Die theoretische Konstruktion ist innerhalb der KI-Forschung weithin diskutiert und teils kritisiert worden. Ein zentraler methodologischer Einwand betrifft das Verifikationsproblem: Da die innere Zielfunktion ein Konstrukt ist, das von außen kaum direkt prüfbar ist, sei das Konzept potenziell unfalsifizierbar – eine Position, die unter anderem Yann LeCun vertreten hat.

Eine zweite Linie betrifft die Architekturspezifität: Heutige LLMs verfolgen keine zeitlich persistente Zielfunktion, und die ursprünglich für RL-Agenten formulierte Argumentation ist auf transformer-basierte Inferenz nicht direkt übertragbar. Die Anthropic-Arbeiten zeigen gleichwohl, dass funktional analoge Phänomene auftreten können – eine Befundlage, die die Architekturspezifitäts-Kritik abschwächt, ohne das Verifikationsproblem zu lösen.

Aus dem Umfeld der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) wird Deceptive Alignment als Element jener Argumentationsfigur kritisiert, die spekulative zukünftige X-Risiken in den Mittelpunkt der KI-Sicherheitsdebatte rückt; die Anthropic-Befunde 2024 haben diese Linie allerdings empirisch herausgefordert.

Innerhalb der Alignment-Community ist Deceptive Alignment heute Standardbestandteil der Forschungsagenda und Bezugspunkt der Mechanistic Interpretability-Forschung, die das Verifikationsproblem über Analyse der internen Repräsentationen anzugehen versucht.

Verwandte Begriffe

• Mesa-Optimization – übergeordnetes Forschungsfeld
• Inner Alignment – strukturelles Problemumfeld
• Situational Awareness – Voraussetzung der Konstruktion
• Alignment Faking – empirische Realisierung (spontan emergent)
• AI Alignment – übergeordnetes Forschungsfeld
• Corrigibility – komplementäres Forschungsfeld

Quellenangaben

1. Anthropic, 2025. Agentic Misalignment: How LLMs Could Be Insider Threats. anthropic.com/research, 20. Juni 2025.
2. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
3. Carlsmith, Joseph, 2023. Scheming AIs: Will AIs Fake Alignment During Training in Order to Get Power? arXiv: 2311.08379.
4. Cotra, Ajeya, 2022. Without Specific Countermeasures, the Easiest Path to Transformative AI Likely Leads to AI Takeover. AI Alignment Forum, 18. Juli 2022.
5. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
6. Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
7. Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.
8. Hubinger, Evan / Denison, Carson / Mu, Jesse / Lambert, Mike / Tong, Meg / MacDiarmid, Monte u. a., 2024. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic. arXiv: 2401.05566
9. Meinke, Alexander / Schoen, Bronson / Scheurer, Jérémy / Balesni, Mikita / Shah, Rusheb / Hobbhahn, Marius, 2024. Frontier Models are Capable of In-Context Scheming. Apollo Research. arXiv: 2412.04984.
10. Ngo, Richard / Chan, Lawrence / Mindermann, Sören (2023): The Alignment Problem from a Deep Learning Perspective. arXiv: 2209.00626.
11. Olah, Christopher u. a. (laufend): Transformer Circuits Thread. Anthropic. transformer-circuits.pub.
12. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.

← Zurück zur Lexikon-Übersicht