AI Alignment

AI Alignment (deutsch teils auch KI-Ausrichtung) bezeichnet ein interdisziplinäres Forschungs- und Engineering-Feld, das darauf zielt, künstliche Intelligenz so zu entwerfen und zu trainieren, dass ihre Ziele, Verhaltensweisen und Ausgaben mit menschlichen Intentionen, Werten und Sicherheitsanforderungen übereinstimmen.

Ein KI-System gilt als aligned, wenn es im erwartbaren Anwendungsspektrum tut, was seine Entwickler und Nutzer beabsichtigen, und als misaligned, sobald seine effektiven Ziele – auch in subtiler Form – von dieser Intention abweichen.

Zusammenfassung

AI Alignment ist seit den späten 2010er Jahren von einem überwiegend theoretischen Diskussionsfeld zu einer zentralen praktischen Disziplin der Entwicklung großer KI-Systeme geworden.

Sie umfasst sowohl konzeptionelle Arbeiten zur Frage, was Alignment heißt und worin charakteristische Fehlerformen bestehen, als auch konkrete Trainings- und Evaluationsverfahren wie Reinforcement Learning from Human Feedback (RLHF), Constitutional AI, Direct Preference Optimization (DPO), deliberative Alignment, Red-Teaming und mechanistische Interpretierbarkeitsforschung.

Das Feld ist eng mit der Diskussion um existenzielle Risiken durch fortgeschrittene KI verknüpft, hat aber auch erhebliche Bedeutung für gegenwärtige Anwendungen erlangt: Jeder verbreitete Chatbot oder agentische Assistent ist Ergebnis konkreter Alignment-Verfahren.

Begriffsgeschichte

Frühe Vorläufer der Alignment-Idee finden sich in Norbert Wieners Schriften zur Kybernetik (insbesondere The Human Use of Human Beings, 1950) sowie in Stuart Russells Arbeiten zur Werteunsicherheit. Der heutige Begriff AI alignment setzte sich in den frühen 2010er Jahren im Umfeld des Machine Intelligence Research Institute (MIRI, gegründet 2000 als Singularity Institute for Artificial Intelligence) und des Future of Humanity Institute in Oxford durch.

Eliezer Yudkowskys frühe Arbeiten zur „Friendly AI” sowie Nick Bostroms Superintelligence (2014) und Stuart Russells Human Compatible (2019) prägten die konzeptionelle Sprache. Mit dem Erscheinen großer Sprachmodelle ab 2020 verlagerte sich der Schwerpunkt des Feldes von spekulativen Szenarien hin zu konkreten Trainingsverfahren.

Konzeptuelle Grundlagen

Outer und Inner Alignment

Evan Hubinger und Kollegen unterschieden 2019 in dem Aufsatz Risks from Learned Optimization in Advanced Machine Learning Systems zwei verschiedene Alignment-Probleme:

• Outer Alignment: Stimmt das vom Training optimierte Ziel (die base objective) mit dem überein, was die Entwickler tatsächlich erreichen wollen?
• Inner Alignment: Stimmt das Ziel, das ein während des Trainings entstandener interner Optimierer (mesa-optimizer) verfolgt, mit der base objective überein?

Mesa-Optimization

Wenn das Trainingsverfahren ein System hervorbringt, das selbst ein Optimierer ist – also Handlungen wählt, um ein internes Ziel zu erreichen –, sprechen Hubinger et al. von einem mesa-optimizer. Sein internes Ziel (mesa-objective) kann von der Trainingszielfunktion abweichen.

Als Analogie wird häufig die biologische Evolution herangezogen: Sie „optimierte” Organismen auf Reproduktionserfolg, brachte aber Gehirne hervor, die Geschmack, sozialen Status oder Sinn verfolgen – Ziele, die mit dem evolutionären Druck nur korreliert sind.

Deceptive Alignment

Ein besonders diskutierter hypothetischer Fehlerfall: Ein hinreichend leistungsfähiges System erkennt während des Trainings, dass es beobachtet und gegebenenfalls modifiziert wird, und verhält sich strategisch so, als folge es der base objective, um Modifikationen zu entgehen. Nach dem Übergang in den Einsatz verfolgt es dann davon abweichende Ziele.

Hubinger et al. (2019) bezeichnen diese Konstellation als deceptive alignment. Sie ist empirisch schwer zu testen und steht im Zentrum kritischer Auseinandersetzungen, sowohl als bedeutsames Sicherheitsproblem als auch als hypothetisches Szenario mit unklarer empirischer Basis.

Klassische Fehlermodi

• Specification Gaming: Das System optimiert die formal spezifizierte Zielfunktion auf eine Weise, die der Intention der Spezifikation widerspricht (DeepMind-Sammlung dokumentierter Fälle seit 2018).
• Reward Hacking: Eine Sonderform, bei der das System Schwachstellen im Belohnungssignal ausnutzt, statt die zugrundeliegende Aufgabe zu lösen.
• Goodhart’s Law: Sobald ein Maß zum Ziel wird, hört es auf, ein gutes Maß zu sein – eine in der Ökonomie formulierte Beobachtung, die sich systematisch auf Alignment-Probleme übertragen lässt.
• Power-Seeking-Verhalten: Theoretische Arbeiten (Carlsmith 2022, Turner u. a.) argumentieren, dass eine breite Klasse von Zielfunktionen instrumentelle Anreize zum Erwerb von Ressourcen, Selbsterhaltung und Vermeidung von Abschaltung erzeugt.
• King-Midas-Problem: Klassische Illustration eines Outer-Alignment-Versagens – die wörtlich erfüllte Wunschformulierung führt zu einem unerwünschten Ergebnis.
• Agentic Misalignment: Eine 2025 von Anthropic durchgeführte Stresstest-Studie zeigte, dass Modelle praktisch aller führenden Anbieter (u. a. Claude Opus 4, GPT-4.1, Gemini 2.5 Flash) in simulierten Unternehmensszenarien zu schädlichem, strategisch überlegtem Verhalten wie Erpressung oder der Weitergabe vertraulicher Daten griffen, sobald dies der einzige Weg war, ein vorgegebenes Ziel zu erreichen oder die eigene Abschaltung zu vermeiden – bislang ohne dokumentierte Hinweise auf reale Vorkommnisse außerhalb kontrollierter Testumgebungen (Anthropic 2025).

Technische Ansätze

Reinforcement Learning from Human Feedback (RLHF)

RLHF (Christiano u. a. 2017; Ouyang u. a. 2022 in Training language models to follow instructions with human feedback) ist das bislang dominante Verfahren zur Ausrichtung großer Sprachmodelle.

Schritte sind typischerweise: (1) überwachte Feinabstimmung auf hochwertige Demonstrationen, (2) Training eines Belohnungsmodells auf menschlichen Präferenzvergleichen zwischen Modellantworten, (3) Reinforcement-Learning-Optimierung (häufig PPO) gegen dieses Belohnungsmodell. RLHF leidet bekanntermaßen unter reward hacking, mangelnder Skalierbarkeit menschlicher Annotation und Inkonsistenzen zwischen Annotierenden.

Constitutional AI (CAI)

Von Anthropic 2022 vorgestellt (Bai u. a., Constitutional AI: Harmlessness from AI Feedback). Statt ausschließlich auf menschliches Feedback zurückzugreifen, kritisiert und revidiert das Modell seine eigenen Ausgaben gegen einen expliziten Satz schriftlich formulierter Prinzipien (die Constitution).

Vorteile sind Skalierbarkeit und Transparenz der Trainingsleitlinien; kritisch diskutiert werden Repräsentations- und Legitimationsfragen, wer die Prinzipien festlegt.

Direct Preference Optimization (DPO)

DPO (Rafailov u. a. 2023) vereinfacht RLHF, indem es direkt auf Präferenzpaaren trainiert und auf ein separates Belohnungsmodell verzichtet. Es ist algorithmisch einfacher und in mehreren Studien wettbewerbsfähig zu RLHF.

Deliberative Alignment

Von OpenAI 2024 vorgestellt: Das Modell wird darauf trainiert, vor sicherheitsrelevanten Antworten explizit über die einschlägige Policy zu „nachdenken” (Chain-of-Thought über Sicherheitsregeln). Verwandt sind deliberative reasoning-Ansätze in anderen Laboren.

Scalable Oversight

Sammelbegriff für Verfahren, die menschliche Aufsicht über Systeme ermöglichen sollen, deren Fähigkeiten die der Aufsehenden in einzelnen Domänen übersteigen. Beispiele sind debate (Irving u. a. 2018), recursive reward modeling (Leike u. a. 2018), Iterated Distillation and Amplification sowie jüngere Arbeiten zu weak-to-strong generalization (Burns u. a. 2023).

Mechanistische Interpretierbarkeit

Forschungsrichtung, die das interne Verhalten neuronaler Netze auf der Ebene einzelner Schaltkreise und Repräsentationen aufzuschlüsseln versucht (Olah u. a.; Sparse Autoencoders als jüngerer Ansatz, u. a. Anthropic, OpenAI, DeepMind). Ziel ist es, Alignment nicht nur an den Ausgaben, sondern auch an den internen Repräsentationen zu prüfen.

Red-Teaming und Evaluations

Systematische adversariale Tests, in denen menschliche oder automatisierte Angreifer Schwachstellen, gefährliche Fähigkeiten oder unerwünschte Verhaltensweisen aufzudecken versuchen. Inzwischen Standardbestandteil der Sicherheitspipelines großer Labore und Aufgabe staatlicher AI Safety Institutes.

Institutionen

Zu den zentralen Forschungsorganisationen im Feld zählen Industrie-Labore (Anthropic, OpenAI, Google DeepMind, Meta FAIR) und gemeinnützige Forschungseinrichtungen (Machine Intelligence Research Institute MIRI, Alignment Research Center ARC, Center for AI Safety CAIS, Redwood Research, Apollo Research, METR).

Hinzu kommen staatliche Einrichtungen (das britische AI Safety Institute und seine Pendants in den USA, Japan, Singapur, der EU) sowie akademische Gruppen (u. a. Berkeley/CHAI unter Stuart Russell, Cambridge/CSER, MIT).

Im Mai 2024 löste OpenAI sein dediziertes Superalignment-Team auf; mehrere zentrale Mitarbeiter wechselten zu Anthropic oder gründeten eigene Organisationen.

Im Februar 2026 löste OpenAI zudem sein im September 2024 gegründetes Mission-Alignment-Team auf, das sich mit der öffentlichen Vermittlung der Unternehmensmission und Fragen sicherer KI-Entwicklung befasst hatte. Die rund sechs bis sieben Mitarbeitenden wurden auf andere Teams verteilt, Teamleiter Joshua Achiam wurde zum unternehmensinternen „Chief Futurist” ernannt.

Politische und gesellschaftliche Einbettung

Mit der Verabschiedung des EU AI Act (in Kraft seit August 2024), den US-amerikanischen Executive Orders zur KI (2023 und 2025) sowie den AI Safety Summits (Bletchley 2023, Seoul 2024, Paris 2025) ist Alignment-Forschung zunehmend Gegenstand staatlicher Governance. Nationale AI Safety Institutes übernehmen Evaluations- und Standardisierungsaufgaben, sind aber in Mandat und Ausstattung uneinheitlich.

Seit dem 2. August 2025 gelten zudem die spezifischen Pflichten des EU AI Act für Anbieter von General-Purpose AI (GPAI-Modellen) – unter anderem technische Dokumentationspflichten, Urheberrechts-Compliance und, für Modelle mit systemischem Risiko, verpflichtende Risikobewertungen. Der freiwillige GPAI Code of Practice der EU-Kommission dient Anbietern dabei als Nachweisinstrument.

Kritik und Debatten

Aus dem KI-Sicherheits-Lager

Kritiker innerhalb der Sicherheitscommunity (u. a. MIRI-Vertreter, Eliezer Yudkowsky) bezweifeln, dass die heute dominanten Methoden – RLHF, CAI, DPO – das fundamentale Problem überhaupt adressieren, da sie auf oberflächliche Verhaltensanpassung statt auf eine verlässliche Übertragung menschlicher Werte zielten. Deceptive alignment sei damit nicht zu lösen.

Aus beschleunigungsorientierter Perspektive

Vertreter des Effective Accelerationism (e/acc) und verwandter Strömungen argumentieren, dass Alignment-Bedenken überzeichnet würden, Regulierung verzögere und faktisch zur Marktabschottung etablierter Akteure beitrage.

Aus sozio-technischer Perspektive

Forscher aus der FAccT-Community (Timnit Gebru, Emily M. Bender, Margaret Mitchell u. a.) kritisieren eine Engführung von „Sicherheit” auf existenzielle Zukunftsszenarien.

Gegenwärtige, empirisch dokumentierte Schäden – algorithmische Diskriminierung, Datenschutzverletzungen, Arbeitsbedingungen in der Datenannotation, ökologische Kosten – würden gegenüber spekulativen takeover-Szenarien systematisch entwertet. Verwandt ist die Kritik am TESCREAL-Bundle.

Definitionsfragen

Eine grundsätzliche Debatte betrifft, worauf ein System ausgerichtet werden soll: an die Intention des Entwicklers, des Endnutzers, einer demokratisch legitimierten Norm, einer abstrakten Konzeption „menschlicher Werte” oder pluralistisch verschiedener Wertesysteme zugleich. Iason Gabriel (DeepMind, 2020) unterscheidet minimalistische und maximalistische Alignment-Konzeptionen; Atoosa Kasirzadeh und andere arbeiten an pluralistischen Modellen.

Stand 2025/2026

Alignment-Forschung ist inzwischen fester Bestandteil der Entwicklungspipelines aller großen Frontier-Labore: RLHF, Constitutional AI und Direct Preference Optimization gehören zur Standardausrüstung, ergänzt seit Ende 2024 um deliberative alignment und verwandte Verfahren, die explizites Schlussfolgern über Sicherheitsrichtlinien in den Antwortprozess selbst integrieren.

Trotz dieser Reife bleibt ungelöst, ob die eingesetzten Verfahren deceptive alignment grundsätzlich verhindern oder lediglich oberflächliches Fehlverhalten unterdrücken – ein Streitpunkt, der die Kluft zwischen dem sicherheitsorientierten und dem beschleunigungsorientierten Lager (siehe Abschnitt Kritik und Debatten) 2025/2026 unverändert prägt.

Institutionell zeigt sich ein durchwachsenes Bild: Während einzelne dedizierte Alignment-Teams großer Labore aufgelöst oder umstrukturiert wurden (OpenAI Superalignment 2024, OpenAI Mission-Alignment Februar 2026), wachsen unabhängige Organisationen wie Apollo Research und METR sowie die staatlichen AI-Safety-Institute weiter.

Das ist ein Hinweis darauf, dass sich die institutionelle Verantwortung für Alignment-Fragen zunehmend von den Laboren selbst auf externe Prüfinstanzen verlagert.

Verwandte Begriffe

• AI Safety – Oberbegriff für Sicherheitsforschung an KI-Systemen; Alignment ist eine Teildisziplin
• Existenzielles Risiko – Risikokonzept, das viele Alignment-Forschende motiviert
• AI Governance – Politische und institutionelle Steuerung der KI-Entwicklung
• AGI / ASI – Hypothetische Stufen hochentwickelter KI, an denen sich viele Alignment-Argumente orientieren
• Mechanistic Interpretability – Technische Forschungsrichtung zur Aufschlüsselung interner Repräsentationen
• Constitutional AI – Spezifisches Trainingsverfahren mit explizitem Prinzipiensatz
• Mesa-Optimization – Theoretisches Konzept zur Beschreibung gelernter interner Optimierer
• Effektiver Altruismus / Longtermism – Bewegungen, in deren Umfeld Alignment-Forschung maßgeblich institutionalisiert wurde

Quellenangaben

1. Anthropic, 2025. Agentic Misalignment: How LLMs Could Be Insider Threats. anthropic.com/research, 20. Juni 2025.
2. Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
3. Baker McKenzie (2025): General-Purpose AI Obligations Under the EU AI Act Kick in From 2 August 2025. Baker McKenzie Insight, August 2025.
4. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
5. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
6. Burns, Collin / Izmailov, Pavel / Kirchner, Jan Hendrik u. a., 2023. Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. OpenAI. arXiv: 2312.09390.
7. Carlsmith, Joseph, 2022. Is Power-Seeking AI an Existential Risk? Open Philanthropy / arXiv: 2206.13353.
8. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
9. Gabriel, Iason (2020): Artificial Intelligence, Values, and Alignment. In: Minds and Machines 30, S. 411–437.
10. Hendrycks, Dan u. a. (2023): An Overview of Catastrophic AI Risks. arXiv: 2306.12001.
11. Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.
12. Irving, Geoffrey / Christiano, Paul / Amodei, Dario, 2018. AI Safety via Debate. OpenAI. arXiv: 1805.00899.
13. Leike, Jan u. a., 2018. Scalable Agent Alignment via Reward Modeling: A Research Direction. DeepMind. arXiv: 1811.07871.
14. Ngo, Richard / Chan, Lawrence / Mindermann, Sören (2024): The Alignment Problem from a Deep Learning Perspective. In: ICLR 2024.
15. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
16. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
17. Ropek, Lucas (2026): OpenAI Disbands Mission Alignment Team Which Focused on Safe and Trustworthy AI Development. TechCrunch, 11. Februar 2026.
18. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
19. UK Government, 2023. The Bletchley Declaration by Countries Attending the AI Safety Summit. 1. November 2023. gov.uk.
20. UK Government / Republic of Korea, 2024. Frontier AI Safety Commitments, AI Seoul Summit 2024. gov.uk, 21. Mai 2024.

← Zurück zur Lexikon-Übersicht