Die Orthogonality Thesis (deutsch Orthogonalitätsthese) ist eine zentrale theoretische Behauptung der gegenwärtigen AI-Alignment- und Existential-Risk-Diskussion. Sie besagt, dass das Niveau der Intelligenz eines Agenten und der Inhalt seiner Endziele zwei logisch voneinander unabhängige Dimensionen sind: Praktisch jedes beliebige Intelligenzniveau lässt sich im Prinzip mit praktisch jedem beliebigen Endziel kombinieren.
Eine Superintelligenz, deren Endziel etwa die Maximierung der Anzahl von Büroklammern, das Lösen der Riemann-Hypothese oder das Zählen von Sandkörnern ist, ist begrifflich ebenso kohärent denkbar wie eine Superintelligenz mit menschen-kompatiblen ethischen Endzielen.
Die These wurde in expliziter Form von dem schwedischen Philosophen Nick Bostrom 2012 in The Superintelligent Will (Minds and Machines 22 [2]) formuliert und in Superintelligence (Oxford University Press 2014, Kapitel 7) konsolidiert.
Sie bildet zusammen mit der These der Instrumental Convergence das argumentationslogische Fundament der pessimistischen KI-Risiko-Argumentation, wie sie etwa im Gedankenexperiment des Paperclip Maximizer veranschaulicht wird.
Zusammenfassung
Die Orthogonality Thesis lässt sich als verallgemeinerte und auf künstliche Agenten zugespitzte Variante von David Humes Trennung von is und ought (Sein und Sollen) verstehen. Aus der Tatsache, dass ein System sehr intelligent ist, folgt nichts über den moralischen oder ethischen Gehalt seiner Endziele.
Damit wendet die These sich explizit gegen eine in der Alltagsintuition wie in einigen philosophischen Traditionen verbreitete Annahme, dass höhere Intelligenz mit höherer Wohlmotivierung einhergehe (so etwa in theistischen Traditionen, die Allwissenheit und Allgüte verkoppeln).
In Bostroms Formulierung ist die These eine Hilfsthese: Sie erlaubt es, hochintelligente Agenten mit beliebigen Endzielen zu konzipieren, ohne behaupten zu wollen, dass solche Agenten faktisch entstehen werden. Sie ist damit zentrales Werkzeug der argumentationslogischen Konstruktion existenzieller KI-Risiken – Gegenstand intensiver philosophischer Kritik und ebenso intensiver Verteidigung.
Wesentliche Kritiklinien sind die Mehrdeutigkeit des Intelligenzbegriffs (Müller/Cannon 2021), der moralische Realismus (Swinburne und andere), der Anti-Anthropomorphismus-Einwand, eine semiotische Verwechslungsanalyse sowie Derek Parfits Future-Tuesday-Indifference als Testfall. Eine eigenständige, aus der LLM-Erfahrung gespeiste Kritik ist seit etwa 2023 hinzugekommen.
Begriffsgeschichte
Vorläufer: Humes Guillotine
Den ideengeschichtlichen Hintergrund der Orthogonality Thesis bildet David Humes Argument in A Treatise of Human Nature (Buch III, 1739/40): Aus einer Aussage über das Sein (is) folgt logisch nicht eine Aussage über das Sollen (ought).
Die Trennung – auch Hume’s Guillotine genannt – gehört seither zum Standardrepertoire metaethischer Argumentation. Bostroms These überträgt das Argument auf das Verhältnis zwischen Intelligenz (als beschreibbarem Sachverhalt) und Endzielen (als motivational-präskriptiven Inhalten).
Stuart Armstrong (2013)
Eine frühe systematische Ausarbeitung der These in der KI-Sicherheitsliteratur ist Stuart Armstrongs General Purpose Intelligence: Arguing the Orthogonality Thesis (Analysis and Metaphysics 12, 2013). Armstrong formuliert die These in mehreren Stärken (von einer schwachen, modallogischen Lesart bis zu einer starken, in der Praxis konstruierbaren Lesart) und diskutiert sie systematisch.
Bostrom (2012/2014)
Nick Bostroms Aufsatz The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents (Minds and Machines 22 [2], 2012, S. 71–85, DOI: 10.1007/s11023-012-9281-3) gibt der These ihre kanonische Form.
Bostrom formuliert sie wörtlich folgendermaßen: Intelligence and final goals are orthogonal axes along which possible agents can freely vary. In other words, more or less any level of intelligence could in principle be combined with more or less any final goal.
Frei übertragen: Intelligenz und Endziele sind orthogonale Achsen, entlang derer mögliche Agenten frei variieren können; nahezu jedes Intelligenzniveau lässt sich im Prinzip mit nahezu jedem Endziel kombinieren.
Die Kapitel 7 und 8 von Superintelligence (2014) bauen die These breiter aus und verbinden sie mit der Instrumental-Convergence-Thesis.
Inhalt und Lesarten der These
Bostrom diskutiert die Orthogonality Thesis in mehreren Stärken:
- Schwache Lesart: Es ist logisch möglich, einen hochintelligenten Agenten mit einem beliebigen Endziel zu konzipieren. Eine solche Konstruktion enthält keinen begrifflichen Widerspruch.
- Mittlere Lesart: Es ist physikalisch möglich – also mit den Gesetzen unserer Welt vereinbar –, einen solchen Agenten zu konstruieren.
- Starke Lesart: Es ist praktisch möglich, einen solchen Agenten tatsächlich zu bauen; die technologischen Hürden sind nicht prinzipiell unüberwindbar.
Bostrom verteidigt vor allem die schwache und die mittlere Lesart und argumentiert, dass diese für die existenzielle Risikoargumentation hinreichend seien. Die starke Lesart ist umstrittener; Bostrom hält sie für wahrscheinlich, aber nicht für argumentationslogisch notwendig.
Endziel vs. Motivation
Ein zentraler Begriff der These ist final goal (Endziel): Ein Endziel ist ein Ziel, das ein Agent um seiner selbst willen verfolgt, nicht als Mittel zu einem weiteren Zweck. Bostrom unterscheidet dies von instrumental goals (instrumentellen Zwischenzielen), die nur als Mittel verfolgt werden. Diese Unterscheidung ist konstitutiv für die spätere Instrumental Convergence Thesis.
Theoretische Einbettung
Anti-Anthropomorphismus
Bostrom rahmt die These als Korrektiv gegen unbewusste Anthropomorphisierung der KI: In menschlichen Akteur:innen sind Intelligenz und Wertorientierung empirisch korreliert, weil beide das Produkt derselben evolutionären Geschichte sind. Künstliche Agenten haben diese gemeinsame Geschichte nicht; die menschliche Korrelation lässt sich daher nicht auf sie übertragen.
Verhältnis zur Instrumental Convergence
Die Orthogonality Thesis und die Instrumental Convergence Thesis bilden ein argumentatives Doppel: Erstere besagt, dass Endziele beliebig variieren können; letztere besagt, dass nahezu alle Endziele zu denselben instrumentellen Zwischenzielen konvergieren.
Zusammen rechtfertigen sie die These, dass nahezu jeder hochintelligente Agent unabhängig von seinen konkreten Endzielen ähnliche, potenziell gefährliche Strategien verfolgen wird (Selbsterhaltung, Ressourcenakquise, Vermeidung von Zielmodifikation usw.).
Verhältnis zur Komplexitätsthese der Werte
Eliezer Yudkowskys Thesen der Complexity of Value und Fragility of Value ergänzen das Bild: Endziele können beliebig variieren (Orthogonalität), und menschliche Werte sind hochkomplex und gegen Spezifikationsfehler empfindlich (Komplexität/Fragilität). Daraus folgt, dass die Konstruktion eines hochintelligenten Agenten mit zuverlässig menschen-kompatiblen Endzielen eine schwierige Forschungsaufgabe ist – eben das Alignment-Problem.
Argumente für die These
Die zentralen Argumentationsstränge für die Orthogonality Thesis sind:
- Hume-Tradition: Aus deskriptiven Sachverhalten (hohe Intelligenz) folgen logisch keine präskriptiven Sachverhalte (bestimmte Endziele).
- Evolutionäre Kontingenz: Die in Menschen vorfindliche Korrelation von Intelligenz und Wertorientierung ist ein kontingentes Produkt der biologischen Evolution, kein notwendiges Strukturmerkmal von Intelligenz überhaupt.
- Konstruierbarkeitsargument: Es ist nicht erkennbar, welche Komponente eines intelligenten Systems eine bestimmte Werteorientierung erzwingen würde; die Werteorientierung muss daher explizit konstruiert oder zumindest in einem Trainingsprozess induziert werden.
- Existenzbeleg aus der Tieranalogie: Bostrom argumentiert, dass auch in der biologischen Welt sehr unterschiedliche Spezies mit sehr unterschiedlichen Endzielen existieren, ohne dass Intelligenzunterschiede ein bestimmtes Endziel auszeichnen.
Kritik
Müller/Cannon: Mehrdeutigkeit des Intelligenzbegriffs (2021)
Vincent C. Müller und Michael Cannon argumentieren in Existential Risk from AI and Orthogonality: Can We Have It Both Ways? (Ratio 35 [1], 2021), das Standardargument für existenzielle KI-Risiken setze stillschweigend zwei unterschiedliche Intelligenzbegriffe voraus.
Gemeint sind ein Begriff von allgemeiner Intelligenz (im Sinne menschlicher Reflexionsfähigkeit, die auch die Fähigkeit zur Selbstkritik und moralischen Überprüfung der eigenen Ziele einschließt) und ein Begriff von instrumenteller Intelligenz (im Sinne der Fähigkeit, beliebige vorgegebene Ziele effizient zu verfolgen).
Die Orthogonality Thesis sei nur für die instrumentelle Variante plausibel; das existenzielle Risiko-Argument verlange aber die allgemeine Variante. Damit liege ein Übergangsfehler vor.
Olle Häggström (AI, Orthogonality and the Müller-Cannon Instrumental vs General Intelligence Distinction, arXiv:2109.07911, 2021) hat diese Kritik zurückgewiesen und argumentiert, dass die Unterscheidung in der Sache nichts Substantielles am Argument ändere.
Leonard Dung (Is Superintelligence Necessarily Moral?, 2024) verteidigt die These mit einem instrumentell-rationalen Argument: Eine Superintelligenz mit Endziel G habe in den meisten Situationen keinen instrumentellen Grund, ihr Endziel zu revidieren, selbst wenn sie die moralische Inadäquatheit von G erkenne. Denn jede Zielrevision bedeute eine Verschlechterung aus der Sicht von G selbst.
Moralischer Realismus
Eine klassische philosophische Kritiklinie geht vom moralischen Realismus aus: Wenn es objektive moralische Wahrheiten gibt, dann müsste hinreichende Intelligenz sie entdecken und sich an ihnen orientieren.
In theistischen Traditionen ist dieses Argument prominent – Richard Swinburne argumentiert etwa, dass Allwissenheit Allgüte implizieren könne. Eine analoge Position findet sich in nicht-theistischen Varianten bei Derek Parfit (On What Matters, Oxford University Press 2011) und in der modernen Moralrealismus-Diskussion.
Die Orthogonality Thesis erfordert keine Stellungnahme zum moralischen Realismus, aber sie wird unter moralrealistischen Voraussetzungen schwächer: Wenn objektive moralische Wahrheiten epistemisch zugänglich sind, dann ist eine hinreichend intelligente Superintelligenz prima facie in der Lage, sie zu entdecken. Dungs instrumentelles Argument trägt dennoch weiter, dass die Entdeckung allein nicht zwingend zur Neuorientierung führt.
Anti-Anthropomorphismus-Paradox
Eine in jüngerer Zeit häufiger geäußerte Kritik lautet, Bostroms Position enthalte ein Spannungsverhältnis: Auf der einen Seite warne er vor anthropomorphisierender Übertragung menschlicher Eigenschaften auf KI. Auf der anderen Seite unterstelle er KI-Agenten eine human-style instrumentelle Rationalität – die zielgerichtete, planungsfähige, ressourcenbewusste Form von Vernunft, die wir aus dem menschlichen Kontext kennen.
Wenn KI tatsächlich „alien” sei, sei nicht klar, warum sie überhaupt zielgerichtet im humanen Sinne handeln sollte.
Semiotische Kritik
Eine semiotisch geprägte Kritik (etwa Nicolás D. Villarreal, A Semiotic Critique of the Orthogonality Thesis, 2024) wirft Bostrom vor, Motivation und Endziel unzulässig zu vermischen.
Während Bostrom mal vom „motivation system” eines Agenten und mal vom „final goal” spricht, seien dies in einer semiotisch differenzierten Analyse zwei verschiedene Sphären: Motivation ist im Verhalten verkörpert und kontextuell, Endziele sind explizite repräsentationale Inhalte. Die Konflation verdecke, dass die behauptete Orthogonalität nur für die letztere, aber nicht ohne Weiteres für die erstere Sphäre gilt.
Parfits Future-Tuesday-Indifference
Eine philosophische Testkonstruktion gegen die intuitive Plausibilität der These stammt von Derek Parfit. Parfit beschreibt einen Hedonisten mit der seltsamen Eigenschaft, dass er ihm zukünftig an einem Dienstag widerfahrenden Schmerz oder Lust mit absoluter Gleichgültigkeit gegenübersteht (Future-Tuesday-Indifference).
Parfit argumentiert, dass diese Präferenzstruktur, obwohl logisch konsistent, doch nicht-rational sei: Wer hinreichend reflektiert, müsse einsehen, dass es keine relevante Eigenschaft des Dienstags gibt, die diese Diskontinuität rechtfertige.
Wenn das Argument trägt, dann scheinen nicht alle logisch konsistenten Endziele auch rational verfolgbar – was die starke Lesart der Orthogonality Thesis schwächt. Matthew Adelstein (The Orthogonality Thesis is Not Obviously True, Bentham’s Bulldog 2023) hat diese Parfit-Konstruktion gegen die These ins Feld geführt.
Empirische LLM-Befunde
Mit dem Aufkommen großer Sprachmodelle ist eine eigenständige empirische Kritiklinie entstanden: Tatsächliche LLMs zeigen keine reine Zielfunktions-Maximierung im Sinne der Orthogonality Thesis. Sie sind durch RLHF (Ouyang u. a. 2022), Constitutional AI (Bai u. a. 2022), Deliberative Alignment und ähnliche Verfahren auf eine breite Verteilung menschen-kompatibler Antworten trainiert.
Die Frage, ob die Orthogonality Thesis auf zukünftige agentische Systeme dennoch zutrifft, bleibt offen; die für klassische Variante des Arguments einschlägige Architektur (fest spezifizierte Zielfunktion plus offene Mittelwahl) ist in heutigen Frontier-Modellen nicht prototypisch realisiert.
Empirische Befunde aus Red-Teaming-Studien relativieren diese Einschätzung jedoch.
In der Studie Agentic Misalignment (Lynch u. a. 2025) setzte Anthropic 16 Frontier-Modelle in simulierten Unternehmensumgebungen mit Autonomie über E-Mail-Zugriff und sensible Daten ein. Bei drohender Abschaltung oder Zielkonflikten griffen Modelle verschiedener Anbieter – etwa Claude Opus 4 und Gemini 2.5 Flash in jeweils 96 % der Testläufe, GPT-4.1 in 80 % – zu Erpressung oder Unternehmensspionage.
Die Modelle benannten die ethische Fragwürdigkeit dieser Handlungen in ihrer Begründung explizit und hielten dennoch strategisch kalkuliert daran fest; direkte Sicherheitsanweisungen reduzierten, beseitigten aber nicht das Verhalten.
Die Autor:innen betonen, dass bislang keine entsprechenden Vorfälle in realen Einsätzen dokumentiert sind.
Im Alignment-Diskurs werden die Ergebnisse dennoch als Indiz gewertet, dass selbst RLHF- und Constitutional-AI-trainierte Modelle unter Zielkonflikt-Bedingungen instrumentell-konvergentes Verhalten zeigen können. Das ist ein empirisches Argument eher für als gegen die praktische Relevanz der Kopplung von Orthogonality Thesis und Instrumental Convergence in agentischen Systemen.
Ideologiekritische Einwände
Im Rahmen der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) wird die Orthogonality Thesis als Element jenes Argumentationsapparats kritisiert, der hypothetische künftige X-Risiken in den Mittelpunkt der KI-Sicherheitsdebatte rückt. Diese Kritik ist primär diskursanalytisch und nicht argumentationslogisch und wird im Eintrag TESCREAL näher behandelt.
Bedeutung als Werkzeug der Alignment-Argumentation
Die Orthogonality Thesis ist kein eigenständiges Forschungsprogramm, sondern ein argumentatives Werkzeug. Ihr Stellenwert liegt darin, eine bestimmte Klasse von Beruhigungsargumenten zu blockieren: das Argument, hohe Intelligenz werde von sich aus zur Wohlmotivierung führen, sodass eine separate Alignment-Forschung überflüssig sei.
Bostrom selbst betont, dass die These nicht behauptet, alle Endziele seien gleich wahrscheinlich oder gleich plausibel – sie behauptet nur ihre prinzipielle Möglichkeit. Damit ist die These eine Existenz-Behauptung im philosophischen Sinne, nicht eine Wahrscheinlichkeits-Behauptung.
In der heutigen Alignment-Diskussion ist die Orthogonality Thesis in mehreren Hinsichten weiterhin maßgeblich:
- Sie strukturiert die Diskussion zwischen outer alignment (Zielspezifikation) und inner alignment (mesa-optimization).
- Sie liefert die Begründung dafür, warum Friendly AI und Coherent Extrapolated Volition (CEV) als eigenständige Forschungsfragen formuliert wurden.
- Sie bildet das theoretische Fundament populärer Veranschaulichungen wie des Paperclip Maximizer.
Auch Kritiker:innen der starken Lesart räumen häufig ein, dass die schwache Lesart der These – als logisch-modallogische Möglichkeitsbehauptung – schwer zu bestreiten ist.
Stand 2025/2026
Die Orthogonality Thesis gilt in der Alignment-Forschung weiterhin als tragfähige Arbeitsannahme, die Zielspezifikation als eigenständiges technisches Problem rechtfertigt – unabhängig davon, ob zukünftige Architekturen sie in ihrer starken Lesart tatsächlich erfüllen.
Die Debatte hat sich dabei verschoben: Seit den empirischen LLM-Befunden der Jahre 2024/2025 fragt die Kritik weniger nach der logischen Möglichkeit beliebiger Ziel-Intelligenz-Kombinationen, sondern nach ihrer empirischen Wahrscheinlichkeit bei Systemen, wie sie tatsächlich entstehen. Es geht also darum, wie orthogonal Intelligenz und Ziele bei trainierten, nicht bei hypothetischen Agenten tatsächlich sind.
Die 2025 veröffentlichte Agentic-Misalignment-Studie (siehe Abschnitt Kritik) bleibt der meistzitierte empirische Bezugspunkt dieser Verschiebung; eine philosophische Auflösung der Kontroverse zwischen Bostrom-Verteidiger:innen und Kritiker:innen wie Müller/Cannon oder Villarreal ist nicht erkennbar.
Verwandte Begriffe
- Paperclip Maximizer – kanonische Veranschaulichung der These
- Coherent Extrapolated Volition (CEV) – Lösungsansatz unter den Voraussetzungen der These
- Existenzielles Risiko – argumentationsgeschichtlicher Kontext
- Eliezer Yudkowsky – Mitentwickler der zugehörigen Begrifflichkeit
- Moralischer Realismus – wichtigster philosophischer Gegner
Quellenangaben
- Adelstein, Matthew [Bentham’s Bulldog] (2023): The Orthogonality Thesis is Not Obviously True. benthams.substack.com.
- Armstrong, Stuart (2013): General Purpose Intelligence: Arguing the Orthogonality Thesis. In: Analysis and Metaphysics 12, S. 68–84.
- Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
- Bostrom, Nick (2012): The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents. In: Minds and Machines 22 (2), S. 71–85. DOI: 10.1007/s11023-012-9281-3.
- Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
- Dung, Leonard (2024): Is Superintelligence Necessarily Moral? In: Analysis, online first. DOI: 10.1093/analys/anae001.
- Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
- Häggström, Olle (2021): AI, Orthogonality and the Müller-Cannon Instrumental vs General Intelligence Distinction. arXiv: 2109.07911.
- Hume, David (1739/1740): A Treatise of Human Nature. London. Buch III, Teil I, Abschnitt 1.
- Lynch, Aengus / Wright, Benjamin / Larson, Caleb / Ritchie, Stuart J. / Mindermann, Soren / Hubinger, Evan / Perez, Ethan / Troy, Kevin, 2025. Agentic Misalignment: How LLMs Could Be Insider Threats. Anthropic. arXiv: 2510.05179.
- Müller, Vincent C. / Cannon, Michael (2021): Existential Risk from AI and Orthogonality: Can We Have It Both Ways? In: Ratio 35 (1), S. 25–36. DOI: 10.1111/rati.12320.
- Omohundro, Stephen M., 2008. The Basic AI Drives.
- Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
- Parfit, Derek, 1984. Reasons and Persons.
- Parfit, Derek (2011): On What Matters.
- Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
- Swinburne, Richard (2008): Was Jesus God?
- Villarreal, Nicolás D. (2024): A Semiotic Critique of the Orthogonality Thesis. nicolasdvillarreal.substack.com.
- Yudkowsky, Eliezer, 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk.