Complexity of Value

Complexity of Value (deutsch Komplexität der Werte) ist die von Eliezer Yudkowsky formulierte These, dass sich der Inhalt menschlicher Werte nicht auf eine kurze Regel zusammenziehen lässt. Wer einem künstlichen Agenten vorgeben will, was gut ist, muss dafür eine große Menge an Information übertragen – und kann sie nicht aus einem einzigen Prinzip herleiten.

Die zugehörige Unterthese Fragility of Value verschärft das: Eine fast vollständige Übertragung erzeugt nicht fast den vollen Wert, sondern nahezu keinen.

Zusammenfassung

Die These richtet sich gegen eine naheliegende Hoffnung. Wenn ein hinreichend mächtiges System gebaut werden soll, das im menschlichen Sinne handelt, wäre es bequem, ihm ein einzelnes Ziel vorzugeben – Glück maximieren, Leid minimieren, menschliche Wünsche erfüllen. Yudkowsky bestreitet, dass eine solche Verkürzung möglich ist.

Sein Argument hat zwei Teile. Der erste betrifft den Umfang: Was Menschen wertschätzen, zerfällt in viele voneinander unabhängige Bestandteile, die sich nicht auseinander ableiten lassen. Der zweite betrifft die Empfindlichkeit: Fehlt einer dieser Bestandteile, ist das Ergebnis nicht geringfügig schlechter, sondern in aller Regel wertlos.

Zusammen mit der Orthogonality Thesis und der Instrumental Convergence bildet die These das Standardargument der pessimistischen KI-Risikodiskussion. Orthogonalität besagt, dass Fähigkeit und Ziel frei kombinierbar sind; Komplexität und Fragilität besagen, dass das richtige Ziel ein winziger und schwer zu treffender Punkt im Zielraum ist; instrumentelle Konvergenz besagt, dass ein danebenliegendes Ziel mit Nachdruck verfolgt wird.

Die Thesen sind überwiegend in Blogbeiträgen entstanden und dort auch kritisiert worden. Eine begutachtete Kurzfassung erschien 2011 auf einer Fachkonferenz; eine mathematische Formalisierung legte erst 2026 eine dritte Seite vor.

Abgrenzung

Fragility of Value – keine gleichrangige Nebenthese, sondern eine von drei Unterthesen der Komplexitätsthese. Complexity fragt, wie viel Information die Spezifikation braucht; Fragility fragt, was bei kleinen Abweichungen von dieser Spezifikation geschieht.

Orthogonality Thesis – betrifft die Kombinierbarkeit von Fähigkeit und Ziel, nicht den Inhalt des Ziels. Sie erlaubt beliebige Ziele; die Komplexitätsthese sagt, wie schwer das erwünschte Ziel zu formulieren ist.

Outer Alignment – bezeichnet das technische Problem, eine Zielfunktion zu spezifizieren, die die Absicht trifft. Complexity of Value ist eine Aussage darüber, warum dieses Problem schwer ist.

Goodhart’s Law – beschreibt, was geschieht, wenn ein Stellvertretermaß optimiert wird. Die Komplexitätsthese begründet, warum jedes hinreichend kurze Wertmaß ein Stellvertreter bleiben muss.

Begriffsgeschichte

Die Denkfigur entstand vor dem Namen. In The Hidden Complexity of Wishes (24. November 2007) beschreibt Yudkowsky eine Maschine, die jeden geäußerten Wunsch erfüllt, und führt vor, dass jede knappe Formulierung eines Wunsches Auslegungen zulässt, die niemand gemeint hat. Der Aufsatz schließt mit dem Satz, es gebe keinen sicheren Wunsch, der kleiner sei als eine vollständige menschliche Moral.

Value is Fragile (29. Januar 2009) prägt den zweiten Teil. Dort formuliert Yudkowsky die Empfindlichkeitsthese und illustriert sie an drei Auslassungen.

Als benannte Lemmata treten beide Ausdrücke erst später auf – im LessWrong-Wiki und, ab etwa 2015, auf der von Yudkowsky betriebenen Plattform Arbital. Dort erhält die Komplexitätsthese ihre heutige Gliederung in drei Unterthesen.

Die einzige begutachtete Fassung ist ein sechsseitiger Konferenzbeitrag: Complex Value Systems in Friendly AI, vorgetragen 2011 auf der vierten Artificial General Intelligence-Konferenz in Mountain View. Er enthält beide Konzepte; der dritte Abschnitt trägt wörtlich die Überschrift The Fragility of Value.

Methodische Grundlagen

Vielteiligkeit. Menschliche Werte bestehen aus vielen unabhängigen Bestandteilen. Yudkowsky beruft sich dafür auf eine Aufzählung des Philosophen William Frankena von 1973, die unter anderem Leben, Bewusstsein, Gesundheit, Lust, Wahrheit, Weisheit, Schönheit, Tugend, Freundschaft, gerechte Güterverteilung, Freiheit, Frieden und das Bedürfnis nach Neuem nennt. Keiner dieser Punkte folgt aus einem anderen.

Unkomprimierbarkeit. Versuche, die Aufzählung auf ein Prinzip zurückzuführen, scheitern nach Yudkowsky systematisch. Jede vorgeschlagene Verkürzung – Lust, Präferenzerfüllung, Überleben – lässt sich mit einem Fall widerlegen, in dem sie zu einem Ergebnis führt, das ihre eigenen Vertreter ablehnen.

Der Informationsgehalt. Aus beidem folgt die eigentliche Behauptung: Die Spezifikation dessen, was gut ist, hat einen hohen Informationsgehalt. Yudkowsky spricht hier von Kolmogorov-Komplexität, ohne eine Zahl zu nennen. Der Begriff steht bei ihm für eine Größenordnung, nicht für ein Maß – ein Punkt, der für die Bewertung der These erheblich ist.

Die Fragilitätsthese. Ihre kanonische Veranschaulichung ist eine Telefonnummer: Neun von zehn Ziffern richtig zu wählen verbindet nicht mit einer Person, die zu neunzig Prozent der gesuchten ähnelt. Übertragen heißt das: Ein System mit fast der vollständigen Wertspezifikation erzeugt nicht fast den vollen Wert.

Warum die Auslassung nicht neutral wirkt. Der tragende Schritt der Fragilitätsthese ist eine Beobachtung über Optimierungsdruck. Eine fehlende Wertkomponente bleibt nicht folgenlos, sondern wird aktiv wegoptimiert, weil die verbleibenden Komponenten ihre Verletzung belohnen. Yudkowsky belegt das an der biologischen Evolution, die keinen Term für Schmerz enthält und ihn deshalb nicht vermeidet, sondern hervorgebracht hat.

Yudkowskys eigene Beispiele. In Value is Fragile nennt er drei Auslassungen, die je für sich genügen. Fehlt der Wert des Neuen, verbringt ein Geist die verbleibende Zeit damit, dieselbe optimierte Erfahrung zu wiederholen. Fehlt die Bindung von Gefühlen an äußere Sachverhalte, hat er den Eindruck, etwas entdeckt zu haben, ohne je etwas zu entdecken. Fehlt die Bewertung subjektiver Erfahrung, bleibt ein Universum ohne jemanden, für den es stattfindet.

Anwendungsfelder

Begründung indirekter Verfahren. Wenn Werte nicht aufgeschrieben werden können, muss ein anderer Weg gefunden werden, sie zu übertragen. Genau das ist die Begründung der Coherent Extrapolated Volition: nicht die Werte selbst vorgeben, sondern ein Verfahren, mit dem das System sie ermittelt. Die Komplexitätsthese verbietet die direkte Lösung und macht die indirekte notwendig.

Begründung des Alignment-Problems. Die These liefert die Antwort auf die Frage, warum das Ausrichtungsproblem nicht durch sorgfältigeres Formulieren zu lösen ist. Sie ist damit ein Baustein der Programmatik der Friendly AI und der Arbeitsgrundlage des MIRI.

Deutung des Paperclip-Szenarios. Der Paperclip Maximizer ist die Zuspitzung der Fragilitätsthese auf einen Grenzfall: ein Ziel, dem sämtliche Wertkomponenten fehlen.

Bewertung heutiger Trainingsverfahren. In der Diskussion um RLHF und Constitutional AI dient die These als Prüffrage: Übertragen diese Verfahren Werte oder nur beobachtbares Wohlverhalten?

Kontroversen und Kritik

Wie komplex und wie fragil genau? Der substantiellste Einwand stammt von Katja Grace (2019). Sie hält der Fragilitätsthese entgegen, dass sämtliche Beispiele Yudkowskys mit dem vollständigen Wegfall einer Dimension arbeiten. Realistische Abweichungen wären kleiner, und über deren Wirkung sage die These nichts. Zweitens treffe maschinelles Lernen aus Beispielen Werte womöglich besser als die von Yudkowsky unterstellte begriffliche Analyse.

Was heißt „nahe”? In der Erwiderung auf Grace wurde eingewandt, dass die Rede von kleinen Abweichungen einen Abstandsbegriff voraussetzt, den niemand definiert hat. Was im menschlichen Vorstellungsraum benachbart ist, kann in der internen Darstellung eines Modells weit auseinanderliegen – und umgekehrt.

Der empirische Einwand aus der Sprachmodell-Erfahrung. Seit 2022 wird argumentiert, dass große Sprachmodelle menschliche Wertbegriffe offenbar mühelos erfassen, was die Komplexitätsthese entkräfte. Matthew Barnett (2023) formulierte das als Aufforderung an das MIRI-Umfeld, seine Einschätzung zu revidieren.

Quintin Pope und Nora Belrose (AI Is Easy to Control, 2023) führten es weiter: Werte müssten einfach genug sein, dass Kinder sie in wenigen Jahren lernen, und seien in Trainingskorpora allgegenwärtig.

Die Gegenrede trennt zwei Dinge. Yudkowsky hat mit einer begrifflichen Unterscheidung geantwortet: Ein Modell dazu zu bringen, Werte korrekt abzubilden, sei etwas anderes, als sie in seine Präferenzen zu bekommen. Er habe nie bestritten, dass hinreichend fähige Systeme die Welt einschließlich menschlicher Moral zutreffend modellieren.

Steven Byrnes ergänzte, dass die Optimisten-Argumentation vollständig an der Bauform heutiger Sprachmodelle hängt und für andere Architekturen nicht trägt.

Der Streit ist nicht empirisch entschieden. Beide Seiten akzeptieren dieselben Beobachtungen an Sprachmodellen und lesen sie verschieden. Die Weiche liegt vor den Daten, nämlich in der Frage, ob korrektes Antworten über Werte ein Anzeichen für deren Verfolgung ist.

Belegdichte der Kritik. Bemerkenswert ist, dass keiner der genannten Beiträge – weder die Thesen noch ihre Kritik noch die Verteidigung – ein Begutachtungsverfahren durchlaufen hat. Pope und Belrose stützen ihren Widerlegungsanspruch auf ein einzelnes Beispiel aus GPT-4.

Ist Fragilität für das Argument überhaupt nötig? Joseph Carlsmith (2024) kommt zu dem Ergebnis, dass das klassische Übernahme-Argument auch ohne die Fragilitätsthese durchläuft. Sie werde vor allem für die Bewertung des Zustands nach einer Machtübernahme einschlägig, nicht für die Frage, ob eine solche zu befürchten ist.

Stand 2025/2026

Die Thesen sind in der Alignment-Diskussion weiterhin Standardvokabular, ohne dass sich der Streit um ihre Reichweite bewegt hätte. Die Debatte zwischen dem MIRI-nahen Lager und den als AI Optimists auftretenden Kritikern verläuft seit 2023 in denselben Bahnen.

Beide Seiten verweisen auf das Verhalten großer Sprachmodelle. Eine gemeinsame Prüfbedingung, unter der eine der beiden Lesarten scheitern würde, hat bislang niemand benannt.

Neu ist eine Verschiebung im Belegstatus. Im Juli 2026 legte Winter Cross (Dovetail Research) mit Fragility of Value under Imperfect Alignment die erste mathematische Formalisierung vor – fünfzehn Jahre nach der begutachteten Kurzfassung und von dritter Seite.

Die Arbeit definiert Bedingungen, unter denen eine Wertfunktion unter Optimierungsdruck katastrophal wird. Daraus leitet sie eine praktische Empfehlung ab: Optimierungsdruck zu begrenzen, statt allein auf das Training vor dem Einsatz zu setzen. Sie liegt als Preprint vor und ist nicht begutachtet.

Damit bleibt der Befund gemischt. Die Thesen tragen die einflussreichste Argumentation des Feldes und haben über zwei Jahrzehnte keine formale Fassung durch ihren Urheber erhalten; die Rezeption bleibt fast vollständig innerhalb der Gemeinschaft, die sie hervorgebracht hat.

Quellenangaben

Barnett, Matthew, 2023. Evaluating the Historical Value Misspecification Argument. Alignment Forum, 5. Oktober 2023.
Byrnes, Steven, 2023. Thoughts on „AI Is Easy to Control” by Pope and Belrose. Alignment Forum, 1. Dezember 2023.
Carlsmith, Joseph, 2024. Value Fragility and AI Takeover. LessWrong, 5. August 2024.
Cross, Winter, 2026. Fragility of Value under Imperfect Alignment. Dovetail Research. arXiv: 2607.28881.
Frankena, William K., 1973. Ethics.
Grace, Katja, 2019. But Exactly How Complex and Fragile? AI Impacts, 3. November 2019.
Omohundro, Stephen M., 2008. The Basic AI Drives.
Pope, Quintin / Belrose, Nora, 2023. AI Is Easy to Control. optimists.ai, 28. November 2023.
Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.
Yudkowsky, Eliezer, 2007. The Hidden Complexity of Wishes. Overcoming Bias, 24. November 2007.
Yudkowsky, Eliezer, 2009. Value Is Fragile. LessWrong, 29. Januar 2009.
Yudkowsky, Eliezer, 2011. Complex Value Systems in Friendly AI. In: Artificial General Intelligence: 4th International Conference (AGI 2011), S. 388–393. Lecture Notes in Computer Science 6830. DOI: 10.1007/978-3-642-22887-2_48.

← Zurück zur Lexikon-Übersicht