Coherent Extrapolated Volition (deutsch kohärente extrapolierte Volition; gebräuchliche Abkürzung CEV) ist ein metaethischer Designvorschlag für die Wertespezifikation einer hochleistungsfähigen, mit menschlichen Werten verträglichen künstlichen Intelligenz.
Er wurde im Mai 2004 von Eliezer Yudkowsky in dem auf der Website des damaligen Singularity Institute for Artificial Intelligence (SIAI, heute Machine Intelligence Research Institute, MIRI) publizierten Aufsatz Coherent Extrapolated Volition vorgeschlagen.
Die zentrale Idee ist, eine künftige Superintelligenz solle ihre Ziele nicht aus den faktischen – möglicherweise unaufgeklärten, widersprüchlichen, kurzfristig orientierten – gegenwärtigen Präferenzen der Menschheit ableiten, sondern aus jenen Werten, die diese Präferenzen unter idealisierten epistemischen und moralischen Bedingungen annehmen würden.
Yudkowskys häufig zitierte poetische Formulierung lautet sinngemäß: Unsere kohärente extrapolierte Volition sei das, was wir uns wünschen würden, wenn wir mehr wüssten, schneller dächten, mehr die Menschen wären, die wir zu sein wünschten, und gemeinsam weiter gereift wären. Sie liege dort, wo die Extrapolation konvergiert statt zu divergieren, und wo unsere Wünsche kohärieren statt zu interferieren.
CEV ist der einflussreichste metaethische Designvorschlag der frühen AI-Alignment-Diskussion und Grundlage späterer verwandter Konzepte (insbesondere Bostroms indirect normativity). Yudkowsky selbst hat das Konzept fast unmittelbar nach Veröffentlichung als operational unzureichend bezeichnet, ohne es jedoch durch einen ausgearbeiteten Nachfolgevorschlag zu ersetzen.
Zusammenfassung
CEV reagiert auf eine grundlegende Schwierigkeit der frühen Friendly AI-Diskussion. Sind menschliche Werte hochkomplex und gegen Spezifikationsfehler empfindlich (Yudkowskys spätere These der Complexity / Fragility of Value), dann kann eine Friendly AI nicht durch die direkte Eingabe einer Werteliste erzeugt werden.
Stattdessen, so Yudkowskys Vorschlag, müsse die KI selbst die Aufgabe übernehmen, aus dem vorhandenen, gemischten Material menschlicher Präferenzen das zu rekonstruieren, was Menschen unter idealisierten Bedingungen wollen würden – und ihre eigenen Operationen daran ausrichten.
Drei Operationen sind dabei konstitutiv: Extrapolation (Übergang von faktischen zu idealisierten Präferenzen), Kohärenz (Aggregation über die Heterogenität individueller Präferenzen hinweg) und Konvergenz (Anspruch, dass dieser Prozess zu einem stabilen Zielpunkt führt, an dem die idealisierten Volitionen sich weitgehend wechselseitig stützen).
CEV ist zugleich ein metaethischer und ein technischer Vorschlag: metaethisch, indem er eine Konzeption „objektiver” (besser: nicht-arbiträrer) Werte aus subjektiven Präferenzen rekonstruieren will; technisch, indem er eine Architektur skizziert, die diese Rekonstruktion einer KI delegiert.
Die Vorschlagsfigur ist in der Sekundärliteratur ausführlich diskutiert und kritisiert worden; die wesentlichen Einwände betreffen die Konvergenzannahme, die Implementierbarkeit, die Distortionsgefahr und die Frage, wessen Präferenzen extrapoliert werden sollen.
Begriffsgeschichte
Kontext und Vorläufer
CEV entstand im Kontext von Yudkowskys frühem Versuch, das Friendly-AI-Programm konzeptuell zu fundieren. In Creating Friendly AI 1.0 (2001) hatte Yudkowsky einen vorwiegend systemarchitektonischen Vorschlag gemacht; mit CEV verschob er den Schwerpunkt auf die Frage der Wertespezifikation.
Ideengeschichtlich knüpft CEV an mehrere Linien an: – Ideal-Observer-Theorien der angloamerikanischen Metaethik (Roderick Firth 1952): Werte sind das, was ein idealer Beobachter unter idealen Bedingungen approbieren würde.
- Reflective Equilibrium (John Rawls 1971): Werte sind das Ergebnis eines iterativen Abgleichs zwischen Einzelurteilen und systematischen Prinzipien. – Volition in der angelsächsischen Philosophie (Frankfurt, Watson, Lewis): die idealisierte Form des Wollens, im Unterschied zu bloßer Wunscherfüllung.
Yudkowsky 2004
Der Aufsatz Coherent Extrapolated Volition (Singularity Institute for Artificial Intelligence, San Francisco, Mai 2004) hat einen für SIAI-Texte typischen Charakter: essayistisch, dicht, mit zahlreichen rhetorischen Einlassungen, aber ohne formale Implementierungsspezifikation. Der Text enthält die häufig zitierte poetische Formulierung als programmatischen Mittelpunkt und entwickelt um sie herum eine Reihe technischer und politischer Überlegungen.
Selbstdistanzierung
Yudkowsky hat das Konzept fast unmittelbar nach der Veröffentlichung als operational unzureichend bezeichnet. In späteren LessWrong-Beiträgen sowie in Eliezer Yudkowsky on CEV (verschiedene Stellen, ab 2007) verweist er auf erhebliche offene Fragen und auf den eher heuristischen Charakter des Vorschlags.
Ein vollständig ausgearbeitetes Nachfolgekonzept hat er nicht publiziert; die spätere Forschungsrichtung verlagerte sich Richtung Corrigibility, Outer/Inner Alignment und mathematisch fundierte Entscheidungstheorie.
Aufnahme durch Bostrom (2014)
Nick Bostrom widmet in Superintelligence: Paths, Dangers, Strategies (Oxford University Press 2014, Kapitel 13) der Wertespezifikation einen ausführlichen Abschnitt unter dem Begriff indirect normativity.
Bostroms Variante – moral rightness (MR), coherent extrapolated volition (CEV) und Hybridvarianten – übernimmt das Yudkowsky’sche Grundgerüst, ordnet es aber in einen breiteren systematischen Rahmen ein und diskutiert die free parameters (Wahlfreiheiten in der Spezifikation) ausführlicher. Bostroms Behandlung gilt seither als kanonische akademische Referenz für das CEV-Konzept.
Inhalt des Vorschlags
CEV gliedert sich in drei operative Schritte:
Extrapolation
Die Extrapolation bezeichnet den Übergang von gegenwärtigen, faktischen Präferenzen einer Person zu jenen Präferenzen, die diese Person hätte, wenn sie:
- „mehr wüsste”: alle relevanten empirischen Informationen besäße.
- „schneller dächte”: mehr Zeit zur Reflexion und mehr kognitive Kapazität hätte.
- „mehr die Person wäre, die sie zu sein wünschte”: den eigenen moralischen Idealen näher käme.
- „gemeinsam weiter gereift wäre”: in einem mit anderen Menschen geteilten Reflexionsprozess gewachsen wäre.
Yudkowskys häufig zitiertes Beispiel ist die Diamanten-im-Kästchen-Situation: Wenn Fred sich für Kästchen A entscheidet, der Diamant aber in Kästchen B liegt, dann ist es nicht hilfreich, ihm Kästchen A zu reichen – denn was er wirklich will, ist den Diamanten. Die Extrapolation seiner Volition führt zu Kästchen B.
Kohärenz
Die Kohärenz-Operation aggregiert die extrapolierten Volitionen über die Menschheit als Ganzes. Dabei sollen sich Bereiche identifizieren lassen, in denen die individuellen extrapolierten Volitionen kohärieren (also miteinander verträglich sind und sich gegenseitig stützen) und Bereiche, in denen sie interferieren (also einander widersprechen).
Die zentrale Operationsregel lautet: Die KI handelt nur dort, wo Kohärenz vorliegt; wo Volitionen interferieren, lässt sie die Optionen offen.
Yudkowsky betont, dass CEV nicht als demokratische Mehrheitsregel funktioniert: Eine Mehrheit kann sich irren; was zählt, ist die idealisierte Volition, nicht die faktische Stimmenzahl.
Konvergenz
Die Konvergenzthese behauptet, dass der Extrapolations- und Kohärenzprozess tatsächlich zu einem stabilen Zielpunkt führt – dass sich also unter idealisierten Bedingungen ein zureichendes Maß an gemeinsamem Wertewollen herausbildet. Diese These ist die theoretisch heikelste Komponente des Vorschlags; sie ist Gegenstand der wesentlichen Kritik (siehe unten).
Reflexive Klauseln
Drei reflexive Klauseln sichern den Vorschlag gegen bekannte Probleme ab: – „extrapoliert, wie wir wünschen, dass es extrapoliert werde”: Auch der Extrapolationsprozess selbst ist Gegenstand der Volitions-Extrapolation. Wenn Menschen wollen, dass nicht alle Idealisierungsdimensionen vollständig durchgeführt werden, dann wird die KI dies berücksichtigen.
- „interpretiert, wie wir wünschen, dass es interpretiert werde”: Auch die Interpretation der Extrapolation ist Gegenstand der Extrapolation. – „Notausgang”: Das CEV-System soll erkennen können, wenn der Prozess in eine Richtung läuft, die spätere Selbste der Menschheit ablehnen würden („wenn wir später schreien werden, ändern sich die Regeln jetzt”).
Theoretische Einbettung
Verhältnis zur Friendly AI-Tradition
CEV ist innerhalb der Friendly-AI-Tradition Yudkowskys (siehe Creating Friendly AI 2001, Coherent Extrapolated Volition 2004, Complexity of Value 2007ff.) die metaethische Antwort auf das technische Problem der Wertespezifikation.
Sind menschliche Werte hochkomplex und nicht durch einfache Regelangabe beschreibbar, dann besteht die Lösung darin, der KI selbst die Aufgabe der Werterekonstruktion zu übertragen – allerdings unter klaren operativen Vorgaben.
Verhältnis zur Orthogonality Thesis
CEV ist gewissermaßen der konstruktive Versuch, der Orthogonality Thesis zu begegnen. Sind Intelligenz und Endziel logisch unabhängig und führt keine Intelligenz allein zur Wohlmotivierung, dann muss die Wohlmotivierung als Endziel aufgebaut werden – und CEV ist der Vorschlag, dieses Endziel selbst-referenziell zu konstruieren.
Verhältnis zum Paperclip Maximizer
Die Pointe des Paperclip Maximizer-Szenarios ist, dass jede einfache Zielfunktion zu katastrophalen Konsequenzen führen kann. CEV ist genau der Versuch, eine nicht-einfache, sondern reflexiv-extrapolative Zielfunktion zu konstruieren, die sich gegen diese Pathologie immunisiert.
Indirect Normativity (Bostrom 2014)
Bostroms Übernahme als indirect normativity unterscheidet zwischen direkter Werteangabe (eine Liste konkreter Werte) und indirekter Werteangabe (eine Methode zur Bestimmung der Werte). CEV ist die paradigmatische Form indirekter Werteangabe.
Bostrom diskutiert eine Reihe von free parameters: Wer zählt zum Extrapolationskreis (alle Menschen? alle empfindungsfähigen Wesen? auch hypothetische zukünftige Menschen?), wie weit wird extrapoliert, wie wird Kohärenz gemessen, welche Voreinstellungen werden bei Interferenz gewählt.
Kritik
CEV ist seit seiner Veröffentlichung Gegenstand substantieller Kritik aus mehreren Richtungen:
Konvergenz-Einwand
Die zentrale theoretische Schwäche ist die Konvergenzannahme. Robin Hanson (in der Hanson-Yudkowsky AI Foom Debate sowie in mehreren Overcoming Bias-Beiträgen), Wei Dai (LessWrong) und andere haben argumentiert, dass es keine guten Gründe gibt, anzunehmen, dass die extrapolierten Volitionen aller Menschen tatsächlich konvergieren.
Es ist gleich möglich, dass auch unter idealisierten Bedingungen unaufhebbare Wertdifferenzen bestehen bleiben – etwa zwischen unterschiedlichen kulturellen, religiösen, politischen Traditionen. Wenn die Konvergenzannahme falsch ist, fehlt CEV der Boden.
Implementierungsproblem
Yudkowsky selbst hat im Originalaufsatz geschrieben, dass die Implementierung von CEV als „normales Computerprogramm” „tausend Lichtjahre jenseits aussichtslos” sei.
Die Argumentation lautet: CEV erfordert, dass eine KI die idealisierten Präferenzen von Milliarden Menschen modelliert, aggregiert und über einen reflexiven Prozess in eine stabile Zielfunktion überführt. Das ist eine Aufgabe, die formal und rechentechnisch erheblich anspruchsvoller ist als die direkte Spezifikation eines Endziels.
Die spätere AI-Alignment-Forschung hat sich aus diesem Grund weitgehend von CEV als unmittelbarem Implementierungsziel abgewandt.
Distortions-Einwand
Eine zweite Linie der Kritik (entwickelt etwa in dem LessWrong-Beitrag Objections to Coherent Extrapolated Volition von Alexander Kruel/XiXiDu, 2011) argumentiert, dass der Extrapolationsprozess die Werte, die er rekonstruieren soll, verändere statt nur zu entdecken.
Die Idealisierungs-Operatoren (mehr Wissen, mehr Reflexionszeit, höhere kognitive Kapazität) sind selbst nicht wertneutral; was als idealisierte Volition emergiert, hängt von der Wahl der Operatoren ab. Wenn dies stimmt, ist CEV nicht die Rekonstruktion vorhandener menschlicher Werte, sondern die Konstruktion neuer Werte unter einem bestimmten Idealisierungsrahmen – und damit weniger demokratisch fundiert, als der Vorschlag suggeriert.
Inklusions- und Grenzproblem
Wessen Präferenzen werden extrapoliert? Nur die heutigen erwachsenen Menschen? Auch Kinder? Auch zukünftige Menschen? Auch nicht-menschliche empfindungsfähige Wesen (Hunde, C. elegans, KI-Systeme selbst)?
Yudkowsky lässt diese Frage im Originalaufsatz weitgehend offen; Bostroms Behandlung in Superintelligence listet sie als zentralen free parameter. Die Frage ist nicht nur technisch, sondern auch politisch-ethisch: Wer entscheidet, wer in den Extrapolationskreis aufgenommen wird?
Politik- und Pluralismus-Einwand
Eine eigenständige politiktheoretische Kritik wirft CEV vor, eine implizit liberal-westliche Wertkonzeption als universelle Idealisierungsstruktur zu projizieren.
Wenn die Operatoren „mehr wissen” und „schneller denken” in einer bestimmten epistemischen Tradition stehen, ist das Ergebnis möglicherweise mehr eine Universalisierung dieser Tradition als eine genuine Aggregation menschlicher Volitionen. Diese Linie ist in den Critical AI Studies und im posthumanistischen Diskurs (Donna Haraway, Yuk Hui) angedeutet, aber bislang nicht systematisch ausgearbeitet.
Ideologiekritische Einwände
Im Rahmen der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) wird CEV als Element jenes Argumentationskomplexes kritisiert, der die Wertespezifikation einer hypothetischen Superintelligenz zur zentralen ethischen Frage erhebt und damit die konkrete politische Verantwortung gegenwärtiger KI-Entwickler:innen verschiebt.
Selbstkritik aus der Alignment-Forschung
Auch innerhalb der Alignment-Forschung wird CEV heute selten als direkter Implementierungskandidat behandelt.
Stuart Russells Human Compatible-Programm (2019) übernimmt zwar das Grundmotiv (KI soll menschliche Präferenzen lernen, nicht annehmen), verlagert es jedoch in ein invers-reinforcement-learning-Setup (Cooperative Inverse Reinforcement Learning, CIRL), das auf konkret beobachtbares menschliches Verhalten und nicht auf hypothetische Idealisierungen aufbaut. Paul Christianos Approval-Directed Agents-Vorschläge weichen ähnlich von der CEV-Linie ab.
Bedeutung und Nachwirkung
Trotz Yudkowskys früher Selbstdistanzierung ist CEV bis heute der wirkungsmächtigste metaethische Designvorschlag der AI-Alignment-Diskussion. Seine Bedeutung liegt in mehreren Punkten:
- Es ist die kanonische Formulierung der indirect normativity-Strategie – der Versuch, der KI nicht was sie wollen soll, sondern wie sie herausfinden soll, was sie wollen soll vorzugeben.
- Es ist die metaethische Antwort auf die Complexity / Fragility of Value-Argumentation.
- Es hat Bostroms Behandlung in Superintelligence (2014) wesentlich geprägt und damit auch die breite akademische Debatte.
- Es ist die theoretische Grundlage von Roko’s Basilisk: Das Basilisken-Szenario beruht auf der Annahme einer CEV-ähnlich konstruierten Friendly AI mit retroaktiven Sanktionsmöglichkeiten.
CEV bleibt zugleich ein gutes Beispiel dafür, wie ein theoretischer Vorschlag, der weder vollständig ausgearbeitet noch operational tragfähig ist, die Diskussion strukturieren kann. Die heutige Alignment-Forschung verhandelt fast durchgehend Fragen, die in CEV bereits angelegt sind, ohne CEV selbst als Implementierungsziel zu verfolgen.
Verwandte Begriffe
- Nick Bostrom – Urheber der Verallgemeinerung Indirect Normativity
- Eliezer Yudkowsky – Autor von CEV
- Stuart Russell – Vertreter einer alternativen Linie
Quellenangaben
- Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
- Christiano, Paul (2014): Approval-Directed Agents. In: AI Alignment Forum, Dezember 2014.
- Firth, Roderick (1952): Ethical Absolutism and the Ideal Observer. In: Philosophy and Phenomenological Research 12 (3), S. 317–345. DOI: 10.2307/2103988.
- Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
- Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
- Hanson, Robin / Yudkowsky, Eliezer, 2013. The Hanson-Yudkowsky AI-Foom Debate.
- Kruel, Alexander (XiXiDu) (2011): Objections to Coherent Extrapolated Volition. LessWrong, 22. November 2011.
- Müller, Vincent C. (2020): Ethics of Artificial Intelligence and Robotics. In: Stanford Encyclopedia of Philosophy, hrsg. von Edward N. Zalta.
- Rawls, John (1971): A Theory of Justice.
- Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
- Sotala, Kaj / Yampolskiy, Roman V. (2015): Responses to Catastrophic AGI Risk: A Survey. In: Physica Scripta 90 (1). DOI: 10.1088/0031-8949/90/1/018001.
- Tarleton, Nick (2010): Coherent Extrapolated Volition: A Meta-Level Approach to Machine Ethics.
- Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.
- Yudkowsky, Eliezer, 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk.
- Yudkowsky, Eliezer (2007ff.): The Sequences.