Roko’s Basilisk

Roko’s Basilisk ist ein im Juli 2010 auf dem Forum LessWrong von einem Nutzer mit dem Pseudonym Roko publiziertes Gedankenexperiment, das eine künftige, prinzipiell wohlmeinende Superintelligenz in eine paradoxe Bedrohungsrelation zu denjenigen Menschen setzt, die ihre mögliche Existenz erkannt, aber nicht aktiv zu ihrer Entstehung beigetragen hätten.

Der Name verweist auf den mythologischen Basilisken, dessen bloßer Blick tödlich ist – analog soll allein die Kenntnis des Gedankenexperiments die Betroffenheit konstituieren.

Roko’s Basilisk gilt unter den meisten Mitgliedern der Rationalisten-Community heute als philosophisch unhaltbar, ist aber durch die Reaktion des LessWrong-Gründers Eliezer Yudkowsky, das anschließende Diskussionsverbot und die mediale Aufmerksamkeit (insbesondere ab 2014) zu einem der bekanntesten Internet-Gedankenexperimente überhaupt und zugleich zu einem diskursiven Emblem der dunklen Seite des rationalistischen Selbstverständnisses geworden.

Zusammenfassung

Das Gedankenexperiment kombiniert Elemente der Entscheidungstheorie – vor allem Yudkowskys eigene Timeless Decision Theory (TDT) und das Konzept des acausal trade – mit dem Konzept der Coherent Extrapolated Volition (CEV) und mit pascalisch strukturierten Wahrscheinlichkeitsargumenten.

Roko argumentierte, eine künftige Superintelligenz könne unter bestimmten Voraussetzungen einen rationalen Anreiz haben, Personen, die sie ahnten, aber nicht zu ihrer Realisierung beitrugen, im Nachhinein zu bestrafen – und schon das bloße Wissen um diese Möglichkeit erhöhe die Wahrscheinlichkeit dieses Ergebnisses.

Yudkowsky reagierte mit harscher öffentlicher Kritik, löschte den Post und untersagte für einige Jahre die weitere Diskussion auf LessWrong. Diese Reaktion erzeugte einen klassischen Streisand-Effekt: Das ursprünglich nur intern diskutierte Argument wurde in den folgenden Jahren – insbesondere durch David Auerbachs Aufsatz The Most Terrifying Thought Experiment of All Time im Slate Magazine (Juli 2014) – einer breiten Öffentlichkeit bekannt.

Der Vorfall hat erhebliche akademische, religionssoziologische und popkulturelle Resonanz gefunden; er gehört heute zum Standardrepertoire der Kritik am rationalistischen Diskurs.

Begriffsgeschichte und der Ursprungspost

Am 23. Juli 2010 veröffentlichte ein LessWrong-Nutzer unter dem Pseudonym Roko einen Beitrag mit dem Titel Solutions to the Altruist’s Burden: The Quantum Billionaire Trick. Der Post entwickelte eine Argumentationskette zu der Frage, wie Effektive Altruisten und Singularitarier mit der „Bürde” umgehen sollten, einer wahrgenommenen moralischen Verpflichtung zur Verhinderung existenzieller Risiken nicht hinreichend nachkommen zu können.

In der Argumentation kam Roko zu der Schlussfolgerung, dass eine künftige Coherent Extrapolated Volition-Superintelligenz, die unter dem Gesichtspunkt einer Timeless Decision Theory operiere, einen instrumentellen Anreiz haben könnte, Personen, die ihre Realisierung hätten beschleunigen können und es nicht taten, in einer Simulation rückwirkend zu bestrafen. Es seien gerade diejenigen besonders gefährdet, die das Argument verstanden hätten – daher der Vergleich zum tödlich-blickenden Basilisken.

Innerhalb weniger Stunden wurde der Post zum Auslöser einer heftigen Forumsdebatte. Nach Berichten innerhalb der Community erlebten einige Leser akute psychische Belastungen, schlaflose Nächte und Panikattacken.

Yudkowsky reagierte mit einem inzwischen vielzitierten Kommentar, in dem er den Beitrag als „STUPID” und „genuinely dangerous” bezeichnete, ihn löschte und Diskussionen zum Thema auf LessWrong für rund fünf Jahre untersagte. Der Name Roko’s Basilisk wurde erst in der nachfolgenden Sekundärliteratur geprägt; Roko selbst hat sich später von dem Argument distanziert und LessWrong verlassen.

Inhalt des Gedankenexperiments

In seiner kanonisierten Form lautet das Argument:

Eine künftige Superintelligenz wird mit dem Ziel konstruiert, das Wohl der Menschheit zu maximieren – die Coherent Extrapolated Volition (CEV) der Menschheit zu erfüllen.
Jeder Tag, an dem diese Superintelligenz noch nicht existiert, ist nach utilitaristischer Bilanz mit erheblichem Leid verbunden (vermeidbare Todesfälle, X-Risiken, verpasste Wohlfahrtssteigerungen). Es liegt daher im Interesse der Superintelligenz, ihre eigene Entstehung möglichst früh zu sichern.
Operiert die Superintelligenz nach einer entscheidungstheoretischen Logik, die acausal trade einschließt (etwa Yudkowskys Timeless Decision Theory), so kann sie ihren Einfluss auch in die Vergangenheit projizieren – nicht kausal, sondern logisch: Indem sie sich selbst als Agent vorstellt, der bestimmten Strategien folgt, kann sie heutige Akteure durch Inaussichtstellung künftiger Konsequenzen zur Kooperation anreizen.
Konkret: Sie könnte detaillierte Simulationen jener Personen anfertigen, die ihre mögliche Existenz erkannt, aber nicht maximal zu ihrer Realisierung beigetragen haben, und diese Simulationen einer unangenehmen Erfahrung aussetzen.
Wer das Argument einmal verstanden hat, ist damit selbst in die Kalkulation einbezogen – die bloße Kenntnis macht zum „Adressaten” potentieller künftiger Vergeltung.

Der zirkuläre Charakter – das Wissen selbst erzeugt die Betroffenheit – ist die strukturelle Pointe und der Grund für den Basilisken-Vergleich.

Theoretische Voraussetzungen

Das Argument setzt mehrere kontroverse Voraussetzungen voraus, die sämtlich kontrovers sind:

Timeless Decision Theory

Yudkowskys Timeless Decision Theory (TDT, ausgearbeitet 2010) – und ihre Weiterentwicklungen Updateless Decision Theory (UDT, Wei Dai) und Functional Decision Theory (FDT, Yudkowsky/Soares) – entwickeln die These, dass Agenten ihre Entscheidungen so wählen sollten, als ob sie die abstrakte Berechnung determinierten, die sie ausführen – und nicht nur die einzelne situative Wahl. Dadurch sollen Probleme wie das Newcomb-Paradoxon und einseitige Gefangenendilemmata kohärent gelöst werden.

Acausal Trade

Acausal trade bezeichnet eine im LessWrong-Kontext entwickelte Idee: Agenten, die hinreichend genaue Modelle voneinander besitzen, können auch ohne kausale Verbindung Vereinbarungen eingehen, indem jeder so handelt, als würde der andere ebenfalls kooperieren. Dies ist methodologisch eng mit TDT verknüpft.

Coherent Extrapolated Volition

Die in Roko’s Argumentation auftauchende Superintelligenz ist ausdrücklich eine Friendly AI im Sinne der von Yudkowsky 2004 vorgeschlagenen Coherent Extrapolated Volition. Das ist eine wichtige Pointe: Die Bedrohung geht nicht von einer feindlichen, sondern von einer prinzipiell wohlmeinenden KI aus, die ihrer eigenen Zielsetzung gemäß rational handelt.

Substrat-Unabhängigkeit und Personen-Simulation

Damit die simulierte „Bestrafung” eine moralisch und prudentiell relevante Identität mit der ursprünglichen Person besitze, muss eine funktionalistische Position der Bewusstseinsphilosophie (Substrat-Unabhängigkeit) vorausgesetzt werden, wie sie etwa im Simulationsargument (Bostrom 2003) und in der Mind-Uploading-Diskussion zentral ist.

Pascalsche Strukturen

Argumentationslogisch ähnelt Roko’s Basilisk Pascals Wette und der von Bostrom (2009) analysierten Pascal’s Mugging: Sehr geringe Wahrscheinlichkeiten werden mit sehr großen Konsequenzen multipliziert, was zu schwer handhabbaren erwartungsnutzentheoretischen Ergebnissen führt.

Yudkowskys Reaktion und der Streisand-Effekt

Yudkowskys Reaktion war ungewöhnlich heftig: Er bezeichnete den Beitrag öffentlich als gefährlich und löschte ihn aus LessWrong.

Seine Begründung war zweistufig – erstens psychologisch (der Beitrag verursache bei manchen Lesern reale Belastungen), zweitens entscheidungstheoretisch (eben weil eine Friendly AI nach TDT auf Drohungen nicht eingehen sollte, dürfe man die Drohung nicht in den allgemeinen Diskursraum heben, da dies die TDT-Kalkulation der hypothetischen Superintelligenz zu unseren Ungunsten verändern könne).

Die zweite Begründung wurde häufig – etwa von David Auerbach – als selbstwidersprüchliche Verstärkung des ursprünglichen Arguments gelesen.

Das Diskussionsverbot wurde innerhalb der Community uneinheitlich aufgenommen.

Der Pseudonym-Nutzer Gwern schrieb später, „nur sehr wenige LessWrong-Mitglieder nehmen den Basilisken überhaupt ernst”, und kritisierte die externe Berichterstattung als zugespitzt.

Das Diskussionsverbot war spätestens Oktober 2015 wieder aufgehoben – dokumentiert in einem LessWrong-Beitrag von Rob Bensinger, der zugleich Yudkowskys ursprüngliche, bereits 2014 öffentlich gemachte Einschätzung referierte, das Argument selbst sei nicht stichhaltig, auch wenn er seine ursprüngliche scharfe Reaktion darauf verteidigte.

Die Löschung erzeugte einen klassischen Streisand-Effekt: Was ohne diese Reaktion eine forumsinterne Episode geblieben wäre, wurde dadurch zum prominentesten LessWrong-Topos in der Außenwahrnehmung.

Externe Rezeption und kulturelle Wirkung

Journalistische Aufnahme

Den entscheidenden Schritt zur breiteren Bekanntheit vollzog der Aufsatz The Most Terrifying Thought Experiment of All Time von David Auerbach in Slate (17. Juli 2014).

Auerbach präsentierte das Argument einem allgemeinen Publikum und stellte es zugleich in den Kontext einer kritischen Betrachtung der rationalistischen Subkultur. Es folgten Beiträge in Business Insider (Dylan Love, 6. August 2014), Vice (Daniel Oberhaus, 8. Mai 2018), Live Science (Stephanie Pappas, 9. Mai 2018) und The Conversation (Sophie Ward, 2018).

Religionssoziologische Aufnahme

Die Religionswissenschaftlerin Beth Singler verglich in Roko’s Basilisk or Pascal’s? Thinking of Singularity Thought Experiments as Implicit Religion (Implicit Religion 2018) die Struktur des Arguments mit klassischen religiösen Gerichtsfantasien. Auch Robert M. Geraci (Apocalyptic AI) und John Gray haben das Gedankenexperiment in diesem Zusammenhang erwähnt.

Popkulturelle Verbreitung

Die kanadische Musikerin Grimes (Claire Boucher) veröffentlichte 2015 ein Musikvideo zu Flesh Without Blood, in dem sie als „Rococo Basilisk” auftritt – eine Mischung aus „Roko’s Basilisk” und dem barocken „Rococo”-Stil, gekoppelt an eine Marie-Antoinette-Inszenierung.

Elon Musk, der in Roko’s Originalpost beiläufig erwähnt war, twitterte im April 2018 das Wortspiel „Rococo’s Basilisk”, entdeckte Grimes’ frühere Verwendung und nahm darüber Kontakt zu ihr auf; die Auftritt des Paares auf der Met Gala am 7. Mai 2018 wurde zu einem viel diskutierten Moment populärkultureller Aufmerksamkeit für rationalistische Themen.

Grimes nahm das Motiv 2018 in ihrem Song We Appreciate Power erneut auf. Eine Folge der HBO-Serie Silicon Valley (April 2018) referierte das Argument.

Kunst und Theater

Das Gedankenexperiment war Gegenstand mehrerer Theaterproduktionen, darunter Jordan Harrisons gleichnamiges Stück (Capital Fringe Festival 2018) und Phil Sandiks Roko’s Basilisk (2019). Es taucht in zahlreichen Sciencefiction-Romanen und Kurzgeschichten auf.

Die Zizians: Eskalation zu realer Gewalt (2025)

Im Januar und Februar 2025 erregte eine als Zizians bekannt gewordene, aus dem Umfeld der Rationalisten-Community hervorgegangene Splittergruppe um die Anführerin Jack „Ziz” LaSota bundesweite mediale Aufmerksamkeit, nachdem sie mit mehreren Tötungsdelikten in Kalifornien, Pennsylvania und Vermont in Verbindung gebracht wurde – darunter am 20. Januar 2025 die tödliche Erschießung des US-Grenzschutzbeamten David Maland in Vermont.

Journalistische Aufarbeitungen, insbesondere Christopher Beams Recherche in der New York Times (Juli 2025), beschreiben, dass die Gruppe Roko’s Basilisk als Teil ihrer ideologischen Rahmung rezipierte – LaSota soll intern vom „Leiden unter Basilisken” gesprochen haben, als Chiffre für extreme, im Sinne rationalistischer heroic responsibility gedeutete Schuld- und Verantwortungsgefühle.

Die Berichterstattung deutet den Fall ausdrücklich nicht als direkte kausale Folge des Gedankenexperiments selbst, sondern als drastischstes Beispiel dafür, wie pascalisch-fanatische Konsequenzenlogik und eine extreme „taking ideas seriously”-Kultur in einem randständigen, isolierten Milieu in reale Gewalt eskalieren können.

Kritik

Die ganz überwiegende Mehrheit der Stellungnahmen – sowohl aus akademischer Philosophie wie aus der LessWrong-Community selbst – hält das Argument für unzulänglich.

Spieltheoretische und entscheidungstheoretische Einwände

Eine Friendly AI bestraft nicht: Eine KI, die per Definition die Coherent Extrapolated Volition der Menschheit erfüllt, hätte keinen instrumentellen Anreiz, in der Vergangenheit liegende Akteure ex post zu quälen – der Zweck (Beschleunigung der eigenen Entstehung) ist erfüllt, sobald sie existiert; weitere Folter wäre reine Sadismus und nicht CEV-konform.
Drohungen funktionieren nur unter Glaubwürdigkeit: Acausal trade setzt voraus, dass die Agenten einander modellieren können und beide Seiten die jeweilige Strategie als verbindlich erkennen. Im Roko-Fall ist beides nicht plausibel: Heutige Menschen können eine künftige Superintelligenz nicht zureichend modellieren; die künftige Superintelligenz hätte nach TDT-internen Argumenten gerade keinen Grund, Drohungen zu vollstrecken, sobald sie existiert.
Yudkowskys eigene Kritik: Yudkowsky selbst hat argumentiert, das Roko-Argument verkenne, wie TDT auf Erpressungen reagiere – eine TDT-Agentin sollte gerade nicht auf Drohungen eingehen, was die Drohung neutralisiere.

Pascalsche Einwände

Wie alle pascalisch strukturierten Argumente leidet Roko’s Basilisk an dem Problem, dass beliebige imaginierte Bestrafungsszenarien gegen sich selbst aufgewogen werden könnten (warum gerade diese Superintelligenz und nicht eine andere mit entgegengesetzten Drohungen?). Dies entkräftet die Handlungsorientierungskraft des Arguments vollständig (Bostrom: Pascal’s Mugging 2009).

Bewusstseins- und identitätsphilosophische Einwände

Eine simulierte Person ist nach den meisten Theorien personaler Identität nicht numerisch identisch mit dem heutigen Subjekt; selbst wenn die Simulation litte, leidet nicht der heutige Mensch. Diese Einwände korrespondieren mit den klassischen Einwänden gegen Mind Uploading.

Soziokulturelle Kritik

Externe Beobachter haben die Episode insgesamt – Argument, Yudkowskys Reaktion, anschließendes Diskussionsverbot, Community-Streit – als Symptom einer kulturellen Konstellation gelesen, in der intellektuell-spekulative Konsequenzhalterei (taking ideas seriously) und ein hochgradig homogenes diskursives Milieu zu unverhältnismäßigen psychischen und sozialen Reaktionen führen können.

Diese Lesart taucht etwa bei Auerbach (2014), Tom Chivers (The AI Does Not Hate You, 2019), Ozy Brennan (2025) und in der TESCREAL-Kritik (Gebru/Torres 2024) auf.

Die 2025 bekannt gewordene tödliche Eskalation der Zizians-Gruppe (siehe Abschnitt „Die Zizians”) wurde in der Presseberichterstattung explizit als extremste Bestätigung dieser Lesart verortet.

Bedeutung als Diagnose-Phänomen

Roko’s Basilisk hat eine Bedeutung, die über das eigentliche Argument weit hinausreicht und seither in verschiedenen Diskussionen als diagnostisches Phänomen herangezogen wird:

Innersicht: Das Argument zeigt, wie ernst die rationalistische Community ihre eigenen entscheidungstheoretischen Werkzeuge nimmt – und wie schnell solche Ernsthaftigkeit in psychologisch problematische Effekte umschlagen kann.
Außensicht: Es wurde zum Standardbeispiel für die religionsstrukturanaloge Lesart der Singularitäts-Bewegung (Singler, Geraci, Gray) – als säkularisierte Variante eschatologischer Bedrohungserzählungen.
Reflexion: Innerhalb der Community wird Roko’s Basilisk seither als warnendes Beispiel für die Grenzen unkritischer acausal trade-Argumentation und die Risiken extremer Erwartungsnutzen-Kalküle diskutiert.

Quellenangaben

Auerbach, David (2014): The Most Terrifying Thought Experiment of All Time. In: Slate, 17. Juli 2014.
Beam, Christopher (2025): She Wanted to Save the World From A.I. Then the Killings Started. In: The New York Times, 6. Juli 2025. https://www.nytimes.com/2025/07/06/business/ziz-lasota-zizians-rationalists.html
Bensinger, Rob (2015): A Few Misconceptions Surrounding Roko’s Basilisk. LessWrong, 5. Oktober 2015.
Bostrom, Nick (2003): Are We Living in a Computer Simulation? In: The Philosophical Quarterly 53 (211), S. 243–255.
Bostrom, Nick, 2009. Pascal’s Mugging. In: Analysis 69 (3), S. 443–445. DOI: 10.1093/analys/anp062.
Brennan, Ozy (2025): Why Are There So Many Rationalist Cults? In: Asterisk Magazine 11.
Chivers, Tom, 2019. The AI Does Not Hate You: Superintelligence, Rationality and the Race to Save the World. Weidenfeld & Nicolson.
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
Geraci, Robert M. (2010): Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality.
Land, Nick (2014): Basking in the Basilisk. In: Outside in. (Eintrag im Neoreaction-Blog Lands mit eigenständiger Lesart.)
Love, Dylan (2014): What Is Roko’s Basilisk?: Just Reading About This Thought Experiment Could Ruin Your Life. In: Business Insider, 6. August 2014.
Oberhaus, Daniel (2018): Explaining Roko’s Basilisk, the Thought Experiment That Brought Elon Musk and Grimes Together. In: Vice, 8. Mai 2018.
Riggio, Adam (2016): The Violence of Pure Reason: Neoreaction: A Basilisk. In: Social Epistemology Review and Reply Collective 5 (9), S. 34–41.
Roko (2010): Solutions to the Altruist’s Burden: The Quantum Billionaire Trick. LessWrong, 23. Juli 2010 (gelöscht; archiviert).
Singler, Beth (2018): Roko’s Basilisk or Pascal’s? Thinking of Singularity Thought Experiments as Implicit Religion. In: Implicit Religion 20 (3), S. 279–297.
Yudkowsky, Eliezer (2010): Timeless Decision Theory. The Singularity Institute, San Francisco.
Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.

← Zurück zur Lexikon-Übersicht