The Sequences

The Sequences ist eine Reihe von etwa sechshundert Blogbeiträgen, die Eliezer Yudkowsky zwischen 2006 und 2009 verfasste. Sie behandeln Wahrscheinlichkeitstheorie, kognitive Verzerrungen, Wissenschaftstheorie und Entscheidungstheorie und gelten als Gründungstext der Rationalisten-Community.

Zusammenfassung

Die Beiträge erschienen zunächst auf Overcoming Bias, ab 2009 auf der eigens gegründeten Plattform LessWrong. 2015 wurden sie unter dem Titel Rationality: From AI to Zombies als Buch zusammengefasst.

Das erklärte Ziel ist eine Anleitung zum richtigen Denken: Wie kommt man zu Überzeugungen, die der Wirklichkeit entsprechen, und wie erkennt man die Fehler, denen man dabei erliegt?

Der Weg dorthin führt über die bayessche Wahrscheinlichkeitstheorie als Maßstab, über die Forschung zu kognitiven Verzerrungen als Fehlerkatalog und über die Evolutionspsychologie als Erklärung dafür, warum diese Fehler auftreten.

Für die KI-Debatte ist die Reihe erheblich, weil sie das Denkgebäude bereitstellte, in dem ein erheblicher Teil der Sorge um fortgeschrittene KI formuliert wurde – und weil die daraus entstandene Gemeinschaft Personal und Begriffe für dieses Feld hervorbrachte.

Begriffsgeschichte

Yudkowsky schrieb die Beiträge zunächst auf Overcoming Bias, einem Blog, den er mit dem Ökonomen Robin Hanson betrieb. Die Beiträge erschienen nahezu täglich über mehrere Jahre.

Die Motivation war instrumentell. Yudkowsky wollte über KI-Risiken schreiben und fand, dass ihm dafür die Voraussetzungen fehlten: Seine Leser teilten nicht die Denkweise, die seine Argumente verständlich gemacht hätte. Die Sequences sind der Versuch, diese Voraussetzungen erst zu schaffen.

2009 wurde LessWrong gegründet, um der wachsenden Leserschaft eine eigene Plattform zu geben. Die Sequences bildeten dort den Kanon, auf den sich spätere Beiträge beziehen.

Aus dieser Gemeinschaft gingen Organisationen hervor – das MIRI, das Center for Applied Rationality – und personelle Verbindungen in den Effektiven Altruismus und in die Frontier-Labore.

Die Buchfassung von 2015 ordnete das Material neu und machte es außerhalb der Plattform zugänglich.

Methodische Grundlagen

Bayessche Wahrscheinlichkeit als Maßstab. Überzeugungen werden als Grade der Zuversicht behandelt, die sich bei neuen Belegen nach einer Regel ändern. Wer stärker oder schwächer aktualisiert als diese Regel verlangt, denkt falsch.

Verzerrungen als Fehlerkatalog. Die Reihe stützt sich auf die Forschung von Daniel Kahneman und Amos Tversky. Die dort beschriebenen Abweichungen dienen als Liste dessen, worauf zu achten ist.

Überzeugungen müssen sich auszahlen. Ein wiederkehrendes Motiv: Eine Überzeugung, die keinen Unterschied macht für das, was man erwartet, ist keine Überzeugung. Wetten dienen als Prüfstein der Ernsthaftigkeit.

Reduktionismus. Begriffe wie Bewusstsein, freier Wille oder Wahrheit werden auf Vorgänge zurückgeführt, die sich beschreiben lassen. Die Reihe behandelt philosophische Streitfragen überwiegend als Verwirrungen der Begriffsverwendung.

Erzählform. Ein erheblicher Teil besteht aus Geschichten, Dialogen und Gedankenexperimenten statt aus Argumenten in Aufsatzform – eine bewusste Entscheidung für Anschaulichkeit.

Anwendungsfelder

Gemeinschaftsbildung. Die Reihe schuf einen gemeinsamen Wortschatz. Begriffe wie Steelmanning, Inferential Distance oder Motte and Bailey zirkulieren inzwischen weit über ihren Ursprung hinaus.

Vorbereitung der KI-Sicherheitsdebatte. Die zentralen Figuren der Alignment-Diskussion – Orthogonalitätsthese, instrumentelle Konvergenz, das Problem der Zielspezifikation – wurden hier vorbereitet.

Personelle Wirkung. Ein auffälliger Teil der heute in der KI-Sicherheit Tätigen kam über diese Texte zum Thema.

Prognosepraxis. Die Betonung von Kalibrierung und Wetten prägte eine Praxis öffentlicher, überprüfbarer Vorhersagen, die über die Gemeinschaft hinaus Wirkung entfaltet hat.

Kontroversen und Kritik

Umgang mit der Fachliteratur. Ein häufiger Einwand: Philosophische und wissenschaftliche Positionen werden referiert, ohne die einschlägige Literatur zu nennen. Streitfragen erscheinen als gelöst, obwohl sie in den Fächern offen sind.

Autodidaktische Autorität. Yudkowsky hat keine formale Ausbildung in den Fächern, über die er schreibt. Verteidiger halten das für unerheblich, Kritiker sehen darin die Ursache der ersten Schwäche.

Ton und Gestus. Die Reihe unterscheidet durchgehend zwischen denen, die richtig denken, und denen, die es nicht tun. Diese Rahmung hat der Gemeinschaft den Vorwurf eingetragen, eine Binnenkultur der Überlegenheit zu pflegen.

Verzerrungsforschung unter Vorbehalt. Ein erheblicher Teil der Befunde, auf die sich die Reihe stützt, ist in der Replikationskrise der Psychologie fraglich geworden. Der Fehlerkatalog steht damit auf schwankendem Grund.

Weltanschaulicher Charakter. Aus der TESCREAL-Kritik wird eingewandt, es handle sich weniger um eine Denkschule als um eine Weltanschauung mit eigenem Kanon, eigener Gemeinschaft und eigener Eschatologie.

Selbstkritik von innen. Auch innerhalb der Gemeinschaft wird eingeräumt, dass die versprochene Verbesserung des Denkens sich empirisch schwer nachweisen lässt – Kalibrierungsübungen bessern Kalibrierung, nicht allgemein die Urteilskraft.

Was der Umweg über die Denklehre bezweckte

Bemerkenswert an den Sequences ist ihre Entstehungsgeschichte: Jemand wollte über eine bestimmte Gefahr schreiben und verbrachte stattdessen drei Jahre damit, eine Denklehre zu verfassen.

Die Begründung dafür ist ein Begriff aus der Reihe selbst: die Inferenzdistanz. Ein Argument ist nur verständlich, wenn die Zwischenschritte beim Gegenüber schon vorhanden sind. Fehlen sie, wirkt der Schluss nicht falsch, sondern verrückt.

Yudkowsky hielt seine Argumente zu KI-Risiken für so beschaffen. Sie setzen eine bestimmte Haltung zu Wahrscheinlichkeit, zu Zielen und zur Verlässlichkeit der eigenen Intuition voraus – und ohne diese Haltung landen sie als Science-Fiction.

Der Umweg war insofern erfolgreich: Es entstand eine Leserschaft, in der die Argumente ankamen. Er hatte allerdings einen Preis, der bis heute wirkt.

Denn was entstand, war nicht bloß Publikum, sondern eine Gemeinschaft mit eigenem Wortschatz, eigenen Autoritäten und einem eigenen Verhältnis zur Fachwelt. Die Argumente zur KI-Sicherheit tragen diese Herkunft mit sich – und werden außerhalb der Gemeinschaft nicht selten wegen ihrer Herkunft abgelehnt, statt an ihrem Gehalt geprüft zu werden.

Quellenangaben

Kahneman, Daniel (2011): Thinking, Fast and Slow.
Yudkowsky, Eliezer (2015): Rationality: From AI to Zombies.
Yudkowsky, Eliezer (2006–2009): The Sequences. Beitragsreihe auf Overcoming Bias und LessWrong. lesswrong.com
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.