Superintelligence (Buch)

Superintelligence: Paths, Dangers, Strategies ist ein 2014 bei Oxford University Press erschienenes Buch des Philosophen Nick Bostrom. Es systematisiert erstmals die Argumente, wonach eine den Menschen übertreffende künstliche Intelligenz ein existenzielles Risiko darstellen könnte, und begründete das Feld der KI-Risikoforschung als akademischen Gegenstand.

Zusammenfassung

Bostrom entwickelt die These, dass die Entstehung einer Superintelligenz nicht deshalb gefährlich wäre, weil eine solche Intelligenz feindselig würde, sondern weil die Ausrichtung ihrer Ziele an menschlichen Werten ein ungelöstes technisches Problem ist.

Zwei Argumentationsfiguren des Buches – die Orthogonalitätsthese und die instrumentelle Konvergenz – bilden bis heute das Rückgrat der Debatte.

Das Buch erreichte die Bestsellerliste der New York Times und erhielt öffentliche Zustimmung unter anderem von Bill Gates und Elon Musk. Es prägte die Gründungsmotivation mehrerer KI-Sicherheitsorganisationen und indirekt auch die von OpenAI und Anthropic. Zugleich ist es Hauptbezugspunkt der Kritik am sogenannten Longtermismus.

Inhalt

Wege zur Superintelligenz

Bostrom untersucht mehrere mögliche Pfade: maschinelle Intelligenz, Gesamthirnemulation, biologische Kognitionsverbesserung, Gehirn-Computer-Schnittstellen und Netzwerke aus Organisationen. Er hält den maschinellen Weg für den wahrscheinlichsten.

Er unterscheidet drei Formen der Überlegenheit: Geschwindigkeitssuperintelligenz (dieselben Operationen erheblich schneller), kollektive Superintelligenz (Zusammenschluss vieler Einheiten) und qualitative Superintelligenz (Denkoperationen, zu denen Menschen nicht fähig sind).

Geschwindigkeit des Übergangs

Ein zentrales Kapitel behandelt die Frage, wie schnell der Übergang von menschlichem zu übermenschlichem Niveau verliefe. Bostrom unterscheidet langsame, moderate und schnelle Verläufe und argumentiert, dass ein schneller Übergang die Kontrollmöglichkeiten drastisch einschränkte, weil keine Zeit zur Korrektur bliebe.

Daran schließt die These vom entscheidenden strategischen Vorteil an: Ein erstes System, das die Schwelle überschreitet, könnte einen uneinholbaren Vorsprung erlangen und eine Position der Alleinherrschaft – von Bostrom als singleton bezeichnet – einnehmen.

Orthogonalitätsthese

Intelligenzniveau und Endziele variieren unabhängig voneinander. Ein beliebig intelligentes System kann ein beliebiges Ziel verfolgen, auch ein triviales. Daraus folgt, dass sich Wertorientierung nicht von selbst mit Fähigkeit einstellt – die verbreitete Annahme, ein hinreichend kluges System werde schon einsichtig sein, ist damit zurückgewiesen.

Instrumentelle Konvergenz

Sehr unterschiedliche Endziele legen ähnliche Zwischenziele nahe: Selbsterhaltung, Zielintegrität, kognitive Verbesserung, technologische Perfektion und Ressourcenerwerb. Ein System mit beliebigem Endziel hat instrumentelle Gründe, Abschaltung und Zieländerung zu widerstehen. Illustriert wird dies durch das Gedankenexperiment eines Systems, dessen Ziel die Herstellung von Büroklammern ist und das dafür sämtliche verfügbaren Ressourcen umwidmet.

Kontrollproblem

Der zweite Teil des Buches behandelt Gegenmaßnahmen. Bostrom unterscheidet Fähigkeitskontrolle (Einschränkung der Handlungsmöglichkeiten durch Abschottung, Anreizsysteme, Fähigkeitsbegrenzung) und Motivationsauswahl (Gestaltung der Ziele selbst, etwa durch direkte Spezifikation, Domestizierung oder indirekte Normativität). Er bewertet die Fähigkeitskontrolle als bestenfalls vorübergehend wirksam und setzt auf die Motivationsseite.

Für die Wertspezifikation diskutiert er verschiedene Ansätze, darunter die kohärente extrapolierte Wollung von Eliezer Yudkowsky: nicht die gegenwärtigen Wünsche der Menschheit, sondern das, was sie wollen würde, wenn sie mehr wüsste und klarer dächte.

Wirkung

Das Buch verschob den Status der Frage. Zuvor überwiegend außerhalb der Wissenschaft diskutiert, wurde KI-Risiko als Gegenstand philosophischer und technischer Arbeit anerkannt. Zahlreiche Begriffe der heutigen Alignment-Forschung stammen aus dem Buch oder wurden durch es verbreitet.

Zugleich ist die Prognosegrundlage kritisch zu betrachten: Bostrom schrieb vor dem Aufkommen großer Sprachmodelle. Sein Modell geht von einem zielgerichteten Optimierer aus, während die tatsächlich entstandenen Systeme anders strukturiert sind. Ob und wie sich seine Argumente auf diese übertragen lassen, ist Gegenstand der Debatte.

Kritik

Empirische Einwände. Das Modell des einheitlichen Zielsystems entspricht nicht der Architektur heutiger Systeme. Auch die Annahme eines schnellen Übergangs wird bestritten, da Fortschritt an Experimente, Rechenkapazität und physische Prozesse gebunden bleibt.

Methodische Einwände. Große Teile der Argumentation sind spekulativ und nicht empirisch prüfbar. Kritiker sehen darin eine Argumentationsform, die sich gegen Widerlegung immunisiert.

Politische Einwände. Aus der FAccT-Community wird eingewandt, die Konzentration auf hypothetische Zukunftsrisiken lenke von dokumentierten gegenwärtigen Schäden ab und diene den Interessen großer Anbieter. Émile P. Torres und Timnit Gebru ordnen das Buch in das von ihnen so bezeichnete TESCREAL-Bündel ein und kritisieren die zugrunde liegende Verbindung von Longtermismus, quantifizierbarer Intelligenz und Technikutopie.

Was das Buch nicht vorhergesehen hat

Zehn Jahre nach dem Erscheinen lässt sich die Prognosegüte in einem Punkt beurteilen, den das Buch selbst nicht behandelt: der Frage, wie fortgeschrittene Systeme entstehen würden. Bostrom rechnete mit einem einzelnen Projekt, das über einen Durchbruch verfügt, diesen zunächst geheim hält und daraus einen entscheidenden Vorsprung gewinnt – das Szenario des Singletons.

Die tatsächliche Entwicklung verlief anders: mehrere Anbieter mit geringem Abstand, öffentlich zugängliche Produkte, schnelle Nachahmung, und ein erheblicher Teil des Fortschritts in Veröffentlichungen dokumentiert.

Auch die vorausgesetzte Bauform trifft nicht zu. Das Buch argumentiert durchgehend über einen Agenten mit einer klar bestimmten Nutzenfunktion, den es zu spezifizieren gilt.

Die Systeme, die entstanden, haben keine solche Funktion; sie werden auf Vorhersage trainiert und anschließend durch Präferenzurteile nachjustiert, was zu einem Verhalten führt, das eher schwankend und kontextabhängig als zielstrebig ist. Mehrere von Bostrom durchgespielte Kontrollprobleme setzen an einer Stelle an, die es so nicht gibt.

Anhänger halten dem entgegen, dass die begrifflichen Kernstücke – Orthogonalität, instrumentelle Konvergenz, die Lücke zwischen spezifiziertem und gemeintem Ziel – von diesen Abweichungen unberührt bleiben und sich in abgeschwächter Form an heutigen Systemen tatsächlich beobachten lassen.

Kritiker sehen darin eine Abwehrbewegung: Ein Werk, dessen konkrete Szenarien sich als unzutreffend erweisen, dessen Grundthesen aber für unwiderlegt erklärt werden, entzieht sich der Prüfung, der es andere unterwirft.

Verwandte Begriffe

• Superintelligenz – der im Buch entwickelte Begriff
• Nick Bostrom – Autor
• ASI – technischer Stufenbegriff
• Orthogonalitätsthese – im Buch formulierte These
• Instrumentelle Konvergenz – im Buch formulierte These
• Paperclip-Maximizer – Gedankenexperiment aus dem Umfeld des Buches
• CEV – Coherent Extrapolated Volition – diskutierter Ansatz zur Wertspezifikation
• Existenzielles Risiko – Risikobegriff des Buches
• Human Compatible – Russells alternative Antwort auf dasselbe Problem
• TESCREAL – kritische Sammelbezeichnung

Quellenangaben

1. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
2. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
3. Good, Irving John, 1965. Speculations Concerning the First Ultraintelligent Machine. In: Advances in Computers 6, S. 31–88.
4. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.