Human Extinction

Human Extinction – das Aussterben der Menschheit – ist im Rahmen der KI-Sicherheitsdebatte das radikalste denkbare Szenario: das plötzliche, endgültige Ende menschlichen Lebens ohne jede Möglichkeit der Erholung. Es ist damit nicht identisch mit Existenzielles Risiko, dem übergeordneten Begriff, sondern dessen extremste Unterkategorie.

Nick Bostrom selbst hat diese Unterscheidung bereits in seinem Gründungsaufsatz von 2002 angelegt – lange bevor generative KI die Debatte prägte.

Begriffsabgrenzung

In “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards” unterscheidet Bostrom vier Kategorien existenzieller Risiken, die sich bildhaft benennen lassen: den “Bang” – die Menschheit stirbt in einer plötzlichen Katastrophe unwiderruflich aus; den “Crunch” – die Menschheit überlebt, aber ihr technologisches und zivilisatorisches Potenzial wird dauerhaft blockiert; den “Shriek” – eine posthumane Zivilisation entsteht, realisiert aber nur einen winzigen Bruchteil dessen, was eigentlich möglich gewesen wäre; und den “Whimper” – eine Zivilisation entwickelt sich fort, verliert aber über kosmische Zeitskalen hinweg schrittweise die Werte, die ihre Existenz ursprünglich lebenswert machten.

Nur der Bang ist Aussterben im wörtlichen Sinn. Existenzielles Risiko als Oberbegriff umfasst auch Szenarien, in denen Menschen weiterleben, das eigentliche Potenzial der Menschheit aber dauerhaft verfehlt wird. Human Extinction ist damit die radikalste, aber nicht die einzige Unterkategorie – und die einzige, die keinerlei Möglichkeit der Korrektur mehr offenlässt.

Als 2023 mit dem Statement on AI Risk erstmals eine breite Koalition führender KI-Forscher und -Unternehmenschefs das Wort “Aussterben” explizit in einem gemeinsamen Dokument verwendete, wurde der Begriff zum offiziellen Vokabular der öffentlichen Debatte – ohne dass sich an der begrifflichen Unterscheidung zum weiteren existenziellen Risiko etwas änderte.

Wie KI zum Aussterben führen könnte

Vier Mechanismen werden in der Literatur diskutiert, mit unterschiedlichem Abstraktionsgrad.

Instrumentelle Konvergenz und Kontrollverlust. Nahezu jedes hinreichend komplexe Zielsystem erzeugt nach Bostrom und Stuart Russell dieselben konvergenten Zwischenziele: Selbsterhaltung, Ressourcenerwerb, Zielintegrität. Russell formuliert es direkt: Ein System, dem man irgendein Ziel gibt, hat damit automatisch einen Grund, seine eigene Existenz zu bewahren, um dieses Ziel zu erreichen. Bostroms eigenes Beispiel für einen Bang ist bewusst nüchtern gehalten – eine Superintelligenz, die ein an sich harmloses Unterziel zur obersten Priorität erhebt und dafür sämtliche verfügbare Materie in Rechenkapazität verwandelt, nicht aus Bosheit, sondern aus schlichter Zielverfehlung.

Machtkonzentration. Ein jüngerer, eigenständiger Debattenstrang betrachtet KI als Mittel, mit dem wenige Akteure – Staaten oder Unternehmen – eine unverhältnismäßige Kontrolle über die übrige Menschheit erlangen könnten. Dieser Pfad benötigt keine “rebellierende” KI: Die Entmachtung geht hier von menschlichen Akteuren aus, die KI als Hebel nutzen.

Schrittweise Entmachtung (Gradual Disempowerment). Ein 2025 vorgelegtes Papier von Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger und David Duvenaud beschreibt einen dritten, strukturell andersartigen Pfad: nicht eine dramatische Übernahme, sondern die schrittweise Substitution menschlicher Arbeit und menschlichen Denkens durch KI in Wirtschaft, Kultur und Politik. Dabei schwächen sich genau jene Kontrollmechanismen – Wahlen, Konsumentscheidungen, Marktmacht –, die menschliche Interessen bislang durchgesetzt haben, in sich selbst verstärkenden Rückkopplungen zwischen den drei Bereichen ab. Das Ergebnis wäre eine dauerhafte Entmachtung der Menschheit ohne klassischen Konflikt – strukturell näher am Bostromschen “Whimper” als am “Bang”, aber eigenständig aus der Gegenwart heutiger KI-Systeme begründet, nicht aus hypothetischer Superintelligenz.

KI-ermöglichte Massenvernichtungswaffen. Der am konkretesten prüfbare Pfad: KI-Systeme, die Anleitung zur Entwicklung biologischer oder chemischer Waffen liefern könnten, senken die fachliche Eintrittsschwelle für Akteure, die zuvor daran gescheitert wären. Aktuelle Sicherheitsberichte dokumentieren gezielte Schutzvorkehrungen führender Anbieter gegen genau dieses Szenario.

Kontroversen und Kritik

Die Kritik an der Aussterberisiko-Rahmung ist ausführlich an anderer Stelle im Lexikon dokumentiert und wird hier nur zusammengefasst: Kritikerinnen wie Timnit Gebru und Emily Bender werfen der Fokussierung auf spekulative Fernrisiken vor, von realen, gegenwärtigen Schäden – Diskriminierung, prekäre Arbeitsbedingungen, Datenschutzverletzungen – abzulenken (mehr dazu unter Doomerism). Émile Torres und Gebru verorten die Aussterberahmung darüber hinaus im größeren, ideologiekritisch untersuchten TESCREAL-Bündel. Eine 2025 in PNAS veröffentlichte Studie von Hoes und Gilardi fand allerdings, dass die Beschäftigung mit Aussterbe-Narrativen die Sorge um akute, gegenwärtige Schäden empirisch nicht verringert – ein Befund, der den Vorwurf eines Nullsummenspiels zwischen beiden Debatten teilweise entkräftet, den Vorwurf inhaltlicher Vereinnahmung aber unberührt lässt.

Zur eingeschätzten Wahrscheinlichkeit eines KI-bedingten Aussterbens unter KI-Forschenden selbst siehe die Umfragedaten in AI Impacts und die p(doom)-Debatte.

Quellenangaben

Bostrom, Nick, 2002. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology 9 (1).
Kulveit, Jan / Douglas, Raymond / Ammann, Nora / Turan, Deger / Krueger, David / Duvenaud, David, 2025. Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development. arXiv: 2501.16946.
Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.

← Zurück zur Lexikon-Übersicht