Existenzielles Risiko (englisch existential risk, kurz X-Risk) bezeichnet in der philosophischen und insbesondere der futurologischen Risikoforschung ein Risiko, dessen Eintreten entweder die vorzeitige Auslöschung der erdgebundenen intelligenten Lebensformen oder die dauerhafte und drastische Zerstörung ihres langfristigen Entfaltungspotenzials zur Folge hätte.
Der Begriff stammt vom schwedischen Philosophen Nick Bostrom, wurde durch die Arbeit des Oxforder Future of Humanity Institute (2005–2024) systematisiert und ist heute ein zentraler Bezugspunkt der Debatten um KI-Sicherheit, Biosicherheit und Longtermism.
Zusammenfassung
Bostrom führte den Begriff 2002 in dem Aufsatz Existential Risks: Analyzing Human Extinction Scenarios ein und schärfte ihn 2013 in Existential Risk Prevention as Global Priority weiter.
Der Begriff grenzt sich von „globalen Katastrophenrisiken” dadurch ab, dass nicht das bloße Ausmaß eines Schadens, sondern die Irreversibilität des Verlustes für die langfristige Entwicklung der Menschheit das definitorische Merkmal bildet.
Toby Ords Buch The Precipice (2020) systematisierte die Risikoquellen – Naturrisiken (Asteroideneinschlag, Supervulkane), anthropogene Risiken (Atomkrieg, Klimawandel im Extrembereich) und emergente Risiken (fehlausgerichtete KI, gentechnisch veränderte Pathogene). Zugleich prägte es das Bild der gegenwärtigen Epoche als „Precipice” (Klippenkante), in der die destruktive Kapazität der Menschheit ihre Steuerungsfähigkeit übersteigt.
Mit der öffentlichen Erklärung des Center for AI Safety vom 30. Mai 2023 erreichte die Debatte um KI-bezogene existenzielle Risiken einen breiten politischen Resonanzraum.
Begriffsgeschichte
Bostroms Definition (2002, 2013)
Bostrom definierte 2002, dass ein existenzielles Risiko entweder das Aussterben der von der Erde ausgehenden intelligenten Lebensformen oder eine dauerhafte und drastische Zerstörung ihres Entfaltungspotenzials bezeichne. Die Definition wurde 2013 in Global Policy präzisiert und durch eine zweidimensionale Risikotypologie ergänzt:
- Reichweite (scope): persönlich, lokal, global, transgenerational
- Schwere (severity): unmerklich (imperceptible), erträglich (endurable), zerstörerisch (crushing)
Existenzielle Risiken sind demnach jene Risiken, deren Reichweite transgenerational und deren Schwere crushing ist.
Ords Erweiterung (2020)
Toby Ord schlug in The Precipice eine modifizierte Definition vor: Ein existenzielles Risiko bedrohe „die Zerstörung des langfristigen Potenzials der Menschheit”. Damit werden neben dem Aussterben auch Szenarien unwiederbringlichen Zivilisationskollapses, dauerhafter Dystopien und permanenter technologisch-sozialer Stagnation eingeschlossen.
Abgrenzung zu verwandten Begriffen
- Globales Katastrophenrisiko (global catastrophic risk): umfasst alle Risiken mit globaler Reichweite und schwerem Schaden, unabhängig von Reversibilität; existenzielles Risiko ist eine Teilmenge.
- Suffering risk (s-risk): Risiko astronomischer Mengen von Leid in der Zukunft, nicht notwendig verbunden mit Auslöschung; eingeführt insbesondere durch das Center on Long-Term Risk.
- Latenz- oder Stagnationsrisiko: Szenarien, in denen die Menschheit zwar fortbesteht, aber ihr Potenzial dauerhaft nicht entfaltet.
Typologie der Risikoquellen (nach Ord 2020)
| Kategorie | Risikoquellen |
|---|---|
| Natürliche Risiken | Asteroideneinschläge · Supervulkanausbrüche · stellare Explosionen |
| Anthropogene Risiken | Nuklearer Winter · extremer Klimawandel (>6–10 °C) · Umweltkollaps |
| Emergente Risiken | Fehlausgerichtete KI · gentechn. Pandemien · unbekannte künftige Risiken |
Die natürlichen Risiken schätzt Ord aufgrund einer langen empirischen Häufigkeitsbasis als vergleichsweise gering ein. Bei den emergenten Risiken zählen dazu fehlausgerichtete künstliche Intelligenz (AI misalignment), gentechnisch erzeugte Pandemien (engineered pandemics) und unbekannte zukünftige Risiken (unforeseen risks).
| Ereignis | Wahrscheinlichkeit (Ords Schätzung) |
|---|---|
| Existenzielle Katastrophe im 21. Jahrhundert insgesamt | etwa 1 zu 6 |
| davon: durch fehlausgerichtete künstliche Intelligenz | etwa 1 zu 10 |
Ord nennt fehlausgerichtete KI damit als nach seiner Einschätzung größten Einzelfaktor. Diese Zahlen sind subjektive Schätzungen und wurden in der Fachliteratur sowohl als zu hoch wie als zu niedrig kritisiert.
Das „Precipice”
Ord bezeichnet die Epoche seit dem ersten Atomwaffentest (Trinity-Test, 16. Juli 1945) als The Precipice: einen historisch beispiellosen Zeitraum, in dem die destruktive Kapazität der Menschheit jene Weisheit und institutionelle Selbstkontrolle übersteigt, die zu ihrer Beherrschung erforderlich wäre.
Ord prognostiziert, dass diese Periode entweder durch den Aufbau hinreichender Resilienz überwunden oder durch das Eintreten einer existenziellen Katastrophe beendet wird; sie könne nach seiner Einschätzung höchstens einige Jahrhunderte andauern.
Decisive vs. Accumulative X-Risk
In der jüngeren Forschungsliteratur wird zwischen zwei Modellen existenzieller KI-Risiken unterschieden (Kasirzadeh 2025 in Philosophical Studies):
- Decisive X-Risk: Plötzliche, großmaßstäbliche Ereignisse durch hochentwickelte KI-Systeme (z. B. takeover-Szenarien einer Superintelligenz).
- Accumulative X-Risk: Schrittweise Erosion gesellschaftlicher Resilienz (demokratische Institutionen, ökonomische Stabilität, soziales Vertrauen) durch lokal begrenzte, aber sich verstärkende KI-Effekte, deren Aggregat einen Systemkollaps auslösen kann.
Institutionelle Verankerung
Wichtige Forschungsstandorte sind oder waren das Future of Humanity Institute (Oxford, 2005–2024) und das Centre for the Study of Existential Risk (Cambridge, gegründet 2012 durch Jaan Tallinn, Martin Rees und Huw Price). Hinzu kommen das Center for AI Safety (CAIS, San Francisco), das Machine Intelligence Research Institute (MIRI) sowie das Future of Life Institute.
Seit 2023 sind in mehreren Staaten staatliche AI Safety Institutes entstanden, zunächst im Vereinigten Königreich und in den USA (jeweils im November 2023 angekündigt), inzwischen auch in Japan, Singapur und weiteren Ländern.
Öffentliche Resonanz
Am 30. Mai 2023 veröffentlichte das Center for AI Safety eine Ein-Satz-Erklärung: Die Minderung des Auslöschungsrisikos durch KI solle eine globale Priorität neben Pandemien und Nuklearkrieg sein.
Zu den Unterzeichnenden gehörten unter anderem Geoffrey Hinton, Yoshua Bengio, Demis Hassabis (Google DeepMind), Sam Altman (OpenAI), Dario Amodei (Anthropic), Stuart Russell, Daniel Dennett und Peter Singer. Die Erklärung gilt als Wendepunkt in der politischen Wahrnehmung KI-bezogener existenzieller Risiken.
Aktuelle Entwicklungen (2025/2026)
Der von rund 30 beim AI Safety Summit in Bletchley Park (November 2023) vertretenen Staaten in Auftrag gegebene International AI Safety Report systematisiert unter dem Vorsitz von Yoshua Bengio seither die wissenschaftliche Evidenzlage zu KI-Risiken. Die erste Ausgabe erschien am 29. Januar 2025 mit rund 100 beteiligten Fachleuten aus mehr als 30 nominierenden Staaten sowie EU, OECD und UN; eine zweite, vollständige Ausgabe folgte am 3. Februar 2026.
Der Bericht 2026 beschreibt für politische Entscheidungsträger ein „Evidence Dilemma” – vorschnelles Handeln ohne belastbare Evidenz riskiere wirkungslose Regulierung, Abwarten dagegen unvorbereitete Gesellschaften.
Er konstatiert, dass aktuelle Systeme zwar noch nicht über die Fähigkeiten für groß angelegte Loss-of-Control-Szenarien verfügten, sich aber etwa im Bereich autonomen Handelns rasch weiterentwickelten. Mehrere Anbieter versahen 2025 einzelne Modelle mit zusätzlichen Sicherheitsvorkehrungen, weil ein Beitrag zur Entwicklung biologischer oder chemischer Waffen durch Novizen nicht ausgeschlossen werden konnte.
Zugleich verschob sich die politische Rahmung des Themas auf Ebene der Gipfeldiplomatie: Während der Bletchley-Gipfel (2023) Sicherheitsfragen in den Vordergrund gestellt hatte, betonte US-Vizepräsident J. D. Vance beim AI Action Summit in Paris (11. Februar 2025) explizit die wirtschaftlichen Chancen von KI und warnte vor „exzessiver Regulierung”.
Er kritisierte, was er als übertriebenes Sicherheits-„Doomerism” bezeichnete – ein programmatischer Bruch mit der bisherigen Gipfelrhetorik.
Der nachfolgende India AI Impact Summit (Februar 2026) setzte diese stärker chancenorientierte Ausrichtung fort, während der International AI Safety Report im selben Zeitraum weiterhin wachsende Risiken dokumentierte – eine zunehmende Kluft zwischen politischer Kommunikation und wissenschaftlicher Risikoeinschätzung.
Kritik
Die Kritik am Konzept des existenziellen Risikos verläuft auf mehreren Ebenen:
Philosophisch-methodische Einwände
- Probabilistische Unsicherheit: Subjektive Wahrscheinlichkeitsschätzungen über singuläre, hypothetische Großereignisse sind schwer absicherbar.
- Definitorische Unschärfe: Was als „langfristiges Potenzial” gilt, bleibt normativ vorausgesetzt; verschiedene Werte ergeben verschiedene Risiken.
- Erkenntnisgrenzen: Christian Tarsney und andere problematisieren die Voraussage langfristiger Wirkungen heutiger Interventionen.
Politische und ideologiekritische Einwände
Émile P. Torres, Timnit Gebru, Alice Crary und andere kritisieren:
- die Verschiebung von Aufmerksamkeit und Mitteln von gegenwärtigen, empirisch dokumentierten Schäden (algorithmische Diskriminierung, Klimaschäden, Ungleichheit) hin zu spekulativen Zukunftsszenarien;
- eine ideengeschichtliche Anschlussfähigkeit an transhumanistische und eugenische Traditionen (zusammengefasst im Konzept des TESCREAL-Bundles);
- die Konzentration der Definitionsmacht über „Menschheit” und „Potenzial” bei einer kleinen, weitgehend westlich-männlichen Akteursgruppe.
Empirisch-praktische Einwände
Vertreter accumulativer X-Risk-Modelle (Kasirzadeh 2025) bemängeln, dass die klassische decisive Lesart bestimmte realistische Risikopfade – etwa demokratische Erosion durch KI-gestützte Informationsökonomien – strukturell ausblende.
Verwandte Begriffe
- Longtermism – ethische Position, deren Hauptargument auf der Vermeidung existenzieller Risiken aufbaut
- Effektiver Altruismus – Bewegung, in deren Kontext X-Risk-Forschung institutionalisiert wurde
- AI Safety / AI Alignment – Forschungsfeld zur Sicherstellung, dass KI-Systeme menschlichen Werten folgen
- Suffering Risk (s-risk) – Risiko astronomischer Mengen zukünftigen Leids
- Globales Katastrophenrisiko – Oberbegriff, von dem existenzielle Risiken eine Teilmenge bilden
- TESCREAL – kritische Sammelbezeichnung für ideologische Strömungen, in denen X-Risk-Diskurse zentral verortet sind
- Doomerism – informelle Bezeichnung für Positionen, die KI-bezogene existenzielle Risiken besonders betonen
Quellenangaben
- Bengio, Yoshua u. a., 2025. International AI Safety Report. Department for Science, Innovation and Technology (DSIT), Research Series 2025/001, 29. Januar 2025. arXiv: 2501.17805.
- Bengio, Yoshua u. a., 2026. International AI Safety Report 2026. DSIT, Research Series 2026/001, 3. Februar 2026. arXiv: 2602.21012.
- Bostrom, Nick, 2002. Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology 9 (1).
- Bostrom, Nick, 2013. Existential Risk Prevention as Global Priority. In: Global Policy 4 (1), S. 15–31. DOI: 10.1111/1758-5899.12002.
- Bostrom, Nick / Ćirković, Milan M. (Hrsg.), 2008. Global Catastrophic Risks.
- Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
- Carlsmith, Joseph, 2022. Is Power-Seeking AI an Existential Risk? Open Philanthropy / arXiv: 2206.13353.
- Center for AI Safety, 2023. Statement on AI Risk. safe.ai, 30. Mai 2023.
- Crary, Alice, 2023. The Toxic Ideology of Longtermism. In: Radical Philosophy 214.
- France24 (2025): JD Vance warns against ‘excessive regulation’ of AI at Paris summit. 11. Februar 2025.
- Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
- Kasirzadeh, Atoosa (2025): Two Types of AI Existential Risk: Decisive and Accumulative. In: Philosophical Studies 182 (7), S. 1975–2003. DOI: 10.1007/s11098-025-02301-3.
- Ord, Toby, 2020. The Precipice: Existential Risk and the Future of Humanity.
- Tarsney, Christian (2023): The Epistemic Challenge to Longtermism. In: Synthese 201 (6).
- Torres, Émile P., 2023. Human Extinction: A History of the Science and Ethics of Annihilation.