The Precipice

Einordnung

The Precipice ist der zentrale philosophische Text der Longtermism-Hauptlinie des TESCREAL-Komplexes. Das Buch liefert die ausgearbeitetste Begründung dafür, warum die Minderung existenzieller Risiken als moralische Priorität erste Ordnung behandelt werden soll – eine Begründung, auf die sich FLI, CSER, MIRI, Anthropics RSP und das CAIS-Statement on AI Risk implizit oder explizit beziehen.

Zugleich ist The Precipice das Dokument, das Longtermism am stärksten von der apokalyptischen Rhetorik Yudkowskys und vom technologischen Optimismus des Extropianismus abgrenzt: Ord schreibt im Stil analytischer Philosophie, belegt Schätzungen mit Unsicherheitsbandbreiten und betont Handlungsmöglichkeiten statt Unvermeidlichkeit.

Die Kritik an The Precipice – durch Torres (2021), Gebru/Torres (2024), Cotra (2021, intern) und andere – zielt weniger auf die akademische Form als auf die strukturellen Konsequenzen der darin entwickelten Prioritätensetzung.

Zusammenfassung

The Precipice argumentiert in drei Schritten:

1. Die Menschheit befindet sich gegenwärtig in einer einzigartigen historischen Phase, in der transformative Technologien erstmals das Potenzial haben, die gesamte Zivilisation dauerhaft zu zerstören oder bleibend zu beeinträchtigen (the precipice – der Abgrund).
2. Das Ausmaß des potenziellen Schadens existenzieller Risiken – gemessen an der Zahl der betroffenen zukünftigen Personen – verschiebt die Prioritätensetzung dramatisch; selbst kleine Wahrscheinlichkeiten existenzieller Risiken erhalten moralisch gigantisches Gewicht.
3. Konkrete Risikoschätzungen für verschiedene Kategorien – natürliche Risiken, Atomkrieg, Klimawandel, Pandemien, KI, andere technogene Risiken – sind möglich und handlungsanleitend.

Ord schätzt die Gesamtwahrscheinlichkeit einer existenziellen Katastrophe bis 2100 auf etwa ein Sechstel (ca. 16 Prozent), wobei KI mit einer Einzelschätzung von 10 Prozent als größte Einzelkategorie erscheint.

Das Buch endet mit einem Appell an individuelle und kollektive Handlungsfähigkeit und bettet die Risikoanalyse in eine normative Theorie des menschlichen Potenzials ein, die Ord als „longermism light” bezeichnet. MacAskill (2022) radikalisierte diese Bezeichnung in What We Owe the Future.

Entstehungskontext

Autor und institutioneller Hintergrund

Toby Ord (* 1975 in Melbourne) studierte Philosophie, Mathematik und Computerwissenschaft an der University of Melbourne und promovierte in Philosophie an der University of Oxford, wo er seitdem als Senior Research Fellow am Future of Humanity Institute (FHI) tätig war. FHI wurde 2005 von Nick Bostrom gegründet und war bis zu seiner Schließung im April 2024 das institutionelle Zentrum der existenzrisiko-orientierten Philosophie in Oxford.

Ord ist zugleich Mitgründer von Giving What We Can (2009) – einer der Gründungsorganisationen der Effective-Altruism-Bewegung, mit der er sich verpflichtete, mindestens 10 Prozent seines Einkommens für effektive Hilfsorganisationen zu spenden. Die Entstehung von The Precipice (Manuskriptbeginn ca. 2015, Veröffentlichung März 2020) fiel zusammen mit der Professionalisierung der Longtermism-Forschungsgemeinschaft und dem Wachstum des EA-Ökosystems.

Verhältnis zu Bostrom und FHI

The Precipice steht in expliziter intellektueller Tradition zu Bostroms Arbeiten zu existenziellen Risiken (Global Catastrophic Risks, Oxford University Press 2008; Superintelligence 2014) und zum FHI-Forschungsprogramm, grenzt sich aber in Stil und Argumentationsweise ab. Ord vermeidet Bostroms spezifische Simulationsargument- und Superintelligenz-Esoterik und schreibt stärker im Stil der analytischen Ethik-Tradition.

Das Buch enthält eine umfangreiche empirische Risikotabelle, die Bostroms qualitative Szenarien in quantitative Schätzungen überführt – methodisch ein eigenständiger Beitrag. Er wird in der Sekundärliteratur als wichtiger Schritt zur Operationalisierung des Existenzrisiko-Begriffs diskutiert (Beard u. a. 2020; Ó hÉigeartaigh u. a. 2020).

Kernargumente und Struktur

Definition existenzieller Risiken

Ord definiert existenzielle Risiken als Risiken, die „das langfristige Potenzial der Menschheit dauerhaft und drastisch zu reduzieren” drohen – eine Definition, die bewusst breiter ist als bloße Auslöschung. Sie umfasst auch dauerhafte Unterdrückung, technologisch erzwungene Stagnation oder irreversible Ablenkung von menschlichen Werten.

Diese dreigliedrige Konzeption – Auslöschung, dauerhafte Einschränkung, dauerhaftes Fesseltsein – ist Ords eigenständigster konzeptueller Beitrag gegenüber der älteren FHI-Literatur.

Risikoschätzungen und Unsicherheit

Das auffälligste Element des Buches ist seine Risikotabelle (Kapitel 2 und Appendix): Ord schätzt die kumulative Wahrscheinlichkeit einer existenziellen Katastrophe bis 2100 auf ca. 1/6 – und schlüsselt diese in Kategorien auf:

• Natürliche Risiken (Asteroiden, Supervulkane, Sternenexplosionen): unter 1/10.000
• Atomkrieg: ca. 1/1.000
• Klimawandel: unter 1/1.000
• Andere Umweltkatastrophen: ca. 1/1.000
• Engineered Pandemics: ca. 1/30
• Unausgerichtete KI: ca. 1/10
• Andere anthropogene Risiken: ca. 1/30
• Unbekannte Risiken: ca. 1/30

Die Schätzungen sind als „educated guesses with wide uncertainty bands” explizit ausgewiesen; Ord betont, sie seien als Orientierungspunkte für Prioritätensetzung, nicht als objektive Wahrscheinlichkeiten zu verstehen. Diese Kombination aus expliziter Quantifizierung und expliziter Unsicherheitsmarkierung ist für die Risikoforschungsliteratur charakteristisch.

Moralische Rahmung und Longtermism

Das normative Fundament von The Precipice ist eine Variante des Longtermism: Da die Zahl potenziell zukünftiger Personen astronomisch größer ist als die Zahl gegenwärtig Lebender, erhalten selbst kleine Wahrscheinlichkeiten existenzieller Risiken moralisch enormes Gewicht.

Ord vermeidet in The Precipice den Begriff Longtermism selbst – er wurde von MacAskill und Ord gemeinsam 2017 geprägt und zu diesem Zeitpunkt noch nicht allgemein verwendet – und bezeichnet seine Position als Sorge um das „longterm potential of humanity”. MacAskill radikalisierte diese Position 2022 in What We Owe the Future, was in der Sekundärliteratur als Eskalation des gemeinsamen Projekts diskutiert wird.

Handlungsempfehlungen

The Precipice endet nicht mit Resignation, sondern mit einer Taxonomie von Handlungsmöglichkeiten:

• Reduktion spezifischer Risiken durch technische und institutionelle Maßnahmen
• Aufbau „civilisational resilience” – Resilienz gegen Katastrophen, die Erholung und Wiederaufbau ermöglichen
• Förderung globaler Kooperation und Institutionen
• individuelle Karriereentscheidungen im Sinne der Risikominderung

Die letzte Kategorie verbindet The Precipice direkt mit der EA-Praxislinie – insbesondere mit 80.000 Hours (William MacAskill / Benjamin Todd) und dem Konzept des Earning to Give.

Rezeption

The Precipice erhielt breite positive Rezensionen in akademischen und populären Medien: Nature, The Guardian, Financial Times und The New York Times lobten das Buch als ernstzunehmenden Beitrag zur Risikoforschung.

William MacAskill, Nick Bostrom und Stuart Russell schrieben Vorworte bzw. Empfehlungsblurbs. Das Buch wurde 2020 mit dem Bruno Leoni Book Prize ausgezeichnet und von The Times Literary Supplement zu den Büchern des Jahres gezählt.

Innerhalb der Philosophie wurde The Precipice von Parfit-Schülern und Bevölkerungsethikern als wichtiger Beitrag rezipiert; die Risikoschätzungen wurden von Sicherheitsforschenden teilweise als zu hoch (für KI) oder nicht belastbar (für alle Kategorien) kritisiert. Die breiteste kritische Auseinandersetzung erfolgte nicht im akademischen Philosophiebetrieb, sondern im Kontext der Longtermism-Debatte ab 2021.

Ord selbst hat die Risikoschätzungen des Buches seither mehrfach öffentlich reflektiert, ohne sie grundlegend zu revidieren.

In einem im Februar 2024 gehaltenen und im Juli 2024 veröffentlichten Vortrag (The Precipice Revisited) bilanzierte er, seine ursprünglichen, bewusst grob gerundeten Schätzungen hätten sich „nicht sehr weit” verschoben.

Das Klimarisiko schätzt er inzwischen niedriger ein, das nukleare Risiko – u. a. wegen des russischen Angriffskriegs gegen die Ukraine und des Auslaufens des New-START-Vertrags – höher; bei Pandemien und KI sieht er gegenläufige Entwicklungen ohne eindeutige Gesamttendenz.

In einem Gespräch mit dem Podcast 80,000 Hours im Juni 2025 kritisierte Ord irreführende Skalierungsdarstellungen der KI-Industrie und plädierte für eine systemischere KI-Governance-Debatte jenseits reiner Rechenleistungsbeschränkungen. Das ist ein Zeichen dafür, dass er das Thema des Buches weiterhin aktiv bearbeitet, ohne sich der KI-Governance-Debatte anders als über Oxford Martin AIGI und Forethought institutionell neu zu verorten.

Kritik

Quantifizierung hypothetischer Risiken: Die Risikoschätzungen – insbesondere die 10-Prozent-Schätzung für unausgerichtete KI – werden von einer Mehrheit der KI-Forschungsgemeinschaft als nicht belastbar eingeschätzt: Sie beruhen auf keiner formalen Modellierung, sondern auf subjektiven Expertenurteilen eines kleinen, ideologisch homogenen Kreises (Ord, FHI-Kolleginnen und -Kollegen).

LeCun, Mitchell und andere haben die Schätzungen als Spiegelung von Vorannahmen, nicht als empirisch gestützte Wahrscheinlichkeiten kritisiert.

Longtermismus und gegenwärtige Schäden: Torres (2021) und Gebru/Torres (2024) argumentieren, dass die Priorisierung existenzieller Risiken gegenüber gegenwärtigen Schäden durch KI-Systeme – algorithmische Diskriminierung, Überwachung, Arbeitsmarktverdrängung – eine moralische Fehldeutung ist, die zugunsten einer kleinen akademisch-techno-elitären Community strukturiert ist.

Ord antwortet in The Precipice implizit, indem er betont, dass Existenzrisikominderung gegenwärtige Schäden nicht ausschließt; Kritiker bewerten diese Antwort als nicht hinreichend.

Bevölkerungsethik und Reproduktion: Die astronomische moralische Gewichtung zukünftiger Personen setzt eine Bevölkerungsethik voraus, in der die Existenz glücklicher zukünftiger Menschen moralisch positiv zu bewerten ist – eine als Derek Parfits Total View bekannte Position. Diese Position ist in der Bevölkerungsethik umstritten und wird von feministischen und anti-natalisten Positionen abgelehnt.

Ord erkennt diese Abhängigkeit im Buch an, hält die Schlussfolgerung aber für robust gegenüber verschiedenen Positionen in der Bevölkerungsethik.

Institutionelle Verortung: The Precipice entstand am FHI – einer Institution, die von EA-nahem Kapital (Open Philanthropy, Tallinn, Moskovitz) finanziert wurde und deren Schließung im April 2024 von mehreren FHI-Forschenden auf strukturelle und institutionelle Probleme zurückgeführt wurde. Die ideologische Nähe zwischen Forschenden, Finanzierenden und Rezipierenden wird in der Sekundärliteratur als epistemische Rückkopplungsschleife beschrieben.

TESCREAL-Querverweisarchitektur

Longtermism-Kerntext: The Precipice ist der elaborierteste Text des Longtermism-Strangs im TESCREAL-Komplex; er steht in direkter Verbindung zu Existenziellem Risiko, Astronomical Waste, Maxipok-Prinzip und Long Reflection.

EA-Praxislinie: Ords Zugehörigkeit zu Giving What We Can und die Handlungsempfehlungen des Buches verbinden The Precipice mit Effective Altruism, Earning to Give und 80.000 Hours.

Institutionelle Genealogie: Das FHI als Entstehungsort verbindet The Precipice mit Nick Bostrom, William MacAskill und dem Future of Humanity Institute (geschlossen April 2024).

Kritische Gegenlinie: Die in The Precipice formulierte Prioritätensetzung ist das primäre Ziel der Kritik in Gebru/Torres 2024 (TESCREAL) und Torres 2021; Gegenposition: AI Now Institute, Timnit Gebru, Kate Crawford.

Verwandte Begriffe

• Existenzielles Risiko – zentrales Analysekonzept
• Future of Humanity Institute – Entstehungsort; April 2024 geschlossen
• Nick Bostrom – Superintelligence 2014; intellektueller Vorläufer
• Future of Life Institute – institutioneller Resonanzraum

Quellenangaben

1. 80,000 Hours, 2025. Toby Ord on Graphs AI Companies Would Prefer You Didn’t (Fully) Understand. Podcast-Episode #219, 24. Juni 2025. 80000hours.org.
2. Beard, Simon J. / Rowe, Thomas / Fox, James, 2020. An Analysis and Evaluation of Methods Currently Used to Quantify the Likelihood of Existential Hazards. In: Futures 115. DOI: 10.1016/j.futures.2019.102469.
3. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
4. Bostrom, Nick / Ćirković, Milan M. (Hrsg.), 2008. Global Catastrophic Risks.
5. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
6. MacAskill, William, 2022. What We Owe the Future. Basic Books.
7. Ó hÉigeartaigh, Seán / Beard, Simon J. / Bhatt, Drago / Clarke, Tom, 2020. Clarifying the core claims of AI safety. In: AI & Society 36, S. 1–13. DOI: 10.1007/s00146-020-00984-2.
8. Ord, Toby, 2020. The Precipice: Existential Risk and the Future of Humanity.
9. Ord, Toby, 2024. The Precipice Revisited. tobyord.com, 12. Juli 2024 (Vortrag vom 4. Februar 2024).
10. Parfit, Derek, 1984. Reasons and Persons.
11. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
12. Torres, Émile P., 2021. The Dangerous Ideas of ‘Longtermism’ and ‘Existential Risk’. In: Current Affairs, Juli 2021.

← Zurück zur Lexikon-Übersicht