Suffering Risks (S-Risks)

Suffering Risks (deutsch Leidensrisiken; übliche Abkürzung S-Risks, gelegentlich auch Risks of Astronomical Suffering) bezeichnen in der gegenwärtigen futurologischen und longtermistischen Diskussion eine Klasse hypothetischer zukünftiger Ereignisse, die zu Leiden in einem kosmisch signifikanten Umfang führen würden. Gemeint ist Leid, das das bisher auf der Erde aufgetretene Gesamtleid um Größenordnungen übersteigt.

Der Begriff wurde maßgeblich durch das Foundational Research Institute (heute Center on Long-Term Risk, CLR) und das Center for Reducing Suffering (CRS) entwickelt. Eine der ersten zusammenhängenden Ausformulierungen ist David Althaus’ und Lukas Gloors Aufsatz Reducing Risks of Astronomical Suffering: A Neglected Priority (2016).

Zusammenfassung

S-Risks werden meist als eigenständige Kategorie neben existenziellen Risiken (x-Risks) verstanden. Nicht jeder x-Risk-Fall ist ein s-Risk – etwa die plötzliche Auslöschung der Menschheit ohne vorangehendes Massenleid. Und nicht jeder s-Risk ist ein x-Risk – etwa eine totalitäre, aber überlebensfähige Zivilisation, in der digital instanziiertes Leid in großem Umfang erzeugt wird.

Die wesentliche Motivation kommt aus dem leidens-fokussierten Strang des Utilitarismus (negativer Utilitarismus, suffering-focused ethics): Wenn Leiden eine asymmetrisch starke moralische Relevanz hat, dann sind Szenarien mit astronomisch viel Leid die schlimmsten Möglichkeiten der Zukunft – auch im Vergleich zur Auslöschung.

Zu den am häufigsten diskutierten Quellen gehören (a) digitale Sentienz und in großer Zahl simulierte leidende Bewusstseine; (b) eine global expansive totalitäre Ordnung; (c) eskalierende KI-Konflikte mit Erpressungs- und Vergeltungsdynamik; (d) Verbreitung wilden Tierleids im Zuge von Raumkolonisation.

S-Risks sind innerhalb der EA- und Longtermism-Community ein eigenständiges, aber Minderheitsthema; sie stehen in einem Spannungsverhältnis zum mainstream-longtermistischen Fokus auf x-Risks.

Begriffsgeschichte

Brian Tomasik (Foundational Research Institute, gegründet 2013) ist einer der frühesten Autoren, die astronomisches Zukunftsleid systematisch als ethisches Thema behandelt haben (Artificial Intelligence and Its Implications for Future Suffering, 2014ff.). Die heute übliche Begriffsfassung ist in David Althaus’ und Lukas Gloors Reducing Risks of Astronomical Suffering: A Neglected Priority (Foundational Research Institute 2016) ausformuliert.

Max Daniels Vortrag S-risks: Why They Are the Worst Existential Risks, and How to Prevent Them (EAG Boston 2017) führte den Begriff in die breitere EA-Öffentlichkeit ein. Das Center for Reducing Suffering (CRS, gegründet 2019 von Tobias Baumann und Magnus Vinding) und das Center on Long-Term Risk (CLR) sind die heute zentralen Forschungs- und Bewegungsinstitutionen.

Quellen von S-Risks

Die Diskussion unterscheidet typischerweise mehrere Kategorien:

Inzidentelle s-Risks entstehen als Nebenfolge anderer Prozesse, ohne dass jemand sie als Endziel verfolgt. Beispiele sind Wilde-Tier-Leid auf neuen Planeten infolge terrestrischer Kolonisation und digital instanziiertes Leid in mind-crime-Simulationen (Bostrom 2014) einer Superintelligenz, die zu Optimierungszwecken bewusste Subagenten erzeugt.

Ein weiteres Beispiel ist die massenhafte Erzeugung leidensfähiger künstlicher Akteure ohne moralische Berücksichtigung.

Agentielle s-Risks entstehen durch strategisches Verhalten von Akteuren: eskalierende Konflikte zwischen KI-Systemen mit Erpressungs- und Vergeltungsdynamik (Tobias Baumann hat dies unter dem Begriff threat models analysiert); totalitäre Regimes, die mit fortgeschrittener Überwachungs- und Kontrolltechnologie eine globale, stabile Diktatur etablieren.

Sadistische s-Risks sind in der Forschungsliteratur als möglicher, wenn auch unwahrscheinlicher Spezialfall klassifiziert: Erzeugung großer Mengen Leid durch malevolente Akteure mit explizit pro-Leid-orientierten Präferenzen.

Theoretische Einbettung

S-Risks gehören zum Kreis der TESCREAL-relevanten Konzepte; sie sind eng mit dem leidens-fokussierten Strang des Effektiven Altruismus verbunden.

Inhaltlich stehen sie in Spannung zu zwei zentralen Argumentationsfiguren des Longtermism. Toby Ord (The Precipice, 2020) etwa führt den Wert einer langfristigen menschlichen Zukunft als Hauptmotiv für die Bekämpfung von x-Risks an. S-Risk-Vertreter:innen akzentuieren dagegen, dass eine längere Zukunft auch eine größere Zukunft sein kann – und damit auch eine, in der das Gesamtleid potentiell astronomisch groß wird.

Magnus Vindings astronomical atrocity problem (Suffering-Focused Ethics, 2020) formuliert diesen Einwand als systematische Herausforderung an die Astronomical Waste-Argumentation Bostroms (2003).

S-Risks sind eng verbunden mit der Population Ethics-Debatte (Derek Parfit, Reasons and Persons, 1984). Insbesondere die asymmetrische Bewertung von Glück und Leid ist eine zentrale Vorbedingung der s-Risk-Argumentation – die These, dass die moralische Vermeidung schweren Leids stärker wiegt als die Schaffung vergleichbar großer Glücksmengen.

Kritik und Diskussion

Aus der mainstream-longtermistischen Tradition (William MacAskill, Toby Ord) wird gegen die starke Fokussierung auf s-Risks eingewendet, dass sie eine spezifische metaethische Position (Suffering-Focused Ethics, negativer Utilitarismus) voraussetzt, die nicht von allen Vertreter:innen geteilt wird. Wer eine symmetrische Glück-Leid-Bewertung vertritt, wird die kosmische Expansion der Menschheit eher als Chance denn als zusätzliches Risiko bewerten.

Aus der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) werden s-Risks als Element jener spekulativen Argumentationsfiguren kritisiert, die hypothetische zukünftige Katastrophenszenarien zu Lasten dokumentierter gegenwärtiger Leiden in den Mittelpunkt stellen. Befürworter:innen erwidern, gerade die suffering-focused Variante des Longtermism nehme gegenwärtige Schäden ernster als die x-risk-fokussierte Mainstream-Linie.

Innerhalb der EA-Community ist die Frage offen, in welchem Maße praktische Interventionen heute s-Risks substantiell reduzieren können. Vorschläge umfassen die Förderung suffering-focused-ethics-orientierter Forschungsprogramme, decision-theoretische Arbeit an Verhandlungs- und Konfliktdynamiken zwischen KI-Systemen sowie die Verbreitung von Antispeziesismus.

Quellenangaben

Althaus, David / Gloor, Lukas, 2016. Reducing Risks of Astronomical Suffering: A Neglected Priority. Foundational Research Institute (heute CLR).
Baumann, Tobias (2017): S-Risk FAQ. Foundational Research Institute / Center for Reducing Suffering.
Baumann, Tobias (2022): Avoiding the Worst: How to Prevent a Moral Catastrophe.
Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
Bostrom, Nick, 2003. Astronomical Waste: The Opportunity Cost of Delayed Technological Development. In: Utilitas 15 (3), S. 308–314. DOI: 10.1017/S0953820800004076.
Daniel, Max (2017): S-risks: Why They Are the Worst Existential Risks, and How to Prevent Them. Vortrag, EAG Boston, 20. Juni 2017.
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
Hilton, Benjamin (2022): S-Risks. In: 80,000 Hours Problem Profiles, September 2022.
Ord, Toby, 2020. The Precipice: Existential Risk and the Future of Humanity.
Parfit, Derek, 1984. Reasons and Persons.
Sotala, Kaj (2018): Astronomical Future Suffering and Superintelligence. Interview im AI Alignment Podcast, Future of Life Institute, 14. Juni 2018.
Tomasik, Brian (2011/laufend): Artificial Intelligence and Its Implications for Future Suffering. Foundational Research Institute.
Umbrello, Steven / Sorgner, Stefan Lorenz (2019): Nonconscious Cognitive Suffering: Considering Suffering Risks of Embodied Artificial Intelligence. In: Philosophies 4 (2), Art. 24. DOI: 10.3390/philosophies4020024.
Vinding, Magnus, 2020. Suffering-Focused Ethics: Defense and Implications.

← Zurück zur Lexikon-Übersicht