Centre for the Study of Existential Risk

Centre for the Study of Existential Risk (Abkürzung CSER) ist ein 2012 an der University of Cambridge gegründetes interdisziplinäres Forschungszentrum, das sich der Analyse und Minderung von Risiken widmet, die die langfristige Zukunft der Menschheit oder die menschliche Zivilisation als solche bedrohen könnten – insbesondere durch künstliche Intelligenz, synthetische Biologie, Klimawandel und andere transformative Technologien.

CSER wurde von dem Kosmologen und Astronomen Royal Martin Rees (* 23. Juni 1942 in York), dem Philosophen Huw Price (* 1953) und dem Skype-Mitgründer Jaan Tallinn gegründet; zu seinen frühen Assoziates gehörten Stephen Hawking und Stuart Russell.

Von anderen Institutionen des TESCREAL-angrenzenden Feldes – insbesondere von MIRI und FLI – unterscheidet sich CSER durch einen stärker akademisch-empirischen Ansatz, die Einbettung in eine Forschungsuniversität, breitere Risikokategorien jenseits von KI und eine vorsichtigere öffentliche Kommunikation.

Zugleich teilt es mit diesen Organisationen die grundlegende Prämisse, dass existenzielle Risiken durch transformative Technologien eine wissenschaftlich legitime und politisch dringliche Forschungsfrage sind.

Stand 2025/2026 ist CSER ein anerkanntes, wenn auch relativ kleines Forschungszentrum mit einer Handvoll fest angestellter Forschender, mehreren assoziierten Wissenschaftlerinnen und Wissenschaftlern aus verschiedenen Cambridge-Departments und einem Schwerpunkt auf interdisziplinären Policy-Analysen.

Zusammenfassung

CSER nimmt im Institutionenfeld der existenzrisikoorientierten KI-Forschung eine methodisch eigenständige Position ein: Es betreibt primär empirische und politikanalytische Forschung zu technologischen Risiken, keine technische KI-Sicherheitsforschung im Sinne von MIRI oder Anthropic.

Zentrale Forschungsfelder umfassen die Governance von Dual-Use-Technologien in Biotechnologie und KI, die Analyse von Risikoperzeptionen in wissenschaftlichen und politischen Gemeinschaften, die Geschichte und Methodik des Risikofeldes selbst sowie Policy-Empfehlungen für Regulierungsbehörden.

CSERs methodisch differenziertester Beitrag zur KI-Debatte ist weniger die Entwicklung neuer Sicherheitstechniken als die akademisch-legitimierende Rahmung existenzieller Risiken durch KI als seriöses wissenschaftliches und politisches Thema – eine Funktion, die durch die Beteiligung von Rees und Hawking als Figuren mit außerordentlicher akademischer Autorität erheblich gestärkt wurde.

Die institutionelle Einbettung in Cambridge unterscheidet CSER von amerikanischen Pendants und verleiht seinen Aktivitäten eine besondere Resonanz in europäischen Regulierungsdebatten.

Geschichte

Gründung und institutioneller Kontext (2012–2014)

Die Gründungsinitiative für CSER entstand aus Gesprächen zwischen Huw Price – damals Bertrand-Russell-Professor für Philosophie in Cambridge – und Jaan Tallinn, der nach seinem finanziellen Engagement bei FLI und einem Austausch mit Eliezer Yudkowsky zu der Überzeugung gelangt war, dass institutionalisierte akademische Forschung zu KI-Existenzrisiken fehlte.

Martin Rees – ehemaliger Präsident der Royal Society, Astronomer Royal und bekannt für sein Buch Our Final Hour (2003), in dem er eine 50-prozentige Überlebenswahrscheinlichkeit der menschlichen Zivilisation bis 2100 schätzte – schloss sich als dritter Mitgründer an.

Die Gründungsphase 2012–2013 war durch Vortragsreihen, Workshops und Fundraising geprägt; CSER erhielt in der Frühphase finanzielle Unterstützung von Tallinn, der Grantham Foundation und späteren Beiträgen des Open Philanthropy Project.

CSER wurde formal im Januar 2012 als interdisziplinäres Forschungszentrum an der Universität Cambridge gegründet und nahm 2014 den regulären Forschungsbetrieb auf. Die Einbettung in die Universität – statt als eigenständige gemeinnützige Organisation – war eine bewusste Entscheidung: Sie sollte akademische Glaubwürdigkeit, Zugang zu Peer-Review-Publikationen und Interdisziplinarität sicherstellen.

Forschungsaufbau und erste Publikationsphase (2014–2018)

In den ersten Betriebsjahren entwickelte CSER eine Reihe von Forschungslinien.

Existential Risk Studies als akademische Subdisziplin wurden durch Publikationen wie Ord (2020) – der am damaligen Oxford Future of Humanity Institute assoziiert war, aber enge konzeptuelle Verbindungen zu CSER pflegte – und durch Beiträge von CSER-Forschenden in Global Policy, Futures und Risk Analysis geschärft. Die Abgrenzung von rein spekulativen Szenarien hin zu evidenzbasierter Risikoanalyse war ein explizites Ziel.

Seán Ó hÉigeartaigh als Gründungsdirektor und Haydn Belfield als Policy Research-Leiter prägten die Policy-orientierte Arbeit des Zentrums; Verbindungen zu britischen Regierungsstellen, zum Government Office for Science und zu internationalen Foren wie dem Davos-Weltwirtschaftsforum wurden aufgebaut.

Cambridge-Workshops und Bletchley-Park-Kontext (2018–2023)

CSER richtete mehrere internationale Workshops zu Extreme Risks from AI aus, die Forschende aus technischer KI-Sicherheit, Politikwissenschaft, Völkerrecht und Ethik zusammenbrachten. Diese Workshops sind ein Beispiel für CSERs Stärke – die Produktion interdisziplinärer Analysedokumente – und zugleich für seine begrenzte Sichtbarkeit gegenüber produktionsorientierten Frontier-Labs.

Im Kontext des AI Safety Summit in Bletchley Park (November 2023) – der ersten großen internationalen Regierungskonferenz zu KI-Sicherheit, ausgerichtet von der britischen Regierung unter Rishi Sunak – war CSER als akademischer Akteur präsent; mehrere CSER-assoziierte Forschende beteiligten sich an vorbereitenden Expertengesprächen.

Die Bletchley Declaration – unterzeichnet von 29 Staaten – übernahm terminologische Rahmungen, die teilweise aus dem CSER-Kontext stammen.

Aktuelle Forschungsagenda (2020–2026)

Aktuelle CSER-Forschungslinien umfassen: Governing Transformative AI – Policy-Analysen zu nationalen und internationalen Regulierungsansätzen; Biological Risks – Dual-Use-Risiken durch synthetische Biologie und Pandemie-Vorbereitung; Environmental Risks – Kopplung von Klimakipppunkten und Technologierisiken; Science and Technology Studies of Existential Risk – meta-analytische Forschung zur Geschichte und Soziologie des Risikofeldes selbst.

Methodische Position und Abgrenzung

CSER positioniert sich zwischen dem stark technisch-formalen Ansatz von MIRI und dem stärker aktivistischen Ansatz von FLI. Die akademische Veröffentlichungspraxis in Peer-Review-Zeitschriften und die Vermeidung öffentlichkeitswirksamer offener Briefe sind Merkmale, die CSER von FLI und MIRI unterscheiden.

CSER betrachtet KI-Existenzrisiken als eine unter mehreren gleichrangigen technologischen Risikokategorien – eine pluralistischere Rahmung als die ausschließliche KI-Fokussierung von MIRI oder die Superintelligenz-Zentrierung von Yudkowsky.

Zugleich teilt CSER die grundlegende Prämisse, dass zukünftige, noch nicht eingetretene Risiken legitime Gegenstände wissenschaftlicher und politischer Aufmerksamkeit sind – eine Prämisse, die vom AI Now Institute und dem DAIR Institute methodisch grundlegend bestritten wird.

Kontroversen und Kritik

Die Einbettung von CSER in ein elitäres Universitätssystem (Cambridge) und die Finanzierung durch EA-nahes Kapital (Tallinn, Open Philanthropy) werden in der Sekundärliteratur als strukturelle Einschränkungen diskutiert, die den Blick auf nicht-westliche Risikoperspektiven und auf soziale Ungleichheit als Risikofaktor begrenzen (Mohamed u. a. 2020).

Gebru und Torres (2024) verorten CSER im TESCREAL-angrenzenden Institutionenfeld, auch wenn das Zentrum weniger explizit ideologisch als MIRI oder FLI auftritt. Die methodische Frage, ob akademisch-empirische Forschung zu hypothetischen Langfrist-Risiken sinnvoller eingesetzt ist als Forschung zu nachweisbaren gegenwärtigen Schadensfällen, wird in der kritischen KI-Literatur regelmäßig aufgeworfen (Crawford 2021; Whittaker 2021).

Stand 2025/2026

Stand Mai 2026 ist CSER ein etabliertes, relativ kleines Forschungszentrum mit begrenztem Einfluss auf die technische KI-Sicherheitsforschung, aber nachweisbarem Einfluss auf britische und internationale KI-Governance-Debatten.

Die institutionelle Verankerung in Cambridge und die Beteiligung an Bletchley-Nachfolgeprozessen sichern dem Zentrum eine weiterhin relevante Position im internationalen Policy-Diskurs. Huw Price ist emeritiert; Seán Ó hÉigeartaigh hat Cambridge bereits vor mehreren Jahren verlassen.

Seit März 2025 ist die Politikwissenschaftlerin Sonja Amadae (zuvor Universität Helsinki) Direktorin von CSER; sie leitet ein interdisziplinäres Team, das Risiken von Klimawandel über biologische Bedrohungen bis zu KI und globaler Ungleichheit untersucht.

Organisatorisch gehört CSER inzwischen zum Institute for Technology and Humanity der Universität Cambridge, das die vorher getrennten Zentren zu Technikfolgen unter einem Dach zusammenführt.

Quellenangaben

Bostrom, Nick / Ćirković, Milan M. (Hrsg.), 2008. Global Catastrophic Risks.
Cambridge in America, 2025. New CSER Director Welcomed at New York City Reception. cantab.org, 19. Mai 2025. https://www.cantab.org/cambridge-in-america-news/new-cser-director-welcomed-at-new-york-city-reception
Crawford, Kate, 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence.
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
Mohamed, Shakir / Png, Marie-Therese / Isaac, William, 2020. Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. In: Philosophy & Technology 33 (4), S. 659–684. DOI: 10.1007/s13347-020-00405-8.
Ó hÉigeartaigh, Seán / Beard, Simon J. / Bhatt, Drago / Clarke, Tom, 2020. Clarifying the core claims of AI safety. In: AI & Society 36, S. 1–13. DOI: 10.1007/s00146-020-00984-2.
Ord, Toby, 2020. The Precipice: Existential Risk and the Future of Humanity.
Rees, Martin, 2003. Our Final Hour: A Scientist’s Warning.
Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
UK Government, 2023. The Bletchley Declaration by Countries Attending the AI Safety Summit. 1. November 2023. gov.uk.
Whittaker, Meredith, 2021. The Steep Cost of Capture. In: Interactions 28 (6), S. 50–55. DOI: 10.1145/3488666.

← Zurück zur Lexikon-Übersicht