Das Center on Long-Term Risk (CLR) ist eine Forschungseinrichtung, die untersucht, wie sich Risiken astronomischen Leids durch fortgeschrittene KI verringern lassen. Ihr Schwerpunkt liegt auf Konflikten zwischen mehreren KI-Systemen und den Wegen, sie zu vermeiden.
Zusammenfassung
Die Einrichtung ging 2013 als Foundational Research Institute aus dem Umfeld der Effective Altruism Foundation hervor und trägt seit 2020 den heutigen Namen.
Ihre Fragestellung unterscheidet sich vom übrigen Feld. Wo die Sicherheitsforschung überwiegend das Verhältnis eines Systems zu seinen menschlichen Auftraggebern untersucht, fragt das CLR nach dem Verhältnis mehrerer fähiger Systeme zueinander.
Der Grund für diese Verschiebung ist die Sorge um Leidensrisiken. Konflikte zwischen mächtigen Akteuren – Drohungen, Erpressung, das Scheitern von Verhandlungen – gelten hier als einer der plausibelsten Wege, auf denen sehr viel Leid entstehen könnte.
Die Arbeit ist stark formal: Spieltheorie, Entscheidungstheorie und Verhandlungsmodelle bilden das Werkzeug, nicht empirische Untersuchungen an heutigen Modellen.
Geschichte
Der Vorläufer entstand 2013 in der Schweiz als Foundational Research Institute, angegliedert an die Effective Altruism Foundation. Die frühen Arbeiten galten Grundlagenfragen der leidensorientierten Ethik.
Prägend für diese Phase waren Beiträge von Brian Tomasik und Lukas Gloor, in denen die Begriffe der leidensorientierten Ethik und der S-Risiken ihre heutige Gestalt erhielten.
2018 verließ Tobias Baumann die Einrichtung und gründete im Jahr darauf mit Magnus Vinding das Center for Reducing Suffering – eine Trennung, die einer Schwerpunktverschiebung folgte: hier technische Konfliktforschung, dort ethische Grundlagenarbeit.
2020 folgte die Umbenennung in Center on Long-Term Risk und der Umzug nach London. Im selben Jahr erschien die Forschungsagenda zu Kooperation und Konflikt bei transformativer KI, verfasst federführend von Jesse Clifton.
Seither arbeitet die Einrichtung an einem eng umgrenzten Programm und vergibt daneben Stipendien an Nachwuchskräfte.
Arbeitsschwerpunkte
Konflikt zwischen KI-Systemen. Die Leitfrage: Was geschieht, wenn mehrere fähige Systeme mit unterschiedlichen Zielen aufeinandertreffen und keines von ihnen nachgeben kann?
Selbstbindungsrennen. Ein zentrales Ergebnis: Wer sich früher unwiderruflich festlegt, verschafft sich in einer Verhandlung einen Vorteil. Systeme, die das können, haben deshalb einen Anreiz, sich möglichst früh festzulegen – bevor sie genug wissen, um klug zu wählen.
Ersatzziele. Ein Vorschlag zur Entschärfung von Erpressung: Ein System bindet sich vorab daran, auf Drohungen so zu reagieren, als beträfen sie ein Ersatzziel. Erpressung wird damit für den Erpresser wertlos, ohne dass das wirkliche Ziel gefährdet wird.
Offene Spieltheorie. Die Untersuchung von Spielen, in denen die Beteiligten den Programmcode der anderen einsehen können – eine Lage, die bei Software denkbar und bei Menschen ausgeschlossen ist.
Entscheidungstheoretische Grundlagen. Arbeiten zu Kooperationsformen, die nicht auf Kausalität, sondern auf Ähnlichkeit der Entscheidungsverfahren beruhen.
Anwendungsfelder
Sicherheitsforschung zu Mehragentensystemen. Mit der Verbreitung agentischer Anwendungen ist die Frage nach dem Zusammenspiel mehrerer Systeme aus der Theorie in die Praxis gerückt.
Nachwuchsförderung. Das Stipendienprogramm hat einen Teil der heute in diesem Feld Tätigen ausgebildet.
Begriffsarbeit. Die Kategorie der S-Risiken und der Begriff des Selbstbindungsrennens werden inzwischen auch außerhalb der Einrichtung verwendet.
Verhandlungstheorie. Die formalen Ergebnisse sind nicht auf KI beschränkt und berühren die allgemeine Theorie der Abschreckung.
Kontroversen und Kritik
Sehr hohe Abstraktionsstufe. Die Arbeit setzt Systeme voraus, die es nicht gibt: Akteure, die sich glaubhaft unwiderruflich binden und einander den Code prüfen können. Ob heutige Entwicklungen darauf zulaufen, ist offen.
Fehlende empirische Kontrolle. Die Ergebnisse sind mathematisch belastbar und lassen sich an nichts messen. Kritiker halten das für Modellbau ohne Gegenstand.
Ethische Voraussetzungen. Die Ausrichtung folgt aus der leidensorientierten Ethik. Wer diese nicht teilt, hält die Auswahl der Fragen für ein Ergebnis der Vorannahmen.
Geringe Sichtbarkeit. Trotz zehnjähriger Arbeit ist die Einrichtung außerhalb eines engen Kreises kaum bekannt. Die Veröffentlichungen erscheinen überwiegend als Arbeitspapiere.
Gefährliche Gedanken. Ein Einwand aus dem eigenen Umfeld: Die genaue Beschreibung wirksamer Erpressungsstrategien könnte selbst schaden, wenn sie in Trainingsdaten künftiger Systeme landet. Die Einrichtung hat sich mit dieser Frage öffentlich befasst.
Warum Konflikt eine eigene Kategorie ist
Die Sicherheitsforschung denkt überwiegend in einer Zweierbeziehung: ein System, seine Auftraggeber, dazwischen die Frage, ob ersteres tut, was letztere meinen.
Diese Rahmung setzt still voraus, dass es nur ein System gibt, auf das es ankommt. Die Vorstellung eines entscheidenden Vorsprungs – ein erstes System übernimmt und die Frage erledigt sich – hat diese Voraussetzung lange gestützt.
Die Entwicklung bis 2026 spricht dagegen. Es gibt mehrere Anbieter mit vergleichbaren Fähigkeiten, mehrere Staaten mit eigenen Programmen und eine wachsende Zahl agentischer Anwendungen, die miteinander verhandeln, ohne dass ein Mensch dazwischentritt.
In dieser Lage entstehen Fehlerarten, die eine Zweierbeziehung nicht kennt. Zwei Systeme können jedes für sich vollständig ausgerichtet sein – jedes tut genau, was seine Auftraggeber wollen – und dennoch in einen Konflikt geraten, dessen Ausgang niemand wollte. Das ist kein Ausrichtungsfehler, sondern die bekannte Eigenschaft von Verhandlungen unter unvereinbaren Zielen.
Darin liegt der eigenständige Beitrag dieser Einrichtung: Sie beschreibt einen Schadensweg, der offenbleibt, auch wenn das Ausrichtungsproblem gelöst wäre.
Verwandte Begriffe
- Suffering-Focused Ethics – ethische Grundlage der Ausrichtung
- Center for Reducing Suffering – Abspaltung mit anderem Schwerpunkt
- Magnus Vinding – Mitgründer der Schwestereinrichtung
- Effektiver Altruismus – Umfeld der Gründung
- Multi-Agent-Systeme – technischer Gegenstand der Forschung
- Existenzielles Risiko – benachbarte, ältere Kategorie
- Longtermism – geteilter Zeithorizont
Quellenangaben
- Center on Long-Term Risk: About Us und Veröffentlichungsverzeichnis. longtermrisk.org
- Clifton, Jesse (2019): Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda. Center on Long-Term Risk. longtermrisk.org
- Kokotajlo, Daniel (2019): The Commitment Races Problem. Beitrag auf LessWrong, 23. August 2019.
- Oesterheld, Caspar (2017): Multiverse-wide Cooperation via Correlated Decision Making. Foundational Research Institute.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.