Statement on AI Risk

Das Statement on AI Risk ist eine am 30. Mai 2023 vom Center for AI Safety veröffentlichte Erklärung, die aus einem einzigen Satz besteht:

Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

Übertragen: Die Minderung des Auslöschungsrisikos durch KI sollte weltweit ebenso vorrangig behandelt werden wie andere Risiken gesellschaftlichen Ausmaßes, etwa Pandemien und Atomkrieg.

Zusammenfassung

Die Erklärung ist bemerkenswert durch das, was sie nicht enthält. Sie fordert kein Moratorium, benennt keine Maßnahme, nennt keine Frist und keinen Adressaten. Diese Kargheit ist Absicht.

Zwei Monate zuvor hatte ein anderer offener Brief ein sechsmonatiges Aussetzen großer Trainingsläufe gefordert und war an seiner eigenen Konkretheit zerbrochen: Die Debatte drehte sich um die Durchführbarkeit des Moratoriums statt um die Sorge dahinter. Die Verkürzung auf einen Satz sollte genau das vermeiden.

Der zweite Zweck war ein Zählvorgang. Nach Angabe der Initiatoren war innerhalb des Feldes verbreitet, die Sorge um Auslöschungsrisiken teile nur eine Handvoll Sonderlinge. Eine Unterschriftenliste, die die Leitungen der drei führenden Labore, mehrere Turing-Preisträger und einen Teil der akademischen Spitze umfasst, widerlegt das als Beschreibung der Fachgemeinschaft.

Gegen die Erklärung wurde von Beginn an eingewandt, sie lenke von belegten gegenwärtigen Schäden ab und diene den Interessen der etablierten Anbieter. Der erste dieser Vorwürfe wurde 2025 empirisch geprüft – mit einem Ergebnis, das ihn nicht stützt.

Begriffsgeschichte

Die Form geht auf einen Vorschlag des Cambridger Forschers David Krueger zurück, statt eines längeren Briefs einen einzelnen Satz zu formulieren, um eine breitere Zustimmung zu ermöglichen. Das Center for AI Safety, eine gemeinnützige Einrichtung in San Francisco unter Leitung von Dan Hendrycks, setzte ihn um und gibt an, den Text ohne Beteiligung der Industrie erstellt zu haben.

Hendrycks begründete die Kürze damit, dass eine Liste von dreißig möglichen Eingriffen die Botschaft verwässert hätte. Jede Unterschrift wird nach Angaben der Einrichtung einzeln per E-Mail bestätigt.

Zum Zeitpunkt der Veröffentlichung berichtete die New York Times von mehr als 350 Unterzeichnenden aus Forschung, Industrie und Technik. Eine fortlaufend aktualisierte Gesamtzahl veröffentlicht die Einrichtung nicht.

Die Unterzeichnenden

Die Liste vereint Personen, die in fast jeder anderen Frage uneins sind.

Aus der Forschung unterzeichneten die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio, dazu Stuart Russell, Dawn Song, Andrew Barto und Peter Norvig. Hinton war vier Wochen zuvor bei Google ausgeschieden und wird in der Liste mit seiner Torontoer Emeritur geführt.

Aus der Industrie unterzeichneten die Vorstandsvorsitzenden aller drei führenden Labore – Sam Altman, Demis Hassabis und Dario Amodei – sowie Ilya Sutskever, Mira Murati, Shane Legg und die Technikvorstände von Microsoft. Hinzu kamen Bill Gates, Jaan Tallinn, Ray Kurzweil, die Philosophen Daniel Dennett, David Chalmers und Peter Singer, der US-Abgeordnete Ted Lieu sowie die taiwanische Digitalministerin Audrey Tang.

Wer nicht unterzeichnete

Yann LeCun, der dritte Turing-Preisträger des Jahrgangs 2018, unterschrieb nicht. Er nannte die Vorstellung, ein überlegenes System übernehme die Welt, wenige Wochen später „geradezu lächerlich” und stellte die Motivfrage: Ein Unternehmen in Führung habe ein Interesse daran, die Tür hinter sich zuzuziehen.

Joelle Pineau, damals Forschungsleiterin bei Meta, formulierte den strukturellen Einwand: Wer einem Ausgang unendliche Kosten zuweise, mache jede Abwägung gegen andere Ausgänge unmöglich – das nehme dem Raum den Sauerstoff für jede andere Diskussion.

Timnit Gebru bezeichnete die Erklärung als Ablenkungsmanöver: Einem Werkzeug Handlungsfähigkeit zuzuschreiben sei ein Fehler, und wer so spreche, seien buchstäblich dieselben Leute, die Milliarden in diese Unternehmen gesteckt hätten.

Frederike Kaltheuner von Human Rights Watch stellte die Frage nach dem Subjekt: Wessen Auslöschung? Menschen, die seit jeher an den Rand gedrängt werden, kämen bereits jetzt zu Schaden.

Émile P. Torres ordnete die Erklärung in das gemeinsam mit Gebru benannte TESCREAL-Bündel ein und argumentierte, dessen Vertreter fürchteten nicht das Ende der Gattung als solches, sondern nur ein Ende ohne Nachfolger.

Verhältnis zum Pausenbrief

Die Erklärung wird häufig mit dem offenen Brief verwechselt, den das Future of Life Institute Ende März 2023 veröffentlichte. Beide stammen aus demselben Frühjahr und teilen einen Teil der Unterzeichnenden, sind aber verschiedene Dokumente mit gegenläufiger Bauart.

Der Unterschied erklärt die Wirkung. Der Pausenbrief war angreifbar, weil er etwas Bestimmtes verlangte; Altman bemängelte fehlende technische Genauigkeit, Gates hielt das Aussetzen einer einzelnen Gruppe für untauglich. Die Erklärung vom Mai verlangte nichts und war deshalb schwerer zurückzuweisen – ein Vorteil, der zugleich ihr Hauptmangel ist.

Auf den Pausenbrief antworteten vier Wochen nach dessen Erscheinen die Verfasserinnen von Stochastic Parrots mit einer eigenen Erklärung des DAIR-Instituts. Deren Kern: Die Schäden seien real und gegenwärtig und folgten aus dem Handeln von Menschen und Unternehmen; Regulierung solle bei Transparenz, Rechenschaft und Arbeitsbedingungen ansetzen statt bei eingebildeten mächtigen digitalen Geistern.

Kontroversen und Kritik

Interessen der Etablierten. Der schärfste Vorwurf lautet, die Erklärung diene der Marktabschottung. Andrew Ng formulierte ihn im Oktober 2023 am deutlichsten: Große Anbieter verbreiteten die Auslöschungsfurcht als Teil einer Kampagne zur regulatorischen Vereinnahmung, um sich quelloffene Konkurrenz vom Leib zu halten. Die Vorstellung selbst nannte er außerordentlich dumm.

Ablenkung von gegenwärtigen Schäden. Der verbreitetste Einwand, vorgetragen von Gebru, Kaltheuner, Torres, Meredith Whittaker und einem offenen Brief aus dem Umfeld der FAccT-Konferenz. Hendrycks hielt dagegen, Gesellschaften könnten mehrere Risiken zugleich bearbeiten; es gehe nicht um ein Entweder-oder.

Ein Satz ohne Adressat. Ein Einwand, der aus keiner Richtung besonders laut vorgetragen wurde und dennoch trägt: Eine Erklärung ohne Forderung lässt sich von jeder Seite unterschreiben, ohne dass daraus etwas folgt. Der Preis der breiten Zustimmung ist, dass sie zu nichts verpflichtet.

Wirkung

Regierungsstellen reagierten binnen Tagen. Der britische Premierminister verwies auf die Erklärung und kündigte an, die Regierung sehe sich das sehr genau an; das Weiße Haus äußerte sich ähnlich. Der Text wird seither in offiziellen Dokumenten zitiert, darunter ein Zwischenbericht des britischen Unterhauses und der von Bengio geleitete internationale Sachstandsbericht zur KI-Sicherheit.

Ein kausaler Einfluss auf ein bestimmtes Gesetz lässt sich dagegen nicht belegen. Die Erklärung von Bletchley Park vom November 2023 spricht von möglichen katastrophalen Schäden und von Kontrollproblemen, verwendet das Wort Auslöschung aber nicht. Der EU AI Act wurde parallel verhandelt, nicht in Reaktion darauf.

Belastbar ist die Wirkung auf den Diskurs: Die Erklärung ist der Standardbeleg geworden, mit dem die Existenzrisiko-Position in der Fachliteratur zitiert wird.

Stand 2025/2026

Politisch hat sich die Lage von der Rahmung des Jahres 2023 entfernt. Die Gipfelreihe, die in Bletchley Park als AI Safety Summit begann, trat im Februar 2025 in Paris als AI Action Summit zusammen; der US-Vizepräsident eröffnete seine Rede dort mit der Feststellung, er sei nicht gekommen, um über KI-Sicherheit zu sprechen. Das geforderte Moratorium des Pausenbriefs kam nie zustande.

Wissenschaftlich hat sich unterdessen der Hauptvorwurf gegen die Erklärung überprüfen lassen. Emma Hoes und Fabrizio Gilardi (Universität Zürich) legten 2025 drei vorregistrierte Experimente mit insgesamt 10.800 Teilnehmenden in den USA und Großbritannien vor.

Das Ergebnis fällt zweiteilig aus. Befragte sorgen sich deutlich stärker um unmittelbare als um existenzielle Risiken. Und die Konfrontation mit Auslöschungserzählungen erhöht zwar die Sorge um katastrophale Risiken, verringert aber die Sorge um gegenwärtige Schäden nicht.

Der Befund entkräftet nicht die Kritik an der Erklärung insgesamt. Der Vorwurf der regulatorischen Vereinnahmung bleibt davon unberührt, ebenso die Frage, wem eine Erklärung ohne Forderung nützt. Widerlegt ist nur die spezifische Annahme, dass die Aufmerksamkeit ein Nullsummenspiel sei – die Vermutung, die der Kritik ihre Dringlichkeit gab.

Verwandte Begriffe

• Center for AI Safety – herausgebende Einrichtung
• Existenzielles Risiko – der Gegenstand der Erklärung
• Doomerism – die Haltung, deren Zuschreibung die Erklärung auslöste
• TESCREAL – die ideologiekritische Einordnung ihrer Herkunft
• DAIR – Institut, dessen Gegenerklärung die andere Position formuliert
• Timnit Gebru – prominenteste Kritikerin
• Yann LeCun – prominentester Nichtunterzeichner
• Geoffrey Hinton – Unterzeichner, vier Wochen zuvor bei Google ausgeschieden
• Dan Hendrycks – Leiter der herausgebenden Einrichtung
• Future of Life Institute – Herausgeber des vorangegangenen Pausenbriefs

Quellenangaben

1. Center for AI Safety, 2023. Statement on AI Risk. safe.ai, 30. Mai 2023.
2. Future of Life Institute, 2023. Pause Giant AI Experiments: An Open Letter. futureoflife.org, März 2023.
3. Gebru, Timnit / Bender, Emily M. / McMillan-Major, Angelina / Mitchell, Margaret, 2023. Statement from the Listed Authors of Stochastic Parrots on the „AI Pause” Letter. DAIR Institute, 31. März 2023.
4. Heikkilä, Melissa, 2023. Meta’s AI Leaders Want You to Know Fears over AI Existential Risk Are „Ridiculous”. MIT Technology Review, 20. Juni 2023.
5. Hoes, Emma / Gilardi, Fabrizio, 2025. Existential Risk Narratives about AI Do Not Distract from Its Immediate Harms. In: Proceedings of the National Academy of Sciences 122 (16), e2419055122. DOI: 10.1073/pnas.2419055122.
6. Ryan-Mosley, Tate, 2023. Do AI Systems Need to Come with Safety Warnings? MIT Technology Review, 12. Juni 2023.
7. Torres, Émile P., 2023. AI and the Threat of „Human Extinction”: What Are the Tech Bros Worried About? Salon, 11. Juni 2023.
8. Vincent, James, 2023. Top AI Researchers and CEOs Warn against „Risk of Extinction” in 22-Word Statement. The Verge, 30. Mai 2023.

← Zurück zur Lexikon-Übersicht