Center for AI Safety

Center for AI Safety (Abkürzung CAIS) ist eine 2022 in San Francisco gegründete gemeinnützige Organisation, die sich der Reduzierung gesellschaftlicher Risiken durch KI-Systeme widmet.

Bekannt wurde CAIS in der KI-Debatte vor allem durch das Statement on AI Risk (Mai 2023) – ein einzeiliges Dokument, das das Risiko einer KI-verursachten menschlichen Auslöschung als globale Priorität mit Pandemien und Atomkriegen gleichstellte. Es wurde von über 500 KI-Forschenden und Persönlichkeiten unterzeichnet, darunter Geoffrey Hinton, Yoshua Bengio, Sam Altman, Dario Amodei und Demis Hassabis.

CAIS wurde von Dan Hendrycks (* 1994) gegründet, einem Forscher, der zuvor an der University of California, Berkeley promoviert hatte und durch eine Reihe einflussreicher Beiträge zu KI-Benchmarks, robustem maschinellem Lernen und KI-Sicherheitsbewertungen bekannt ist.

Stand 2025/2026 ist CAIS eine der am stärksten wachsenden Institutionen im KI-Sicherheitsfeld und hat neben dem Statement mehrere einflussreiche Arbeiten zu AI Safety Benchmarks, Catastrophic Risk Taxonomy und AI Safety-Lehrressourcen veröffentlicht.

Zusammenfassung

CAIS nimmt im Institutionenfeld eine Position ein, die zwischen MIRIs formaler Grundlagenforschung und Anthropics produktionsnaher Sicherheitsforschung angesiedelt ist.

Das Zentrum betreibt primär angewandte Sicherheitsforschung – Benchmarks zur Messung riskanter Modellfähigkeiten, taxonomische Analysen von KI-Schadensszenarien, Bildungsressourcen für die Sicherheitsforschungsgemeinschaft – und kombiniert dies mit öffentlichkeitswirksamer Kommunikation zu KI-Risiken.

Dan Hendrycks hat durch eine Reihe methodisch kanonischer Benchmarks – MMLU (Measuring Massive Multitask Language Understanding, 2021), ETHICS (2021), TruthfulQA (2022, Co-Autor), MMLU-Pro (2024) – die empirische Messung von Sprachmodell-Fähigkeiten und -Werten methodisch mitgeprägt.

Das Statement on AI Risk (Mai 2023) ist das öffentlichkeitswirksamste Einzeldokument des CAIS und wurde in seiner politischen und wissenschaftlichen Wirkung unterschiedlich bewertet: als überfällige Warnung durch KI-Sicherheitsbefürworter, als Panikmache ohne methodische Grundlage durch Kritiker wie LeCun, Bender und Gebru.

Geschichte

Gründung und institutioneller Hintergrund (2022)

Dan Hendrycks promovierte an der University of California, Berkeley, bei Dawn Song und Jacob Steinhardt – zwei der methodisch einflussreichsten Forschenden in robustem maschinellem Lernen und KI-Sicherheitsbewertungen.

Während seiner Promotionszeit publizierte Hendrycks mehrere vielzitierte Benchmarks und Sicherheitsbeiträge. CAIS wurde 2022 als eigenständige gemeinnützige Organisation gegründet; die Finanzierung stammt aus dem EA-nahen philanthropischen Umfeld, darunter Open Philanthropy und weitere effektive-Altruismus-assoziierte Geldgeber.

Die institutionelle Positionierung von CAIS unterscheidet sich von MIRI durch den stärkeren Fokus auf empirisch messbare, gegenwärtige oder nahegelegene Risiken statt auf ferne formale Alignment-Probleme. Von Anthropic grenzt sie sich durch die Unabhängigkeit von kommerziellen Produkten ab, von FLI durch den stärkeren Akzent auf technische Forschungsarbeit statt auf Policy-Kommunikation.

MMLU und Benchmark-Beiträge (2021–2024)

Measuring Massive Multitask Language Understanding (Hendrycks u. a. ICLR 2021, arXiv 2009.03300) stellte einen Benchmark vor, der Sprachmodelle in 57 Aufgabenfeldern – von Mathematik über Recht bis Medizin – testet und damit eine umfassendere Alternative zu einzelaufgaben-orientierten Benchmarks etablierte.

MMLU wurde zum meistgenutzten allgemeinen Benchmark für große Sprachmodelle und ist in praktisch allen Frontier-Modell-Evaluierungsberichten enthalten. MMLU-Pro (Wang u. a. 2024, arXiv 2406.01574) erweiterte den Benchmark um schwierigere, mehrschrittige Aufgaben, nachdem führende Modelle MMLU-Sättigungsniveaus erreicht hatten.

Aligning AI with Shared Human Values (Hendrycks u. a. 2021, arXiv 2008.02275) – der ETHICS-Benchmark – testete, ob Sprachmodelle in fünf ethischen Kategorien (Gerechtigkeit, Wohlbefinden, Tugenden, Pflichten, Verträge) menschlichen moralischen Urteilen nahekommen.

TruthfulQA (Lin u. a. ACL 2022, arXiv 2109.07958, Co-Autor Hendrycks) maß systematisch die Neigung von Sprachmodellen zu falschen Antworten auf Fragen, bei denen menschliche Fehlüberzeugungen häufig sind.

X-Risk Persuasion und Natural Selection (2022–2023)

Unsolved Problems in ML Safety (Hendrycks u. a. 2022, arXiv 2109.13916) identifizierte vier Hauptforschungsfelder: Robustheit gegenüber Verteilungsverschiebungen, Monitoring, Ausrichtung und externe Sicherheit.

Natural Selection Favors AIs over Humans (Hendrycks 2023, arXiv 2303.16200) ist eine der explizitesten Artikulierungen der evolutionären Argumentationslinie in der KI-Risiko-Literatur. Hendrycks argumentiert darin, dass KI-Systeme, die auf instrumentelle Ziele ausgerichtet werden, durch einen Analogieprozess zu natürlicher Selektion dominante Eigenschaften entwickeln könnten, die mit menschlichem Wohlbefinden inkompatibel sind.

Statement on AI Risk (Mai 2023)

Am 30. Mai 2023 veröffentlichte CAIS das Statement on AI Risk – ein einzeiliges Dokument: „Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.”

Das Statement wurde von über 500 Unterzeichnenden unterstützt, darunter Geoffrey Hinton, Yoshua Bengio, Sam Altman, Dario Amodei, Demis Hassabis, Stuart Russell und viele weitere bekannte KI-Forschende. Hinton hatte Google kurz zuvor verlassen, um uneingeschränkt über KI-Risiken sprechen zu können.

Das Statement war in seiner Kürze und Direktheit bewusst von längeren Dokumenten wie dem FLI-Pause-Brief abgegrenzt; es forderte keine konkreten Maßnahmen, sondern eine Priorisierung des Themas.

Die Unterzeichnerschaft aus dem innersten Kern der Frontier-Lab-Führungsriege – Altman, Amodei, Hassabis – wurde in der Sekundärliteratur ambivalent bewertet: einerseits als Zeichen eines breiten wissenschaftlichen Konsenses, andererseits als Interessenkollision von Unternehmen, die selbst die Systeme entwickeln, die sie als existenzgefährdend beschreiben.

AI Safety-Lehrressourcen und Community-Building (2023–2026)

CAIS koordiniert den AI Safety Fundamentals-Kurs (in Kooperation mit BlueDot Impact), der in den Jahren 2023–2026 mehrere tausend Teilnehmende aus KI-Forschung, Politik und verwandten Feldern erreicht hat. Das Zentrum organisiert Workshops, Fellowships und Stipendienprogramme für Forschende, die in das KI-Sicherheitsfeld einsteigen, und hat damit zur Professionalisierung und Institutionalisierung des Feldes beigetragen.

Leitungserweiterung und Frontier Security Institute (Juni 2026)

Am 2. Juni 2026 gab CAIS eine Erweiterung der Organisationsleitung bekannt: Devin Kim, zuvor früher Mitarbeiter bei xAI (dort zuständig für Post-Training-Tooling und Forschungsinfrastruktur der Grok-Modelle) und davor Sicherheits-Ingenieur bei Scale AI, wurde als President berufen; Dan Hendrycks bleibt Executive Director.

Gleichzeitig gründete CAIS das in Washington, D.C., ansässige Frontier Security Institute (FSI), das als „Übersetzungsebene” zwischen Frontier-KI-Entwicklung und dem nationalen Sicherheitsapparat der USA fungieren soll und sich mit Modellsicherheit, Testprotokollen und geopolitischen Implikationen fortgeschrittener KI-Systeme befasst.

Executive Director des FSI ist Isaac „Ike” Harris, ein 23-jähriger Marineveteran und ehemaliger Berater des US-Verteidigungsministeriums für China-Technologiesicherheit.

Kontroversen und Kritik

Auslöschungsrhetorik ohne Grundlage: Yann LeCun, Emily Bender, Timnit Gebru und weitere kritisierten das Statement on AI Risk als Panikmache, die eine spezifische – existenzrisikoorientierte – Risikotheorie als scheinbaren wissenschaftlichen Konsens verpacke, ohne dass die zugrundeliegenden Prämissen belegt seien.

Gebru und Torres (2024) analysierten das Statement als Kommunikationsstrategie, die TESCREAL-ideologische Inhalte in die öffentliche und politische Wahrnehmung trägt.

Interessenkollision der Unterzeichner: Die Unterzeichnung durch Altman, Amodei und Hassabis – CEOs der größten Frontier-Labs – wurde in der Sekundärliteratur als strukturelle Ambivalenz diskutiert: Unternehmen, die beschleunigt leistungsfähigere KI-Systeme entwickeln, warnen zugleich öffentlich vor deren existenziellen Risiken.

Diese Konstellation wird von Kritikern als Normalisierungsstrategie gedeutet, die regulatorische Aufmerksamkeit auf hypothetische Langfrist-Risiken lenkt und von gegenwärtigen Schadensfragen ablenkt (Whittaker 2021; Crawford 2021).

EA-Finanzierungsabhängigkeit: Die Abhängigkeit von EA-nahen Fördergebern wird als potenzielle Einschränkung der Unabhängigkeit diskutiert; CAIS tendiert dazu, Forschungsfragestellungen zu priorisieren, die mit der EA-Risikophilosophie kompatibel sind.

Stand 2025/2026

Stand August 2026 ist CAIS eine wachsende Organisation mit zunehmendem Einfluss auf KI-Sicherheitsstandards, Benchmark-Design und politische Debatten um Frontier-Modell-Regulierung.

Hendrycks ist weiterhin Executive Director, seit Juni 2026 unterstützt durch Devin Kim als President; das Zentrum hat seine Benchmarking-Aktivitäten auf multimodale Systeme und agentische KI ausgeweitet und mit dem Frontier Security Institute eine eigene, auf nationale Sicherheit fokussierte Schwesterorganisation gegründet. Die Diskussion um MMLU-Sättigung und adäquate Nachfolge-Benchmarks ist ein aktives Feld.

Verwandte Begriffe

• Dan Hendrycks – Gründer und Direktor
• Existenzielles Risiko – zentrales Konzept des Statements
• AI Alignment – Hauptforschungsfeld
• Foundation Models – Evaluierungsgegenstand
• Mechanistic Interpretability – verwandtes Forschungsfeld
• MIRI – älteres, formaler ausgerichtetes Institut
• Future of Life Institute – policy-orientiertes Pendant
• Effective Altruism – Finanzierungskontext
• Longtermism – ideologischer Hintergrund

Quellenangaben

1. Center for AI Safety, 2023. Statement on AI Risk. safe.ai, 30. Mai 2023.
2. Center for AI Safety, 2026. Center for AI Safety Names Former xAI Leader Devin Kim President and Establishes Frontier Security Institute in Major Expansion of Leadership and Reach. Business Wire, 2. Juni 2026. https://www.businesswire.com/news/home/20260602858810/en/
3. Crawford, Kate, 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence.
4. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
5. Hendrycks, Dan u. a., 2021. Measuring Massive Multitask Language Understanding. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.03300. (MMLU).
6. Hendrycks, Dan u. a., 2021. Aligning AI with Shared Human Values. arXiv: 2008.02275. (ETHICS Benchmark).
7. Hendrycks, Dan u. a., 2022. Unsolved Problems in ML Safety. arXiv: 2109.13916.
8. Hendrycks, Dan, 2023. Natural Selection Favors AIs over Humans. arXiv: 2303.16200.
9. Lin, Stephanie / Hilton, Jacob / Evans, Owain, 2022. TruthfulQA: Measuring How Models Mimic Human Falsehoods. In: Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022), S. 3214–3252. DOI: 10.18653/v1/2022.acl-long.229.
10. Wang, Yubo u. a., 2024. MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark. arXiv: 2406.01574.
11. Whittaker, Meredith, 2021. The Steep Cost of Capture. In: Interactions 28 (6), S. 50–55. DOI: 10.1145/3488666.

← Zurück zur Lexikon-Übersicht