AI Safety Institutes (AISI) sind staatliche oder halbstaatliche Institutionen, die fortgeschrittene KI-Modelle unabhängig von den Herstellerunternehmen auf Sicherheitsrisiken prüfen und Regierungen wissenschaftlich beraten. Das erste entstand im November 2023 im Vereinigten Königreich, im Umfeld des AI Safety Summit in Bletchley Park; seither haben mehr als zehn weitere Staaten sowie die EU vergleichbare Stellen eingerichtet.
Gemeinsam ist den Instituten der Auftrag, Frontier-Modelle – die jeweils leistungsfähigsten verfügbaren Frontier Models – vor oder nach ihrer Veröffentlichung auf gefährliche Fähigkeiten zu testen, etwa im Bereich Cyberangriffe, biologische und chemische Waffen oder autonomes Handeln. Anders als Aufsichtsbehörden im engeren Sinn verfügen die meisten AI Safety Institutes über keine eigenen Durchsetzungsbefugnisse; sie evaluieren, veröffentlichen Methoden und beraten, sanktionieren aber in der Regel nicht.
Zusammenfassung
Der AI Safety Summit in Bletchley Park im November 2023 markierte den Ausgangspunkt: Das Vereinigte Königreich gründete dort sein AI Safety Institute als Weiterentwicklung der bereits im April 2023 eingerichteten Frontier AI Taskforce, die USA kündigten im selben Monat ihr eigenes Institut im US-Handelsministerium an. Bis Mitte 2024 folgten Japan, Singapur, Kanada, die EU und weitere Staaten mit eigenen Einrichtungen. Im November 2024 gründeten die Gründungsmitglieder in San Francisco das International Network of AI Safety Institutes, um Testmethoden zu koordinieren.
2025 verschob sich der politische Wind spürbar in Richtung Sicherheit im engeren, staatlich-defensiven Sinn statt umfassender Risikoprüfung: Das UK-Institut benannte sich im Februar 2025 in AI Security Institute um, das US-Institut im Juni 2025 in Center for AI Standards and Innovation (CAISI). Beide Umbenennungen fielen zeitlich mit dem AI Action Summit in Paris zusammen, auf dem sich der rhetorische Fokus der internationalen Gipfelserie insgesamt von “Safety” zu “Action” verschob (siehe AI Safety Summit).
Abgrenzung
EU AI Act / EU AI Office – Der AI Act ist verbindliches Recht mit Sanktionsbefugnis; das im Februar 2024 eingerichtete EU AI Office überwacht als Vollzugsbehörde die Pflichten von General-Purpose-KI-Anbietern. AI Safety Institutes dagegen sind primär Forschungs- und Testeinrichtungen ohne eigene Durchsetzungsmacht – auch wenn ihre Erkenntnisse in Regulierung einfließen können.
Frontier Model Forum – ein von den KI-Unternehmen selbst getragenes Industriegremium; AI Safety Institutes sind demgegenüber staatlich verantwortet und unabhängig von den geprüften Unternehmen finanziert.
Center for AI Safety und ähnliche Non-Profits – gemeinnützige, privat finanzierte Forschungsorganisationen ohne Regierungsauftrag; AI Safety Institutes handeln im Regierungsauftrag und mit öffentlichen Mitteln.
Begriffsgeschichte
April 2023 – Das Vereinigte Königreich richtet die Frontier AI Taskforce ein, den Vorläufer seines späteren Instituts.
Oktober/November 2023 – Die USA kündigen im Zuge einer Durchführungsverordnung Präsident Bidens die Einrichtung eines US AI Safety Institute im Handelsministerium an, angesiedelt beim National Institute of Standards and Technology (NIST). Am 1. und 2. November 2023 findet in Bletchley Park der erste AI Safety Summit statt; das Vereinigte Königreich gründet dort offiziell sein AI Safety Institute.
Februar 2024 – Japan richtet im Rahmen der Information-technology Promotion Agency (IPA) sein AI Safety Institute ein. Die EU-Kommission beschließt die Einrichtung des EU AI Office, das im Februar 2024 formell in Kraft tritt.
Mai 2024 – Beim zweiten Gipfel in Seoul kündigt Singapur die Umwandlung seines Digital Trust Centre in ein AI Safety Institute an; Südkorea kündigt ein eigenes Institut an. Auf dem Gipfel vereinbaren mehrere Staaten zudem die Gründung eines internationalen Netzwerks der Institute.
November 2024 – Die USA richten in San Francisco die Gründungssitzung des International Network of AI Safety Institutes aus, mit Vertreter:innen aus Australien, Kanada, der EU-Kommission, Frankreich, Japan, Kenia, Südkorea, Singapur, dem Vereinigten Königreich und den USA.
Februar 2025 – Im Anschluss an den AI Action Summit in Paris benennt das Vereinigte Königreich sein Institut in AI Security Institute um; der Fokus verschiebt sich stärker auf Cyber- und nationale Sicherheit, weg von breiteren Themen wie Bias oder gesellschaftlichen Auswirkungen.
Juni 2025 – Das US-Handelsministerium unter Secretary Howard Lutnick benennt das US AI Safety Institute in Center for AI Standards and Innovation (CAISI) um. Die neue Ausrichtung betont Standards, wirtschaftliche Wettbewerbsfähigkeit und den Schutz amerikanischer Technologien vor als belastend empfundener ausländischer Regulierung, statt eines breiten Sicherheitsauftrags.
Methodische Grundlagen
AI Safety Institutes arbeiten überwiegend mit Modellevaluationen (Evals): standardisierten oder eigens entwickelten Testreihen, mit denen geprüft wird, ob ein Modell gefährliche Fähigkeiten besitzt oder sich zu gefährlichem Verhalten anleiten lässt. Zu den wiederkehrenden Testfeldern zählen Cyberoffensivfähigkeiten, Unterstützung bei der Entwicklung biologischer, chemischer, radiologischer oder nuklearer Waffen (CBRN), autonome Handlungsfähigkeit ohne menschliche Aufsicht sowie das Umgehen von Sicherheitsvorkehrungen. Die Institute greifen dabei teils auf sogenannte Red-Teaming-Verfahren zurück, bei denen gezielt versucht wird, ein Modell zu unerwünschtem Verhalten zu bewegen.
Ein wiederkehrendes methodisches Problem ist der Zugang: Vorab-Tests (Pre-Deployment-Evaluationen) setzen freiwillige Kooperation der Unternehmen voraus, die den Instituten Zugriff auf noch unveröffentlichte Modelle gewähren müssen. Mehrere Institute, darunter das britische, haben mit einzelnen Anbietern Kooperationsvereinbarungen geschlossen; ein rechtlich erzwingbarer Zugang besteht in den meisten Rechtsordnungen nicht. Die im Rahmen des AI Safety Summit in Seoul 2024 vereinbarten Frontier AI Safety Commitments – freiwillige Selbstverpflichtungen von zunächst 16 Unternehmen – bauen auf dieser Kooperationslogik auf, ohne sie rechtlich verbindlich zu machen.
Der International AI Safety Report, unter Leitung von Yoshua Bengio mit Beteiligung von Forschenden aus zahlreichen Ländern erstellt, bündelt den wissenschaftlichen Kenntnisstand zu KI-Risiken und dient mehreren nationalen Instituten als gemeinsame Referenzgrundlage, ohne selbst ein Produkt eines einzelnen AI Safety Institute zu sein.
Anwendungsfelder
Modellprüfung vor Veröffentlichung. Institute wie das britische AI Security Institute erhalten in einzelnen Fällen vorab Zugriff auf noch nicht veröffentlichte Frontier-Modelle, um sie vor dem öffentlichen Rollout auf riskante Fähigkeiten zu testen.
Forschung zu Testmethoden. Ein erheblicher Teil der Institutsarbeit gilt der Entwicklung neuer Evaluationsverfahren selbst – etwa robusterer Methoden zur Messung von Täuschungsverhalten, Zielgerichtetheit oder Fähigkeiten im Bereich mechanistischer Interpretierbarkeit –, da bestehende Benchmarks häufig als unzureichend gelten.
Politikberatung. Die Institute liefern Regierungen technische Einschätzungen, die in Regulierungsentscheidungen einfließen können, etwa in die Ausgestaltung von Verpflichtungen für Anbieter von KI-Systemen mit systemischem Risiko im Rahmen des EU AI Act.
Internationale Koordination. Über das International Network of AI Safety Institutes tauschen die Mitgliedsinstitute Testmethoden und Erkenntnisse aus, um Doppelarbeit zu vermeiden und gemeinsame Standards für die Bewertung von Frontier-Modellen zu entwickeln.
Kontroversen und Kritik
Fehlende Durchsetzungsbefugnis. Die meisten AI Safety Institutes können Modelle testen und öffentlich berichten, aber weder eine Veröffentlichung untersagen noch Sanktionen verhängen. Kritiker:innen sehen darin eine strukturelle Schwäche gegenüber verbindlicher Regulierung wie dem EU AI Act.
Freiwilligkeit des Zugangs. Da Unternehmen den Instituten Vorab-Zugriff auf unveröffentlichte Modelle nicht rechtlich schulden, bleibt die Aussagekraft der Prüfungen von der Kooperationsbereitschaft der geprüften Firmen abhängig – ein Interessenkonflikt, der in der Fachdebatte wiederholt benannt wird.
Politische Neuausrichtung 2025. Die Umbenennungen des britischen und des US-amerikanischen Instituts wurden von Beobachter:innen unterschiedlich bewertet. Befürworter:innen der Umbenennungen argumentierten, ein schärferer Fokus auf konkrete Sicherheitsrisiken – Cyberangriffe, CBRN-Fähigkeiten – sei zielführender als ein diffuser “Safety”-Auftrag. Kritiker:innen sahen darin eine Abkehr von breiteren gesellschaftlichen Risiken wie Verzerrung (Bias) und eine Anpassung an eine unternehmensfreundlichere Regulierungsagenda, die mit dem Regierungswechsel in den USA und der Verschiebung der internationalen Gipfelserie von “Safety” zu “Action” zusammenfiel.
Uneinheitliche Mandate. Die einzelnen nationalen Institute unterscheiden sich erheblich in Größe, Budget, gesetzlicher Grundlage und Testtiefe. Während einige Institute über eigene technische Testinfrastruktur verfügen, sind andere primär als Koordinationsstellen mit begrenzten eigenen Prüfkapazitäten angelegt. Diese Uneinheitlichkeit erschwert nach Einschätzung mehrerer Analysen den Aufbau vergleichbarer, international anerkannter Sicherheitsstandards.
Zukunft der internationalen Koordination. Ob das International Network of AI Safety Institutes angesichts der unterschiedlichen nationalen Neuausrichtungen 2025 seine ursprüngliche Ambition einer gemeinsamen Teststandardisierung erreichen kann, gilt in der Fachdiskussion als offen.
Verwandte Begriffe
- Existenzielles Risiko – einer der ursprünglichen Risikorahmen, der die Gründung der ersten Institute motivierte
- Mechanistische Interpretierbarkeit – Forschungsmethode zur Verbesserung von Evaluationsverfahren für Frontier-Modelle
- Systemisches Risiko – Kategorie für KI-Systeme mit erheblichen Auswirkungen, deren Risiken Institute beurteilen
Quellenangaben
- UK Department for Science, Innovation and Technology, 2023. The Bletchley Declaration by Countries Attending the AI Safety Summit, 1–2 November 2023. gov.uk.
- U.S. Department of Commerce, 2023. At the Direction of President Biden, Department of Commerce to Establish U.S. Artificial Intelligence Safety Institute to Lead Efforts on AI Safety. Pressemitteilung, 1. November 2023.
- NIST, 2024. U.S. Secretary of Commerce Raimondo and U.S. Secretary of State Blinken Announce Inaugural Convening of International Network of AI Safety Institutes in San Francisco. nist.gov, September/November 2024.
- NIST, 2024. FACT SHEET: U.S. Department of Commerce & U.S. Department of State Launch the International Network of AI Safety Institutes at Inaugural Convening in San Francisco. nist.gov, 20.–21. November 2024.
- Ministry of Economy, Trade and Industry (METI) Japan, 2024. Launch of AI Safety Institute. meti.go.jp, 14. Februar 2024.
- UK Department for Science, Innovation and Technology, 2025. AI Security Institute – Written Statement. questions-statements.parliament.uk, 24. Februar 2025.
- NIST, 2025. Center for AI Standards and Innovation (CAISI). nist.gov/caisi.
- Europäische Kommission, 2024. Commission Decision of 24 January 2024 establishing the European Artificial Intelligence Office. Amtsblatt der EU, C/2024/1459.