Der International AI Safety Report ist ein internationaler wissenschaftlicher Sachstandsbericht zu den Risiken fortgeschrittener KI-Systeme, erstellt von rund hundert Fachleuten unter dem Vorsitz von Yoshua Bengio. Er fasst den Forschungsstand zusammen, spricht aber keine Politikempfehlungen aus – nach Bengios eigener Auskunft eine Auflage der auftraggebenden Regierungen, kein selbstgewähltes Prinzip. Ein Wissenssynthese-Dokument, kein Regelwerk.
Sein Mandat stammt vom ersten AI Safety Summit in Bletchley Park – allerdings nicht aus der bekannten Bletchley-Erklärung selbst, sondern aus einer separaten Vorsitz-Erklärung vom 2. November 2023, ein Detail, das in der Berichterstattung regelmäßig verwechselt wird.
Zusammenfassung
Die britische Regierung ernannte Bengio noch am Abschlusstag des Bletchley-Gipfels zum Leiter. Das Projekt wechselte dabei zweimal den Namen: vom beauftragten “State of the Science Report” (2023) über den “International Scientific Report on the Safety of Advanced AI” (Zwischenbericht Mai 2024) zum heutigen Titel ab Januar 2025. In Literaturverzeichnissen sieht das wie drei verschiedene Werke aus, tatsächlich ist es ein einziges Vorhaben.
Selbst die Zahl der Mitwirkenden ist in der Primärquelle uneinheitlich: Das PDF der Erstausgabe nennt an drei Stellen 96 Fachleute, der zugehörige arXiv-Abstract 100.
Das Vorhaben arbeitet auf zwei Ebenen. Ein Expert Advisory Panel mit regierungsnominierten Vertreter:innen aus 30 Nationen sowie EU, UN und OECD begleitet den Prozess. Die eigentliche Autorenschaft liegt dagegen bei einer unabhängigen Writing Group, die allein der Vorsitzende beruft; über deren Inhalte behält er nach den offiziellen Verfahrensregeln die letzte Entscheidungsgewalt. Abweichende Meinungen des Panels können als Fußnoten vermerkt werden.
Nach einem Zwischenbericht im Mai 2024 erschien die erste vollständige Ausgabe am 29. Januar 2025, zwölf Tage vor dem Pariser AI Action Summit.
Der Bericht gliedert die Risiken in drei Kategorien – böswillige Nutzung, Fehlfunktionen und systemische Risiken – und behandelt daneben die Fähigkeiten von Allzweck-KI sowie technische Ansätze des Risikomanagements.
Bemerkenswert offen dokumentiert er den Dissens unter den eigenen Autor:innen: Manche halten gesellschaftsweite Schäden für Jahrzehnte entfernt, andere für eine Frage weniger Jahre. Für das Entscheiden unter dieser Unsicherheit prägt der Bericht den Begriff des “Evidence Dilemma”.
Die Ausgabe 2026
Am 3. Februar 2026, vor dem AI Impact Summit in Neu-Delhi, erschien die zweite Ausgabe – keine bloße Aktualisierung, sondern eine bewusste Verengung: Kapitel zu Bias, Umweltfolgen, Privatsphäre und Urheberrecht wurden gestrichen, der Fokus liegt nun auf Frontier-Risiken.
Neu sind eigene Schwerpunkte zu Reasoning-Modellen und agentischer KI, mit dem Befund, dass sich die Länge der Aufgaben, die KI-Agenten mit hoher Erfolgsquote bewältigen, etwa alle sieben Monate verdoppelt. Das Gesamturteil: Die Fähigkeiten steigen rasant, die Risiken sind substanziell gewachsen, die Schutzmaßnahmen verbessern sich, reichen aber nicht aus.
Geopolitisch auffällig: Die USA gaben zwar Feedback zu Entwürfen der 2026er-Ausgabe, unterzeichneten die Endfassung aber nicht – das Panel schrumpfte von 30 auf 29 Nationen; eine offizielle Begründung liegt nicht vor. China dagegen ist von Beginn an im Panel vertreten, auch in der zweiten Ausgabe.
Wichtig für die Einordnung: Die beteiligten Regierungen nominieren lediglich je eine Person für das beratende Panel – der Bericht selbst betont ausdrücklich, dass er weder die Ansichten dieser Regierungen wiedergibt noch von ihnen gebilligt wurde.
Der IPCC-Vergleich
Der Bericht wird häufig als “Weltklimarat für KI” beschrieben. Der Vergleich stammt von Bengio selbst und aus der britischen Regierungskommunikation – im Berichtstext selbst kommt das Wort IPCC nicht vor.
Methodisch trägt die Analogie nur teilweise: Die Zusammenfassungen des Weltklimarats werden von Regierungen Zeile für Zeile verhandelt, während hier die Writing Group volle inhaltliche Freiheit hat – der Bericht ist also regierungsunabhängiger als sein Vorbild.
Kritiker wenden zudem ein, dass der IPCC einen gefestigten wissenschaftlichen Konsens synthetisiert, während in der KI-Sicherheitsforschung ein solcher Konsens gerade fehlt, auch wegen kommerzieller Interessenkonflikte vieler Beteiligter.
Nicht zu verwechseln ist der Bericht mit dem 2025 gegründeten UN Independent International Scientific Panel on AI – einem eigenen Gremium, ebenfalls mit Bengio als Co-Vorsitzendem, das die 2026er-Ausgabe ausdrücklich als komplementär bezeichnet.
Kontroversen und Kritik
Der Bericht versucht, eine polarisierte Debatte zu versachlichen, in der sich prominente Forscher unversöhnlich gegenüberstehen – Yann LeCun hält Existenzrisiko-Sorgen für substanzlos, während Bengio und Geoffrey Hinton ernsthafte Bedrohungen sehen. Bengio selbst wertet es als Erfolg, dass die Debatte durch den Bericht evidenzbasierter geführt werde.
Bemerkenswert: Die Autorengruppe umfasst bewusst auch Skeptiker der Risiko-Rahmung, darunter Arvind Narayanan und Sayash Kapoor, die Autoren der Gegenposition “AI as Normal Technology”.
Die Kritik an dem Vorhaben richtet sich auf drei Punkte:
- IPCC-Analogie: die Grundsatzfrage, ob es einen synthetisierbaren Konsens überhaupt gibt.
- Strukturelle Unabhängigkeit: Der Bericht trägt Crown Copyright, sein Sekretariat sitzt im britischen AI Security Institute, und die regierungsnominierten Panel-Mitglieder wirken an der Auswahl der Senior Adviser mit. Die Unabhängigkeit gilt für die schreibende Gruppe, nicht für die institutionelle Hülle; eine dauerhafte internationale Heimat ist erklärtermaßen noch nicht gefunden.
- Politische Wirkungslosigkeit im entscheidenden Moment: Auf dem Pariser Gipfel, für den die erste Ausgabe geschrieben wurde, wurde der Bericht nur beiläufig präsentiert – die dort dominierende Rahmung wandte sich von Sicherheitsfragen ab, was Bengio öffentlich als verpasste Gelegenheit kritisierte.
Anders als der EU AI Act ist der Bericht rechtlich folgenlos – seine Wirkung hängt vollständig davon ab, ob Regierungen ihn lesen.
Verwandte Begriffe
- AI Safety Summit – die Gipfelserie, aus der das Mandat stammt
- Existenzielles Risiko – eine der umstrittenen Risikokategorien des Berichts
- Agentic AI – Schwerpunkt der Ausgabe 2026
- EU AI Act – das verbindliche Gegenstück auf europäischer Ebene
Quellenangaben
- Bengio, Yoshua u. a., 2025. International AI Safety Report. Department for Science, Innovation and Technology (DSIT), Research Series 2025/001, 29. Januar 2025. arXiv: 2501.17805.
- Bengio, Yoshua u. a., 2026. International AI Safety Report 2026. DSIT, Research Series 2026/001, 3. Februar 2026. arXiv: 2602.21012.
- Department for Science, Innovation and Technology, 2023. Chair’s Statement – State of the Science Report. AI Safety Summit Bletchley Park. gov.uk, 2. November 2023.