AI Control ist ein Sicherheitsansatz, der KI-Systeme absichert, ohne vorauszusetzen, dass sie tatsächlich ehrlich oder wohlgesinnt sind. Statt zu versuchen, ein System zuverlässig auszurichten, geht der Ansatz vom schlechtesten Fall aus: Was, wenn das Modell absichtlich versucht, Sicherheitsmaßnahmen zu unterlaufen?
Zusammenfassung
Redwood Research, bis dahin vor allem in der Interpretability-Forschung aktiv, wandte sich 2023 diesem neuen Forschungsschwerpunkt zu. Ryan Greenblatt und Kolleg:innen veröffentlichten im Dezember 2023 mit AI Control: Improving Safety Despite Intentional Subversion die erste systematische Formulierung. Im Mai 2024 folgte mit The Case for Ensuring That Powerful AIs Are Controlled von Buck Shlegeris und Greenblatt eine ausführliche Begründung, warum dieser Forschungszweig für den Einsatz sehr leistungsfähiger Modelle notwendig sei.
Zentrales Prüfverfahren sind sogenannte Kontrollevaluationen: Ein Blue Team entwirft ein Sicherheitsprotokoll, ein Red Team versucht anschließend, dieses Protokoll mit der bestmöglichen Angriffsstrategie zu unterlaufen. Gemessen wird die höchste Wahrscheinlichkeit, mit der ein absichtlich subversives System trotz des Protokolls Schaden anrichten könnte.
Begriffsgeschichte
Vor AI Control konzentrierte sich ein Großteil der Sicherheitsforschung darauf, Systeme direkt vertrauenswürdig zu machen – etwa durch Eliciting Latent Knowledge oder verwandte Interpretability-Ansätze. Redwood Research verlagerte 2023 seinen Forschungsschwerpunkt bewusst weg von diesem Ziel, hin zu der Frage, wie sich Schaden begrenzen lässt, selbst wenn ein Modell tatsächlich unausgerichtet und strategisch täuschend agiert.
Der Greenblatt-Bericht von Dezember 2023 lieferte dafür erstmals ein systematisches Bewertungsverfahren. Shlegeris und Greenblatt argumentierten 2024, dass Kontrolltechniken gerade für den Übergangszeitraum wichtig seien, in dem Modelle bereits sehr leistungsfähig, aber noch nicht nachweislich vertrauenswürdig sind.
Methodische Grundlagen
Kontrollevaluationen laufen nach einem festen Muster: Das Blue Team schlägt ein Sicherheitsprotokoll vor, etwa Trusted Monitoring – ein schwächeres, aber als vertrauenswürdig geltendes Modell überwacht die Ausgaben eines stärkeren, nicht vertrauenswürdigen Modells auf verdächtiges Verhalten. Ergänzend kommen Trusted Editing (verdächtige Ausgaben werden vor der Ausführung korrigiert), Resampling (bei Verdacht wird eine alternative Antwort angefordert) und Honeypots (gezielt platzierte Gelegenheiten, die ein subversives System zum Verrat seiner Absicht verleiten sollen) zum Einsatz.
Das Red Team konstruiert daraufhin die wirksamste Angriffsstrategie gegen genau dieses Protokoll. Das Ergebnis ist keine absolute Sicherheitsgarantie, sondern eine gemessene obere Schranke: die höchste Erfolgswahrscheinlichkeit eines Angriffs unter den getesteten Bedingungen.
Anwendungsfelder
AI Control zielt vor allem auf den Einsatz agentischer Systeme mit Werkzeugzugriff, bei denen ein subversives Verhalten – etwa das heimliche Einschleusen von Schadcode in generierten Programmcode – konkret schädlich wäre. Der Ansatz erlaubt es, ein leistungsfähiges, aber nicht vollständig vertrauenswürdiges Modell dennoch produktiv einzusetzen, solange ein geeignetes Kontrollprotokoll nachweislich greift.
Im Unterschied zu Ansätzen wie Scalable Oversight, die eine tatsächlich verlässliche Bewertung des Modellverhaltens anstreben, verzichtet AI Control bewusst auf diesen Anspruch und fragt stattdessen, wie viel Schaden im schlechtesten Fall überhaupt möglich bleibt.
Kontroversen und Kritik
Neuere Red-Teaming-Arbeiten zeigen, dass sich Trusted-Monitoring-Protokolle durch adaptive Prompt-Injections vollständig unterlaufen lassen, wenn der Angreifer gezielt den Zeitpunkt wählt, an dem die Überwachung am schwächsten ist. Die gemessene Sicherheit eines Protokolls hängt zudem stark davon ab, wie viel Aufwand jeweils in Red und Blue Team investiert wird – ein methodisches Problem, da sich dieser Aufwand zwischen Studien kaum vergleichen lässt.
Ein grundsätzlicherer Einwand betrifft die Annahmen hinter der Auditierung selbst: Viele Protokolle setzen voraus, dass entdeckte verdächtige Handlungen zuverlässig als absichtliche Angriffe statt als ehrliche Fehler erkannt werden. Ob diese Annahme in realen Einsatzszenarien mit weniger eindeutigen Fällen trägt, gilt als offen. Kritiker:innen sehen AI Control zudem als Übergangslösung, die das eigentliche Alignment-Problem verschiebt, statt es zu lösen.
Verwandte Begriffe
- Red-Teaming – liefert die Angriffsmethodik, mit der Kontrollprotokolle in Kontrollevaluationen geprüft werden
Quellenangaben
- Greenblatt, Ryan / Shlegeris, Buck / Sachan, Kshitij / Roger, Fabien, 2023. AI Control: Improving Safety Despite Intentional Subversion. arXiv: 2312.06942.
- Shlegeris, Buck / Greenblatt, Ryan, 2024. The Case for Ensuring That Powerful AIs Are Controlled. Redwood Research, Mai 2024.