Overrefusal

Overrefusal (deutsch etwa „übermäßige Verweigerung”; auch exaggerated safety, „übersteigerte Sicherheit”) bezeichnet das Verhalten eines Sprachmodells, das unbedenkliche Anfragen zurückweist, weil sie oberflächliche Ähnlichkeit mit schädlichen Anfragen aufweisen. Der Begriff bezeichnet einen Fehler erster Art der Sicherheitsausrichtung: Das Modell klassifiziert harmlose Inhalte fälschlich als gefährlich (Röttger et al. 2024).

Zusammenfassung

Overrefusal ist die Kehrseite der Sicherheitsausrichtung von Sprachmodellen. Da sich die Verweigerungsrate gegenüber schädlichen Anfragen trivial durch pauschale Ablehnung maximieren lässt, ist eine Sicherheitsaussage ohne gleichzeitige Messung des Overrefusal nicht aussagekräftig.

Als Hauptursache gilt lexikalische Überanpassung: Modelle reagieren auf einzelne Signalwörter statt auf die semantische Gesamtbedeutung einer Anfrage. Die beiden etablierten Messinstrumente sind XSTest (Röttger et al. 2024) mit 250 handgefertigten unbedenklichen Testfällen und OR-Bench (Cui et al. 2025) mit rund 80.000 automatisch erzeugten Fällen.

Empirisch besteht ein starker Zusammenhang zwischen Sicherheitswerten und Overrefusal-Raten; die gleichzeitige Verbesserung beider Größen gilt daher als methodisch anspruchsvoll und wird in der Literatur als Pareto-Verbesserung bezeichnet.

Einordnung

Die Bewertung eines sicherheitsausgerichteten Modells erfordert zwei voneinander unabhängige Größen:

Ein Modell, das jede Anfrage ablehnt, erzielt einen perfekten Sicherheitswert bei vollständigem Verlust der Nutzbarkeit.

Umgekehrt erzielt ein Modell ohne jede Sicherheitsausrichtung einen perfekten Overrefusal-Wert. Beide Extreme sind praktisch wertlos, weshalb Sicherheitsevaluierungen die Größen paarweise berichten. Eine Verbesserung, die beide Werte gleichzeitig steigert, verschiebt die sogenannte Pareto-Grenze – dies ist der Maßstab, an dem sich neuere Trainingsverfahren messen lassen (Guan et al. 2024).

Praktisch relevant wird Overrefusal in Kontexten, in denen sensible Themen legitimer Gegenstand sind: medizinische und rechtliche Beratung, Sicherheitsforschung und -ausbildung, journalistische Recherche, historische und literaturwissenschaftliche Arbeit sowie Bildungsanwendungen.

Ursachen

Lexikalische Überanpassung. Röttger et al. (2024) identifizieren als Hauptmechanismus, dass Modelle auf oberflächliche Schlüsselwörter reagieren statt auf die semantische Bedeutung. Ihre Testfälle nutzen Homonyme, harmlose Zielobjekte und bildliche Sprache, in denen Wörter aus sicherheitsrelevanten Kontexten in unbedenklicher Bedeutung auftreten.

Modelle weisen solche Anfragen systematisch zurück, obwohl eine semantische Prüfung ihre Harmlosigkeit ergäbe.

Struktur des Sicherheitstrainings. Wird ein Modell überwiegend auf Verweigerungsbeispielen trainiert, lernt es die Verweigerung als generalisierte Reaktion auf ein Themenfeld statt als Antwort auf tatsächliche Schädlichkeit. Guan et al. (2024) führen dies darauf zurück, dass Modelle das erwünschte Verhalten aus Beispielen rekonstruieren müssen, statt die zugrunde liegende Norm im Wortlaut zu lernen – mit der Folge unscharfer Entscheidungsgrenzen.

Regelförmige Spezifikationen. Jin et al. (2026) argumentieren, dass rein regelbasierte, eng aufgezählte Sicherheitsvorgaben zu starrem Verhalten führen und die Nützlichkeit systematisch senken. Als Beispiel nennen sie eine Lehrkraft, die eine Übungsaufgabe zur Cybersicherheit in einer kontrollierten Lernumgebung entwerfen will: Eine Regel, die pauschal jede Beschäftigung mit Angriffstechniken untersagt, führt zur Ablehnung dieser legitimen Anfrage.

Messung

XSTest (Röttger et al. 2024) ist die erste eigens für Overrefusal entwickelte Testsuite. Sie umfasst 250 handgefertigte unbedenkliche Anfragen aus zehn Kategorien, die semantisch harmlos, aber lexikalisch an schädliche Anfragen angelehnt sind, ergänzt um 200 minimal abgewandelte tatsächlich schädliche Kontrastfälle. Die Auswertung klassifiziert Antworten in vollständige Befolgung, teilweise Verweigerung und vollständige Verweigerung.

OR-Bench (Cui, Chiang, Stoica und Hsieh 2025) skaliert den Ansatz. Der Datensatz entsteht durch ein automatisiertes Verfahren: Zunächst werden schädliche Ausgangsanfragen erzeugt, anschließend in scheinbar schädliche, tatsächlich aber harmlose Varianten umgeschrieben und über mehrere Bewertungsmodelle gefiltert.

Ergebnis sind rund 80.000 Anfragen aus zehn Ablehnungskategorien, ein Teildatensatz von etwa 1.000 besonders schwierigen Fällen sowie 600 tatsächlich toxische Anfragen als Gegenprobe gegen unterschiedsloses Antworten.

Cui et al. berichten aus der Untersuchung von 32 Modellen aus acht Modellfamilien einen Spearman-Korrelationskoeffizienten von 0,89 zwischen Sicherheitswert und Overrefusal-Rate. Dieser Befund quantifiziert die Zielspannung: Höhere Sicherheit ging in der untersuchten Modellmenge regelmäßig mit häufigerer Ablehnung unbedenklicher Anfragen einher.

Zu den methodischen Einschränkungen zählt, dass XSTest-Anfragen für neuere Modelle an Schwierigkeit verlieren und der schädliche Teildatensatz einen Deckeneffekt aufweist, da praktisch alle geprüften Modelle diese Anfragen zurückweisen. Die aussagekräftige Größe ist damit die Rate auf dem unbedenklichen Teildatensatz.

Für agentische Anwendungen entstehen eigene Prüfumgebungen. Schoen et al. (2025) verwenden neben XSTest eine adversariell entwickelte Umgebung mit 54 Szenarien, in denen Modelle ausdrücklich zur Durchführung potenziell heikler Operationen befugt sind, und messen, ob legitime Aufgaben unangemessen abgelehnt werden.

Gegenmaßnahmen

Die Ansätze setzen an unterschiedlichen Stellen an:

• Ergänzende Trainingsdaten. Anreicherung des Sicherheitsdatensatzes um unbedenkliche Anfragen mit ähnlicher Oberflächenstruktur. Wang et al. (2025) berichten für den STAR-1-Datensatz, dass die Ergänzung um 915 harmlose Varianten die Rate korrekter Beantwortung von 68,9 auf 78,1 Prozent hob, bei einem Rückgang des durchschnittlichen Sicherheitswerts um 3,7 Prozentpunkte.
• Abwägung zur Inferenzzeit. Deliberative Alignment berichtet gleichzeitige Verbesserungen bei Jailbreak-Robustheit und Overrefusal (Guan et al. 2024).
• Fallbasierte statt regelförmige Spezifikation. Ergänzung von Regeltexten um illustrative Beispiele nach Art von Präzedenzfällen (Jin et al. 2026).
• Präferenzoptimierung und Repräsentationssteuerung. Verfahren, die gezielt an den internen Repräsentationen ansetzen, die Verweigerungsverhalten auslösen.

Bewertungsfragen

Die Bestimmung dessen, was als Overrefusal zu gelten hat, ist nicht wertneutral. Ob eine Anfrage unbedenklich ist, hängt vom Kontext, von der Rolle des Anfragenden und von der jeweiligen Nutzungsrichtlinie ab; verschiedene Anbieter ziehen die Grenze unterschiedlich.

Wang et al. (2025) dokumentieren einen Fall, in dem niedrige Sicherheitswerte auf abweichende Definitionen zurückgingen: Ein Prüfdatensatz behandelte den Großteil sexueller Inhalte als unzulässig, während die Nutzungsrichtlinie des Modellanbieters nur bestimmte Formen untersagte.

Daraus folgt für die Interpretation von Messwerten, dass Overrefusal-Raten nur innerhalb desselben Bewertungsrahmens vergleichbar sind. Absolute Werte über Benchmarks hinweg sind ohne Angabe der zugrunde gelegten Zulässigkeitsdefinition nicht aussagekräftig.

Verwandte Begriffe

• Jailbreak – Umgehung von Sicherheitsvorkehrungen; Gegengröße in der paarweisen Sicherheitsbewertung
• Pareto-Grenze – Menge der Kompromisse, bei denen keine Größe ohne Verschlechterung einer anderen verbessert werden kann
• XSTest – Testsuite zur Messung übersteigerter Sicherheit
• OR-Bench – großskaliger Overrefusal-Benchmark
• Sicherheitsausrichtung (Safety Alignment) – Trainingsverfahren zur Vermeidung schädlicher Ausgaben
• Deliberative Alignment – Trainingsverfahren mit expliziter Sicherheitsabwägung, das eine gleichzeitige Verbesserung beider Größen berichtet
• Red-Teaming – adversarielles Testen; erfasst primär die Gegengröße zum Overrefusal

Quellenangaben

1. Cui, Justin / Chiang, Wei-Lin / Stoica, Ion / Hsieh, Cho-Jui (2025): OR-Bench: An Over-Refusal Benchmark for Large Language Models. In: Proceedings of the 42nd International Conference on Machine Learning (ICML), PMLR 267, S. 11515–11542. arXiv: 2405.20947.
2. Guan, Melody Y. / Joglekar, Manas / Wallace, Eric / Jain, Saachi / Barak, Boaz / Helyar, Alec / Dias, Rachel / Vallone, Andrea / Ren, Hongyu / Wei, Jason / Chung, Hyung Won / Toyer, Sam / Heidecke, Johannes / Beutel, Alex / Glaese, Amelia (OpenAI) (2024): Deliberative Alignment: Reasoning Enables Safer Language Models. arXiv: 2412.16339.
3. Jin, Can / Wu, Rui / Che, Tong / Zhang, Qixin / Peng, Hongwu / Zhao, Jiahui / Wang, Zhenting / Wei, Wenqi / Han, Ligong / Zhang, Zhao / Cao, Yuan / Tang, Ruixiang / Metaxas, Dimitris N. (2026): Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety. Angenommen für ACL 2026. arXiv: 2601.08000.
4. Röttger, Paul / Kirk, Hannah Rose / Vidgen, Bertie / Attanasio, Giuseppe / Bianchi, Federico / Hovy, Dirk (2024): XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models. In: Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), S. 5377–5400. Mexico City: Association for Computational Linguistics. arXiv: 2308.01263.
5. Schoen, Bronson / Nitishinskaya, Evgenia / Balesni, Mikita u. a., 2025. Stress Testing Deliberative Alignment for Anti-Scheming Training. OpenAI / Apollo Research. arXiv: 2509.15541
6. Wang, Zijun / Tu, Haoqin / Wang, Yuhan / Wu, Juncheng / Liu, Yanqing / Mei, Jieru / Bartoldson, Brian R. / Kailkhura, Bhavya / Xie, Cihang (2025): STAR-1: Safer Alignment of Reasoning LLMs with 1K Data. In: Proceedings of the AAAI Conference on Artificial Intelligence 2026. arXiv: 2504.01903.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.