Red-Teaming (auch: Red Teaming; von englisch red team, „rotes Team”) ist eine Evaluierungsmethode, bei der eine Gruppe von Testern die Rolle eines Angreifers oder Kritikers übernimmt, um Schwachstellen, Sicherheitslücken oder Fehlfunktionen eines Systems vor dessen Einsatz zu identifizieren.
Im Kontext von KI-Systemen bezeichnet der Begriff speziell das systematische adversarielle Testen von Sprachmodellen und anderen KI-Systemen auf schädliche Ausgaben, Sicherheitslücken und Versagen der Sicherheitsausrichtung (Verma et al. 2025).
Zusammenfassung
Red-Teaming stammt aus dem militärischen Umfeld und wurde im Laufe des 20. Jahrhunderts auf die Cybersicherheit übertragen.
Seit den frühen 2020er Jahren ist es zu einem zentralen Verfahren in der Sicherheitsbewertung großer Sprachmodelle (LLMs) geworden. Im KI-Kontext wird zwischen Safety Red-Teaming (Prüfung auf schädliche Inhalte und Verletzungen von Nutzungsrichtlinien) und Security Red-Teaming (Prüfung auf technische Angriffsvektoren wie Datenlecks oder Systemkompromittierung) unterschieden.
Methodisch gliedert sich Red-Teaming in manuelle, automatisierte und hybride Ansätze. Seit 2024 schreibt der EU AI Act Red-Teaming als Bestandteil der Konformitätsbewertung für Hochrisiko-KI-Systeme und GPAI-Modelle mit systemischem Risiko vor. Kritiker hinterfragen, ob das Verfahren ohne Standardisierung und unabhängige Auditierung wirksamer Sicherheitsnachweis oder lediglich symbolische Absicherung ist (Feffer et al. 2024a).
Begriffsherkunft und Geschichte
Der Begriff red team geht auf Farbbelegungen in militärischen Planspielen zurück: In den preußischen Kriegsspielen des 19. Jahrhunderts standen rote Spielsteine für feindliche Kräfte, blaue für die eigenen. Die Unterscheidung wurde von der NATO übernommen und ist in militärischen Symbology-Standards wie APP-6 und MIL-STD-2525 bis heute gebräuchlich (Verma et al. 2025).
Im US-amerikanischen Militärwesen institutionalisierte sich Red-Teaming während des Kalten Krieges der 1960er Jahre: In Simulationen übernahmen ausgewählte Offiziere die Perspektive des sowjetischen Gegners, um Verteidigungsstrategien auf Schwachstellen zu prüfen.
Die Farbwahl rot wurde dabei explizit mit der Sowjetunion assoziiert. Von dort aus breitete sich die Methode auf zivile Sicherheitsbereiche aus – darunter Flughafensicherheit und Softwaresicherheit – bevor sie schließlich auf KI-Systeme angewendet wurde (Verma et al. 2025).
Für Sprachmodelle und generative KI etablierten zwei Arbeiten aus dem Jahr 2022 die Grundlage: Perez et al. (2022) zeigten, dass ein Sprachmodell genutzt werden kann, um systematisch Testfälle zu erzeugen, die bei einem Zielmodell schädliche Ausgaben provozieren – das erste Paper zur automatisierten Form des Verfahrens.
Ganguli et al. (2022) von Anthropic beschrieben manuelles Red-Teaming an Modellen verschiedener Größen, veröffentlichten einen Datensatz von 38.961 Angriffen und analysierten Skalierungseffekte: RLHF-trainierte Modelle erwiesen sich mit wachsender Parameterzahl als zunehmend schwerer angreifbar, während andere Modelltypen keinen klaren Skalierungstrend zeigten.
Abgrenzung der Varianten
Im KI-Bereich werden zwei überlappende Prüfziele unterschieden, die in der Praxis oft gemeinsam bearbeitet werden (Microsoft, zitiert nach Repello AI 2026):
| Variante | Prüfziel | Typische Angriffe |
|---|---|---|
| Safety | Schadwirkung für Nutzer oder Dritte | Jailbreaks, Hate Speech, Desinformation |
| Security | Systemsicherheit und Datenschutz | Prompt Injection, Datenexfiltration, Werkzeugzugriff |
| Verdecktes Fehlverhalten | Abweichung zwischen Prüfung und Einsatz | Sandbagging, Scheming |
Safety Red-Teaming prüft, ob ein Modell auf schädliche oder richtlinienwidrige Anfragen eingeht: Erzeugung von Hate Speech, Anleitungen zu illegalen Handlungen, Desinformation oder die Umgehung von Inhaltsfiltern durch Jailbreaks. Das Prüfziel liegt bei der Schadwirkung für Nutzer oder Dritte.
Security Red-Teaming prüft technische Angriffsvektoren: Prompt-Injection-Angriffe, Datenexfiltration aus Kontextfenstern oder verknüpften Datenbanken, Kompromittierung von Agentensystemen oder unbefugter Werkzeugzugriff. Das Prüfziel liegt bei der Systemsicherheit und dem Datenschutz.
Hinzu kommt eine dritte Dimension, die mit zunehmender Autonomie von KI-Systemen an Bedeutung gewinnt: das Testen auf verdecktes Fehlverhalten (Sandbagging, Scheming), bei dem Modelle in Evaluierungssituationen anders agieren als im Einsatz (vgl. den Artikel Deliberative Alignment).
Methoden
Manuelles Red-Teaming
Beim manuellen Red-Teaming entwerfen menschliche Tester – meist Fachleute für Sicherheit, Ethik, Rechtsfragen oder spezifische Domänen – Eingaben, die das Zielsystem zu unerwünschten Ausgaben veranlassen sollen. Der Ansatz gilt als effektiv für die Entdeckung nuancierter oder kontextabhängiger Schwachstellen und hat sich in der Vordeployment-Prüfung großer Modelle bewährt.
Meta etwa setzte für das Llama-2-Modell ein manuelles Red Team aus 350 Personen unterschiedlicher Fachrichtungen ein, das mehrere Monate lang Angriffe in Bereichen wie Menschenhandel, Rassismus und Datenschutzverletzungen entwickelte. Der Ansatz ist jedoch arbeitsintensiv und schwer zu skalieren (Verma et al. 2025).
Automatisiertes Red-Teaming
Automatisiertes Red-Teaming nutzt Algorithmen oder ein separates Sprachmodell, um Testfälle zu generieren. Perez et al. (2022) zeigten, dass ein LLM durch Zero-Shot-Prompting oder Reinforcement Learning trainiert werden kann, gezielt Testfragen zu erzeugen, die bei einem anderen LLM schädliche Ausgaben auslösen.
Nachfolgende Methoden variieren die Strategie: gradientenbasierte Token-Optimierung (GCG, Zou et al. 2023), strukturierte Jailbreak-Raffinierung (PAIR, Chao et al. 2023) und agentenbasierte Frameworks. Automatisierte Ansätze bieten Skalierbarkeit, erfassen aber bislang vorwiegend einfache, einschrittige Angriffe und bilden die mehrstufige, kontextabhängige Natur realer Angriffe nur unvollständig ab (Belaire et al. 2025).
Hybride Ansätze und Werkzeuge
In der Praxis werden manuelle und automatisierte Verfahren kombiniert. Standardisierte Open-Source-Werkzeuge erleichtern die Durchführung: PyRIT (Python Risk Identification Toolkit) von Microsoft und garak von NVIDIA erlauben systematische Evaluierungen auf gängigen Angriffskategorien.
Als strukturiertes Testschema dient das OWASP LLM Top 10 (Ausgabe 2025), das zehn Angriffskategorien für LLM-Anwendungen definiert, darunter Prompt Injection (LLM01:2025) als führendes Risiko. Für Agentensysteme veröffentlichte OWASP Ende 2025 ein eigenes Agentic AI Top 10.
Regulatorischer Rahmen
Red-Teaming hat sich von einer freiwilligen Best Practice zu einer regulatorischen Anforderung entwickelt.
Der EU AI Act (Verordnung (EU) 2024/1689, in Kraft seit 1. August 2024) verpflichtet Anbieter von Hochrisiko-KI-Systemen nach Artikel 15 sowie Anbieter von GPAI-Modellen mit systemischem Risiko nach Artikel 55 zu adversariellen Tests als Bestandteil des Risikomanagements und der Konformitätsbewertung.
Die Anforderungen an Hochrisiko-Systeme werden ab August 2026 vollständig anwendbar; eine konkretisierende Durchführungsverordnung zu Artikel 15 befand sich Stand Mitte 2026 noch in der Konsultationsphase.
NIST AI 100-2 E2025 (March 2025) stellt die maßgebliche taxonomische Grundlage für adversarielle Angriffe im US-amerikanischen Raum bereit und erweiterte die 2023er Fassung erstmals um Schwachstellenkategorien für autonome KI-Agentensysteme, darunter indirekte Prompt-Injection und Memory-Poisoning-Angriffe.
Weitere einschlägige Referenzrahmen sind das NIST AI Risk Management Framework, der GPAI Code of Practice der EU-KI-Behörde sowie das MITRE ATLAS-Framework für maschinelles Lernen.
Rezeption und Kritik
Feffer et al. (2024a) analysierten Red-Teaming für generative KI anhand veröffentlichter Berichte großer Modellanbieter und formulierten einen strukturellen Einwand.
Die Methode sei in zu vielen Punkten justierbar – welche Bedrohungsmodelle einbezogen werden, welche Tester beauftragt werden, nach welchen Maßstäben Erfolg gemessen wird. Das mache sie anfällig dafür, als Instrument symbolischer Absicherung (security theater) eingesetzt zu werden, ohne Risiken tatsächlich zu adressieren.
Diese Einschätzung passt zu der Beobachtung, dass es Stand 2026 keine branchenweit akzeptierten standardisierten Methoden gibt (Mindgard 2026).
Weitere Kritikpunkte aus der Forschungsliteratur:
Statische Einmalprüfung statt kontinuierlichem Prozess. Klassisches Red-Teaming wird nach dem Modelltraining als einmalige Prüfung durchgeführt und kann sich entwickelnde Angriffsmuster oder Verhaltensänderungen nach Modellaktualisierungen nicht erfassen (Feffer et al. 2024b).
Übertragbarkeit der Ergebnisse. Angriffe, die gegen ein Modell entwickelt wurden, funktionieren nicht zwingend gegen andere. Jailbreak-Erfolgsraten variieren messbar mit Erscheinungsdatum, Modellversion und geografischer Herkunft der Tester (WEF 2025).
Fehlende Unabhängigkeit. Die meisten veröffentlichten Red-Teaming-Berichte stammen von den Modellanbietern selbst oder von Evaluierern in deren Auftrag. Unabhängige externe Audits nach klar definierten Standards fehlen weitgehend; ihre Einführung wird von Sicherheitsforschern gefordert.
Mentale Belastung der Tester. Die Arbeit mit schädlichen Inhalten kann psychologische Folgen für Red-Team-Mitglieder haben. Diesen Aspekt beleuchten neuere Arbeiten zur Arbeitsschutzperspektive des Verfahrens (Gillespie et al. 2025, referenziert in Yew et al. 2025).
Verwandte Begriffe
- Jailbreak – Technik zur Umgehung von Inhaltsfiltern eines Sprachmodells, häufig als Angriffsvektor im Red-Teaming eingesetzt
- Prompt Injection – Angriffstechnik, bei der schädliche Anweisungen in Eingaben eingebettet werden
- Adversarielle Robustheit – Eigenschaft eines Modells, gegenüber gezielt konstruierten Eingaben stabil zu bleiben
- Alignment – Ausrichtung eines KI-Systems an menschlichen Werten und Normen
- Blue Team – im militärischen und Cybersicherheitskontext die verteidigende Seite; im KI-Kontext die Entwickler und Betreiber, die Schwachstellen beheben
- Benchmarking – standardisierte, reproduzierbare Leistungs- und Sicherheitsmessung; ergänzt, aber ersetzt nicht Red-Teaming
- Deliberative Alignment – Trainingsverfahren, das Modelle auf explizite Sicherheitsabwägung vor der Antwort ausrichtet; Red-Teaming dient hier der Evaluation der Robustheit
Quellenangaben
- Europäisches Parlament / Rat der EU (2024): Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates (EU AI Act). In Kraft seit 1. August 2024. Amtsblatt der EU L 2024/1689.
- Feffer, Michael / Sinha, Anusha / Deng, Wesley H. / Lipton, Zachary C. / Heidari, Hoda (2024a): Red-Teaming for Generative AI: Silver Bullet or Security Theater? In: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (AIES), Bd. 7, S. 421–437. DOI: 10.1609/aies.v7i1.31647.
- Ganguli, Deep / Lovitt, Liane / Kernion, Jackson / Askell, Amanda u. a. (Anthropic) (2022): Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned. arXiv: 2209.07858.
- NIST (2025): Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations.
- Perez, Ethan / Huang, Saffron / Song, Francis / Cai, Trevor / Ring, Roman / Aslanides, John / Glaese, Amelia / McAleese, Nat / Irving, Geoffrey (2022): Red Teaming Language Models with Language Models. In: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, S. 3419–3448. arXiv: 2202.03286.
- Sinha, Anusha / Grimes, Keltin / Lucassen, James / Feffer, Michael / VanHoudnos, Nathan / Wu, Zhiwei Steven / Heidari, Hoda (Carnegie Mellon University / Software Engineering Institute) (2025): From Firewalls to Frontiers: AI Red-Teaming is a Domain-Specific Evolution of Cyber Red-Teaming. arXiv: 2509.11398.
- Verma, Apurv / Krishna, Satyapriya / Gehrmann, Sebastian u. a. (Bloomberg / NJIT) (2025): Operationalizing a Threat Model for Red-Teaming Large Language Models (LLMs). Transactions on Machine Learning Research (05/2025). arXiv: 2407.14937.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.