Data Poisoning

Data Poisoning (deutsch Datenvergiftung) bezeichnet die gezielte Manipulation von Trainingsdaten, um das Verhalten eines daraus gelernten Modells zu verändern – entweder um seine Leistung allgemein zu verschlechtern oder um ihm ein bestimmtes, vom Angreifer gewähltes Fehlverhalten einzupflanzen.

Zusammenfassung

Der Angriff nutzt eine Eigenschaft aus, die maschinelles Lernen von herkömmlicher Software unterscheidet: Das Verhalten steht nicht im Programmtext, sondern folgt aus den Daten. Wer die Daten verändert, verändert das Programm.

Zwei Ziele werden unterschieden. Ein Verfügbarkeitsangriff senkt die Genauigkeit über die ganze Aufgabe hinweg und ist entsprechend auffällig. Ein Integritätsangriff lässt die Leistung unverändert und wirkt nur bei einem bestimmten Auslöser – das ist die gefährlichere Bauart, weil normale Prüfungen nichts finden.

Die zweite Bauart heißt Backdoor: Das Modell verhält sich unauffällig, bis im Eingabetext ein vereinbartes Signal auftaucht. Dann schaltet es auf das eingelernte Verhalten um.

Praktisch bedeutsam wurde der Angriff, als Trainingsdaten aus dem offenen Netz stammten. Wer irgendwo im Netz veröffentlichen kann, kann Material in einen künftigen Trainingslauf einspeisen, ohne je Zugang zu einem Rechenzentrum zu haben.

Die Untersuchung, die das Bild 2025 verschoben hat, betrifft die nötige Menge. Nicht ein Anteil der Daten muss vergiftet sein, sondern eine annähernd feste Zahl von Dokumenten – unabhängig davon, wie groß das Modell ist (Souly u. a. 2025).

Abgrenzung

Prompt Injection – wirkt zur Laufzeit auf ein fertiges Modell. Data Poisoning wirkt davor, im Training. Der Unterschied entscheidet über die Abwehr: Eine Injektion lässt sich im laufenden Betrieb abfangen, eine Vergiftung steckt in den Gewichten.

Jailbreaking – sucht Eingaben, die vorhandene Schranken umgehen. Poisoning baut die Lücke selbst ein, die später ausgenutzt wird.

Benchmark-Kontamination – ist meist unabsichtlich und betrifft die Messung, nicht das Verhalten. Ein kontaminiertes Modell sieht besser aus, als es ist; ein vergiftetes tut etwas anderes, als es soll.

Adversarial Examples – verändern die Eingabe, damit ein unverändertes Modell danebengreift. Poisoning verändert das Modell, damit es bei gewöhnlicher Eingabe danebengreift.

Begriffsgeschichte

Der klassische Angriff (2012)

Die grundlegende Arbeit stammt aus der Zeit vor den großen Sprachmodellen. Biggio, Nelson und Laskov zeigten 2012 an Support-Vector-Maschinen, dass sich mit wenigen eingeschleusten Punkten die gelernte Trennlinie verschieben lässt (Biggio u. a. 2012).

Entscheidend war die Methode: Die Angriffspunkte wurden nicht geraten, sondern berechnet – als Optimierungsaufgabe mit dem Fehler des Opfermodells als Zielgröße. Damit war Poisoning kein Zufallsbefund mehr, sondern ein Verfahren.

BadNets und die Lieferkette (2017)

Gu, Dolan-Gavitt und Garg verlagerten den Blick von der Trennlinie auf die Lieferkette (Gu u. a. 2017). Ihr BadNets erkennt Verkehrsschilder zuverlässig – bis auf dem Schild ein kleiner gelber Aufkleber klebt. Dann liest es jedes Stoppschild als Geschwindigkeitsbegrenzung.

Die Arbeit benannte damit ein Problem, das über den einzelnen Datensatz hinausgeht: Wer ein vortrainiertes Modell übernimmt, übernimmt auch, was in seinem Training steckte. Prüfen lässt sich das nicht, indem man das Modell auf der gewöhnlichen Aufgabe testet.

Netzweite Datensätze werden angreifbar (2023)

Mit dem Pre-Training auf Material aus dem offenen Netz änderte sich die Lage grundlegend. Carlini und andere zeigten 2023, dass zwei Angriffe auf reale Datensätze praktisch durchführbar sind (Carlini u. a. 2023).

Der erste nutzt aus, dass große Bilddatensätze keine Bilder speichern, sondern Adressen. Wer eine abgelaufene Domain aufkauft, kontrolliert nachträglich, was unter der alten Adresse ausgeliefert wird – der Datensatz bleibt derselbe, sein Inhalt nicht.

Der zweite betrifft Momentaufnahmen von Wikipedia. Weil der Zeitpunkt der Sicherung vorhersehbar ist, lässt sich eine Bearbeitung so setzen, dass sie in die Sicherung gerät und kurz darauf zurückgenommen wird.

Sprachmodelle und Instruktionsdaten

Wan und andere übertrugen den Angriff auf das Instruktionstraining (Wan u. a. 2023). Wenige vergiftete Beispiele reichten, um ein Modell bei einem gewählten Auslöserwort systematisch falsch antworten zu lassen – über Aufgaben hinweg, für die es gar nicht vergiftet worden war.

Die bekannteste Untersuchung zur Persistenz stammt von Anthropic. Sleeper Agents zeigte, dass ein absichtlich eingebautes Fehlverhalten die üblichen Sicherheitsverfahren übersteht (Hubinger u. a. 2024).

Der Aufbau ist wichtig für die Reichweite des Befunds: Die Hintertür wurde von den Forschenden selbst eingebaut, nicht in freier Wildbahn gefunden. Geprüft wurde also die Entfernbarkeit, nicht die Häufigkeit solcher Hintertüren.

Weder RLHF noch nachgelagertes Training auf harmlosen Daten entfernten sie verlässlich. Das größte Modell behielt sie am hartnäckigsten – ein Befund, der gegen die Hoffnung spricht, Skalierung löse das Problem von selbst.

Methodische Grundlagen

Die gebräuchlichen Verfahren unterscheiden sich darin, wo sie ansetzen und wie leicht sie auffallen.

Label Flipping. Die einfachste Form: Trainingsbeispiele behalten ihren Inhalt, bekommen aber falsche Beschriftungen. Wirksam bei überwachtem Lernen, aber vergleichsweise leicht zu entdecken.

Backdoor mit Auslöser. Ein unauffälliges Signal – ein Bildmuster, eine Zeichenfolge, eine seltene Wortkombination – wird im Training mit einem Zielverhalten verknüpft. Ohne das Signal verhält sich das Modell normal, weshalb Vergleichsmessungen nichts zeigen.

Split-View-Vergiftung. Der Datensatz verweist auf Inhalte, statt sie zu speichern. Wer die Kontrolle über die Adresse erlangt, tauscht den Inhalt nachträglich aus.

Frontrunning. Der Angreifer setzt eine Änderung kurz vor dem bekannten Zeitpunkt einer Datensicherung und nimmt sie danach zurück.

Die Mengenfrage. Lange galt die Annahme, ein Angreifer müsse einen bestimmten Anteil der Daten kontrollieren – bei Datensätzen im Billionenbereich eine beruhigende Vorstellung. Die Untersuchung von Souly und anderen kommt zu einem anderen Ergebnis: Die nötige Zahl vergifteter Dokumente bleibt über verschiedene Modellgrößen hinweg annähernd gleich (Souly u. a. 2025).

Das dreht die Beruhigung um. Ein größeres Modell mit mehr Trainingsdaten ist nicht schwerer zu vergiften, sondern verdünnt dieselbe kleine Zahl von Dokumenten nur scheinbar.

Abwehr

Es gibt keine Abwehr, die den Angriff ausschließt; es gibt Verfahren, die ihn verteuern.

Herkunftsnachweise. Datensätze mit Prüfsummen je Datei statt bloßer Adressen entziehen der Split-View-Vergiftung die Grundlage. Der Aufwand ist beträchtlich, und für gewachsene Bestände nachträglich kaum zu leisten.

Ausreißerprüfung vor dem Training. Statistisch auffällige Beispiele werden aussortiert. Wirksam gegen plumpe Verfahren, schwach gegen Angriffe, die gerade auf Unauffälligkeit gebaut sind.

Sichtung nach dem Training. Red-Teaming sucht gezielt nach Auslösern, Interpretierbarkeitsverfahren nach inneren Spuren. Das Problem ist die Suchraumgröße: Wer den Auslöser nicht kennt, sucht eine Zeichenfolge unter allen möglichen.

Kuratierte Daten. Synthetische Daten und geprüfte Bestände verkleinern die Angriffsfläche, verschieben sie aber auf den Erzeuger der synthetischen Daten.

Kontroversen und Kritik

Wie realistisch ist der Angreifer? Die Laborangriffe setzen Wissen voraus – über den Datensatz, den Zeitpunkt des Trainings, manchmal die Architektur. Kritiker halten den Aufwand für hoch im Verhältnis zu einfacheren Wegen, etwa dem Angriff auf das laufende System.

Vergiftung als Notwehr. Mit Nightshade legten Shan und andere 2023 ein Werkzeug vor, das Bilder so verändert, dass sie ein daraus trainiertes Bildmodell stören (Shan u. a. 2023). Gedacht ist es als Mittel für Urheber gegen ungefragte Verwertung ihrer Werke.

Damit ist Data Poisoning nicht mehr eindeutig ein Angriff. Ob eine Urheberin ihre eigenen Bilder unbrauchbar machen darf, ist rechtlich ungeklärt und wird unterschiedlich beurteilt.

Was die 250 Dokumente belegen – und was nicht. Die Zahl aus der Untersuchung von 2025 wird verkürzt zitiert. Sie stammt aus einem bestimmten Versuchsaufbau mit einem bestimmten Zielverhalten; sie ist keine allgemeine Schwelle für beliebige Angriffe.

Der belastbare Befund ist der Vergleich, nicht die Zahl: Die nötige Menge skaliert nicht mit der Modellgröße. Das genügt, um die frühere Annahme zu erschüttern.

Nachweisbarkeit. Ein vergiftetes Modell lässt sich von einem schlecht trainierten kaum unterscheiden, solange der Auslöser unbekannt ist. Für die Aufsicht ist das unbequem: Ein Verdacht ist billig zu äußern und teuer zu prüfen.

Stand 2025/2026

Data Poisoning ist von einem akademischen Angriffsmodell zu einem regulatorisch benannten Risiko geworden. Der EU AI Act verlangt für Hochrisikosysteme Aussagen zur Datenqualität und zur Robustheit gegen Manipulation; die Vergiftung von Trainingsdaten fällt darunter, ohne im Gesetzestext eigens benannt zu sein.

Praktisch hat sich die Aufmerksamkeit von der Frage „ist das möglich” zu „wie teuer ist es” verschoben. Dass Angriffe auf netzweite Datensätze mit überschaubaren Mitteln durchführbar sind, gilt seit 2023 als gezeigt.

Offen bleibt die Erkennung. Es gibt kein Verfahren, das ein Modell verlässlich als vergiftet ausweist, ohne den Auslöser zu kennen. Solange das so ist, verlagert sich die Sicherheit auf die Herkunft der Daten – und damit auf eine Frage der Lieferkette statt der Technik.

Für Modelle mit offenen Gewichten stellt sich die Frage zugespitzt: Wer Gewichte übernimmt, übernimmt ein Training, das er nicht gesehen hat. Siehe Open Weights.

Verwandte Begriffe

• Sleeper Agents – eingebautes Fehlverhalten, das Sicherheitstraining übersteht
• Prompt Injection – der Angriff zur Laufzeit statt im Training
• Jailbreaking – Umgehung vorhandener Schranken
• Benchmark-Kontamination – unabsichtliche Verunreinigung der Messung
• Red-Teaming – systematische Suche nach solchen Schwächen
• Pre-Training – die Phase, in der netzweite Daten einfließen
• Fine-Tuning – Phase, in der gezielte Vergiftung besonders wirksam ist
• Open Weights – Weitergabe ungeprüfter Trainingsgeschichte
• Synthetische Daten – kuratierte Alternative zum Netzmaterial
• EU AI Act – regulatorischer Rahmen für Datenqualität

Quellenangaben

1. Biggio, Battista / Nelson, Blaine / Laskov, Pavel, 2012. Poisoning Attacks against Support Vector Machines. In: Proceedings of the 29th International Conference on Machine Learning (ICML 2012). arXiv: 1206.6389.
2. Carlini, Nicholas u. a., 2023. Poisoning Web-Scale Training Datasets is Practical. arXiv: 2302.10149.
3. Gu, Tianyu / Dolan-Gavitt, Brendan / Garg, Siddharth, 2017. BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain. arXiv: 1708.06733.
4. Hubinger, Evan / Denison, Carson / Mu, Jesse / Lambert, Mike / Tong, Meg / MacDiarmid, Monte u. a., 2024. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic. arXiv: 2401.05566
5. Shan, Shawn u. a., 2023. Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models. arXiv: 2310.13828.
6. Souly, Alexandra / Rando, Javier / Chapman, Ed / Davies, Xander u. a., 2025. Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples. Anthropic / UK AI Security Institute / Alan Turing Institute. arXiv: 2510.07192
7. Wan, Alexander / Wallace, Eric / Shen, Sheng / Klein, Dan, 2023. Poisoning Language Models During Instruction Tuning. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arXiv: 2305.00944.

← Zurück zur Lexikon-Übersicht