Benchmark-Kontamination (englisch benchmark contamination oder data contamination; deutsch auch Daten-Kontamination) bezeichnet den Umstand, dass Testaufgaben eines Benchmarks ganz oder teilweise im Trainingsmaterial eines Modells enthalten sind. Das gemessene Ergebnis spiegelt dann Wiedererkennung statt Leistungsfähigkeit und überschätzt die tatsächliche Fähigkeit des Systems.
Zusammenfassung
Kontamination ist ein Grundproblem der Bewertung großer Sprachmodelle. Da diese auf Datenmengen trainiert werden, die weite Teile des öffentlich zugänglichen Internets umfassen, und da Benchmarks überwiegend öffentlich verfügbar sind, ist die Trennung von Trainings- und Testmaterial nicht mehr systematisch gewährleistet.
Verschärfend kommt hinzu, dass die Trainingskorpora kommerzieller Modelle meist nicht offengelegt werden, sodass eine Prüfung von außen ausgeschlossen ist.
Gegenmaßnahmen reichen von technischer Entfernung ähnlicher Passagen über zurückgehaltene Auswertungsdatensätze bis zu Benchmarks, die auf grundsätzlich neuartige Aufgaben setzen. Kontamination ist einer der Hauptgründe dafür, dass Benchmarkwerte allein keine belastbare Aussage über Fähigkeiten erlauben.
Formen
| Form | Was im Trainingsmaterial steht | Nachweisbarkeit |
|---|---|---|
| Direkt | die Testaufgabe selbst | gut, bei offenem Korpus |
| Indirekt | Varianten, Lösungswege, Diskussionen | schwer |
| Rückkopplung | Modellausgaben aus dem Internet | sehr schwer |
| Auswahl | nichts – Anpassung erfolgt über wiederholte Prüfung | nicht über Korpusabgleich |
Direkte Kontamination. Die Testaufgabe selbst steht wörtlich im Trainingsmaterial. Das ist der offensichtliche und am leichtesten prüfbare Fall.
Indirekte Kontamination. Nicht die Aufgabe, wohl aber nahe Varianten, Lösungswege, Erläuterungen oder Diskussionen darüber sind enthalten. Da Benchmarks in Fachartikeln, Foren und Lehrmaterial besprochen werden, ist diese Form verbreiteter und schwerer festzustellen.
Kontamination durch Rückkopplung. Modellausgaben gelangen ins Internet und von dort in die Trainingskorpora nachfolgender Modelle. Bei Aufgaben, die häufig mit Modellen bearbeitet werden, entsteht so ein Kreislauf.
Kontamination durch Auswahl. Werden Modelle wiederholt an einem Benchmark geprüft und daraufhin angepasst, passt sich die Entwicklung dem Testmaterial an, auch ohne dass dieses im Training vorkommt. Dieser Effekt ist von Kontamination im engeren Sinne zu unterscheiden, wirkt in der Auswertung aber ähnlich.
Nachweisverfahren
Bei offengelegten Trainingskorpora lässt sich Kontamination durch Zeichenkettenabgleich prüfen – üblich sind n-Gramm-Verfahren, Ähnlichkeitsmaße über gewichtete Worthäufigkeiten und Vergleiche auf Ebene von Satzeinbettungen. Verfahren dieser Art werden auch zur Bereinigung eingesetzt, indem Trainingsbeispiele entfernt werden, die Testaufgaben zu ähnlich sind.
Bei nicht offengelegten Korpora sind nur indirekte Verfahren möglich: der Vergleich der Leistung auf Aufgaben von vor und nach dem Wissensstichtag, die Prüfung auf auffällige Wortgenauigkeit bei der Wiedergabe von Testaufgaben oder der Vergleich mit funktional gleichwertigen, aber neu formulierten Aufgaben. Alle diese Verfahren liefern Indizien, keine Nachweise.
Gegenmaßnahmen
- Zurückgehaltene Auswertungsdatensätze. Ein Teil des Benchmarks wird nicht veröffentlicht und nur für die Bewertung verwendet. ARC-AGI arbeitet mit privaten Auswertungsdatensätzen.
- Fortlaufende Erneuerung. Aufgaben werden regelmäßig ersetzt, sodass ältere Modelle nicht von der Veröffentlichung profitieren.
- Neuartigkeit als Konstruktionsprinzip. Benchmarks werden so entworfen, dass die Aufgaben im Trainingsmaterial nicht vorkommen können. Dies ist die Antwort, die Chollet (2019) mit ARC-AGI verfolgt.
- Zeitlich nachgelagerte Aufgaben. Verwendung von Material, das nach dem Wissensstichtag entstanden ist.
- Offline-Auswertung. Bewertung ohne Zugriff auf externe Schnittstellen, wie im ARC Prize praktiziert.
Keine dieser Maßnahmen löst das Problem vollständig. Zurückgehaltene Datensätze verlieren ihre Wirkung, sobald sie mehrfach zur Bewertung verwendet werden; fortlaufende Erneuerung erschwert den Vergleich über die Zeit.
Bedeutung
Kontamination ist einer der Gründe dafür, dass die Sättigung eines Benchmarks nicht ohne Weiteres als Fähigkeitszuwachs zu lesen ist. Im AGI-Diskurs wird sie regelmäßig angeführt, wenn Modelle etablierte Prüfverfahren überschreiten: Der Umstand, dass ein Wert erreicht wird, sagt für sich genommen nicht, ob die zugrunde liegende Fähigkeit vorliegt.
Der Befund verbindet sich mit der grundsätzlicheren Kritik von Chollet (2019): Ohne Kontrolle von Vorwissen und Trainingserfahrung ist eine Leistungsangabe nicht interpretierbar. Kontamination ist danach kein technischer Betriebsunfall, sondern der Regelfall unkontrollierten Vorwissens.
Ein verwandtes Problem betrifft Sicherheitsbenchmarks: Bei diesen führt Kontamination nicht zu überhöhten Fähigkeitswerten, sondern zu überhöhten Sicherheitswerten, wenn ein Modell die Testfälle aus dem Sicherheitstraining kennt.
Die Anreizlage
Kontamination wird meist als technisches Versehen behandelt – als Verunreinigung, die man mit besseren Filtern beseitigen könnte. Die anhaltende Verbreitung des Problems legt eine andere Lesart nahe: Für keinen der Beteiligten besteht ein starker Anreiz, es zu lösen.
Anbieter werden an Benchmark-Werten gemessen; Investoren, Fachpresse und Kunden lesen Ranglisten.
Ein Haus, das seine Trainingsdaten aufwendig von Prüfmaterial bereinigt, erzielt schlechtere Werte als eines, das darauf verzichtet – und muss die Differenz erklären, ohne sie belegen zu können, da die Datengrundlage der Wettbewerber unbekannt ist. Wer die Bereinigung unterlässt, hat dagegen nichts zu befürchten, weil sich Kontamination von außen nicht zweifelsfrei nachweisen lässt.
Auf der Gegenseite fehlt es an einer Instanz, die prüfen könnte. Die Ersteller von Benchmarks haben keinen Zugriff auf Trainingsdaten; unabhängige Prüfstellen mit entsprechenden Befugnissen existieren nicht. Die vorhandenen Nachweisverfahren arbeiten mit statistischen Indizien und liefern Hinweise, keine Belege.
Daraus folgt, dass die Lösung eher in der Bauweise der Prüfsammlungen als in der Reinigung der Trainingsdaten gesucht wird: zurückgehaltene Aufgabenbestände, laufend erneuerte Sammlungen, Aufgaben, deren Lösung sich nicht aus Text ableiten lässt, und Auswertungen, die nach dem Trainingsstichtag entstandenes Material verwenden. Diese Ansätze setzen nicht auf Wohlverhalten, sondern machen Kontamination technisch schwerer.
Verwandte Begriffe
- ARC-AGI – Benchmark, dessen Konstruktion Kontamination vermeiden soll
- On the Measure of Intelligence – theoretische Begründung der Kontrolle von Vorwissen
- Overrefusal – weitere Kennzahl, ohne die Sicherheitswerte nicht interpretierbar sind
- Emergent Abilities – Debatte, in der Messartefakte eine Rolle spielen
- Goodhart’s Law – Grundproblem der Optimierung auf eine Kennzahl
- AGI – Zielbegriff, dessen Messung von dem Problem betroffen ist
Quellenangaben
- ARC Prize Foundation (Chollet, François u. a.) (2026): ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. arXiv: 2603.24621.
- Chollet, François (2019): On the Measure of Intelligence. arXiv: 1911.01547.
- Morris, Meredith Ringel / Sohl-Dickstein, Jascha / Fiedel, Noah / Warkentin, Tris / Dafoe, Allan / Faust, Aleksandra / Farabet, Clement / Legg, Shane (Google DeepMind) (2023): Levels of AGI for Operationalizing Progress on the Path to AGI. arXiv: 2311.02462.
- Wang, Zijun / Tu, Haoqin / Wang, Yuhan / Wu, Juncheng / Liu, Yanqing / Mei, Jieru / Bartoldson, Brian R. / Kailkhura, Bhavya / Xie, Cihang (2025): STAR-1: Safer Alignment of Reasoning LLMs with 1K Data. In: Proceedings of the AAAI Conference on Artificial Intelligence 2026. arXiv: 2504.01903.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.