Synthetische Daten sind maschinell erzeugte Trainingsdaten, die reale Daten ergänzen oder ersetzen. In der KI-Entwicklung haben sie an Bedeutung gewonnen, weil hochwertige menschlich erzeugte Daten knapp werden, weil manche Daten aus rechtlichen oder ethischen Gründen nicht verfügbar sind und weil sich gezielt Fälle erzeugen lassen, die in der Wirklichkeit selten vorkommen.
Zusammenfassung
Der Aufstieg synthetischer Daten folgt aus einer Erschöpfungsdiagnose: Der Bestand an hochwertigem menschlich verfasstem Text ist endlich, während der Bedarf mit jeder Modellgeneration wächst.
Zugleich hat sich gezeigt, dass sorgfältig erzeugte synthetische Daten reale in manchen Bereichen übertreffen können, weil sie gezielter zugeschnitten sind.
Der Ansatz trägt jedoch ein strukturelles Risiko: Werden Modelle überwiegend auf Ausgaben anderer Modelle trainiert, kann die Vielfalt der gelernten Verteilung schrittweise verarmen – ein Vorgang, der als Modellkollaps bezeichnet wird. Ob dieser eintritt, hängt entscheidend davon ab, ob die erzeugten Daten gefiltert und mit realen ergänzt werden.
Formen und Zwecke
| Anwendung | Erzeugung | Beispiel |
|---|---|---|
| Sprachmodelle | Modellausgaben, gefiltert | Anweisungsdatensätze, Trainingsbeispiele |
| Robotik und Fahren | Simulation, Videoerzeugung | Nvidia Cosmos |
| Sicherheitstraining | erzeugte Prompt-Antwort-Paare | Deliberative Alignment |
| Datenschutz | Erzeugung statistisch ähnlicher Datensätze | medizinische Register |
| Seltene Fälle | gezielte Konstruktion | Gefahrensituationen im Verkehr |
Destillation ist der praktisch bedeutsamste Fall: Ein großes Modell erzeugt Ausgaben, auf denen ein kleineres trainiert wird. Das kleinere übernimmt einen Teil der Fähigkeiten bei erheblich geringerem Betriebsaufwand.
Sicherheitstraining. Deliberative Alignment erzeugt seine Trainingsdaten vollständig synthetisch: Ein Modell beantwortet Anfragen mit der Sicherheitsspezifikation im Systemprompt, ein Bewertungsmodell filtert die Ergebnisse. Die Autoren werten dies als Skalierbarkeitsvorteil gegenüber Verfahren mit hohem Annotationsbedarf. Constitutional AI folgt derselben Logik.
Physische Umgebungen. Nvidias Cosmos erzeugt Videodaten für das Training von Robotern und Fahrsystemen – ein Bereich, in dem reale Erhebung an Kosten- und Sicherheitsgrenzen stößt.
Modellkollaps
Der zentrale Einwand betrifft die Rückkopplung. Werden Modelle auf Daten trainiert, die von Modellen stammen, verstärken sich zwei Effekte: Seltene Ausprägungen der ursprünglichen Verteilung verschwinden zuerst, und die Ausgaben rücken näher an den Durchschnitt.
Eine 2024 in Nature veröffentlichte Arbeit wies nach, dass wiederholtes Training auf den eigenen Ausgaben zu fortschreitendem Verlust an Vielfalt führt und das Modell schließlich unbrauchbar wird. Der Vorgang ist auch unter der Bezeichnung model autophagy disorder beschrieben worden.
Einschränkend gilt: Der Befund betrifft die unkontrollierte Rückkopplung ohne Filterung und ohne Zufuhr realer Daten. Nachfolgende Arbeiten zeigen, dass Anreicherung mit realen Daten und sorgfältige Auswahl den Verfall verhindern. In der Praxis werden synthetische Daten deshalb nicht als Ersatz, sondern als Ergänzung eingesetzt.
Ein verwandtes Problem betrifft das Internet als Datenquelle: Da Modellausgaben in großem Umfang veröffentlicht werden, enthalten künftige Trainingskorpora unvermeidlich synthetische Anteile, ohne dass diese gekennzeichnet wären.
Weitere Vorbehalte
Wirklichkeitslücke. Ein auf erzeugten Daten trainiertes System lernt möglicherweise die Eigenheiten des Erzeugers statt die der Wirklichkeit. Bei physischen Anwendungen ist das besonders folgenreich, weil Abweichungen systematisch sein können.
Verzerrungsverstärkung. Erzeugte Daten tragen die Verzerrungen des erzeugenden Modells und können sie verstärken statt ausgleichen.
Bewertbarkeit. Ob ein synthetischer Datensatz gut ist, lässt sich nur indirekt beurteilen – über die Leistung der damit trainierten Modelle.
Rechtliche Lage. Synthetische Daten gelten nicht ohne Weiteres als frei von den Rechten an den Daten, aus denen der Erzeuger gelernt hat. Auch beim Datenschutz ist umstritten, ab wann eine Erzeugung hinreichend entkoppelt ist, um keinen Personenbezug mehr aufzuweisen.
Einordnung
Synthetische Daten stehen für eine Verschiebung im Verhältnis der drei Größen, aus denen sich Modellfähigkeiten ergeben. Solange Daten als knapp galten, war ihre Beschaffung der Engpass. Mit der Möglichkeit, sie zu erzeugen, verlagert sich die Frage auf die Qualität der Erzeugung und der Auswahl – und damit auf Rechenleistung, die für Erzeugung und Filterung aufzuwenden ist.
Für die KI-Sicherheit ist der Ansatz doppelt bedeutsam: Er ermöglicht Sicherheitstraining in einem Umfang, der mit menschlicher Bewertung nicht erreichbar wäre, und verlagert zugleich die Wertentscheidungen in die Spezifikation, nach der erzeugt und gefiltert wird.
Die Rolle des Filters
In der öffentlichen Darstellung liegt der Nachdruck auf der Erzeugung; der wirksamere Teil ist die Auswahl. Ein Modell, das aus seinen eigenen Ausgaben lernt, ohne dass diese Ausgaben zuvor bewertet und aussortiert werden, verstärkt seine bestehenden Neigungen – genau der Vorgang, den die Warnung vor dem Modellkollaps beschreibt.
Wird dagegen nur behalten, was eine unabhängige Prüfung besteht, kehrt sich die Richtung um: Das Modell lernt bevorzugt aus seinen besseren Versuchen und verschiebt seine Verteilung nach oben.
Entscheidend ist damit, woher das Prüfurteil stammt. Am belastbarsten ist es dort, wo eine vom Modell unabhängige Instanz entscheidet – ein ausgeführtes Programm, ein Beweisprüfer, ein Messwert, eine Simulation. Bewertet dagegen ein Sprachmodell die Ausgaben eines Sprachmodells, ist der Filter nicht unabhängig: Er teilt die blinden Flecken des Erzeugers und lässt gerade jene Fehler durch, die beide für richtig halten.
Daraus erklärt sich, warum synthetische Daten in manchen Bereichen außerordentlich gut funktionieren und in anderen kaum. Wo eine billige, verlässliche Prüfung verfügbar ist – Programmierung, Mathematik, formale Aufgaben –, lässt sich beliebig viel brauchbares Material erzeugen. Wo die Richtigkeit einer Aussage selbst Gegenstand des Urteils ist, das erst gelernt werden soll, fehlt der Ansatzpunkt.
Verwandte Begriffe
- Cosmos – Plattform zur Erzeugung physikalischer Trainingsdaten
- Deliberative Alignment – Verfahren mit vollständig synthetischen Trainingsdaten
- Constitutional AI – Verfahren mit KI-gestützter Bewertung
- Destillation – Übertragung von Fähigkeiten auf kleinere Modelle
- Modellkollaps – Risiko unkontrollierter Rückkopplung
- Benchmark-Kontamination – verwandtes Problem der Datenreinheit
- Scaling Laws – Zusammenhang, dessen Datenkomponente betroffen ist
- Pre-Training – Trainingsphase mit dem größten Datenbedarf
Quellenangaben
- Alemohammad, Sina u. a. (2023): Self-Consuming Generative Models Go MAD. arXiv: 2307.01850.
- Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
- Gerstgrasser, Matthias u. a. (2024): Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv: 2404.01413.
- Guan, Melody Y. / Joglekar, Manas / Wallace, Eric / Jain, Saachi / Barak, Boaz / Helyar, Alec / Dias, Rachel / Vallone, Andrea / Ren, Hongyu / Wei, Jason / Chung, Hyung Won / Toyer, Sam / Heidecke, Johannes / Beutel, Alex / Glaese, Amelia (OpenAI) (2024): Deliberative Alignment: Reasoning Enables Safer Language Models. arXiv: 2412.16339.
- Nvidia (2025): Cosmos World Foundation Model Platform for Physical AI. arXiv: 2501.03575.
- Shumailov, Ilia u. a., 2024. AI Models Collapse When Trained on Recursively Generated Data. In: Nature 631, S. 755–759. DOI: 10.1038/s41586-024-07566-y
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.