Knowledge Distillation ist ein Verfahren, mit dem ein kleines „Schüler”-Modell darauf trainiert wird, die Vorhersagen eines größeren, bereits trainierten „Lehrer”-Modells nachzuahmen – nicht nur dessen richtige Antworten, sondern die vollständige Verteilung seiner Unsicherheit über alle möglichen Antworten hinweg.
Zusammenfassung
Geoffrey Hinton, Oriol Vinyals und Jeff Dean stellten das Verfahren 2015 in Distilling the Knowledge in a Neural Network vor. Ihr Ausgangsproblem: Ensembles aus vielen großen Modellen liefern bessere Vorhersagen, sind aber für den produktiven Einsatz zu teuer und zu langsam.
Ihre Lösung bestand darin, ein kleines Modell nicht auf harten Labels zu trainieren, sondern auf den weichen Wahrscheinlichkeitsverteilungen des großen Modells – diese enthalten zusätzliche Information darüber, welche falschen Antworten das große Modell für vergleichsweise plausibel hält. Heute treibt dasselbe Grundprinzip unter anderem die kompakten, aber leistungsfähigen Varianten der DeepSeek-R1-Modellfamilie an.
Begriffsgeschichte
Vor 2015 galt es als etabliert, dass ein Ensemble mehrerer Modelle einzelne Modelle in der Genauigkeit übertrifft – aber ein solches Ensemble beim Einsatz für Millionen Nutzer:innen parallel zu betreiben, war rechnerisch unpraktikabel.
Hintons Team führte dafür den Begriff der „dunklen Kenntnis” (dark knowledge) ein. Selbst falsche Vorhersagen eines gut trainierten Modells sind nicht beliebig falsch, sondern relativ zueinander abgestuft plausibel – ein Bild einer Katze wird selten mit „Auto”, aber öfter mit „Hund” verwechselt. Ein per Temperatur geglätteter Softmax macht diese Abstufung sichtbar und nutzbar als Trainingssignal für ein kleineres Modell.
Das Verfahren verbreitete sich seither weit über sein ursprüngliches Anwendungsfeld hinaus und wurde zur Standardmethode, um kompakte Modelle für mobile Geräte oder kostengünstigen Servereinsatz zu erzeugen – bis hin zu den 2025 veröffentlichten, per Reasoning-Distillation erzeugten kleineren Varianten von DeepSeek-R1.
Methodische Grundlagen
Das Lehrer-Modell erzeugt für jede Trainingseingabe eine vollständige Wahrscheinlichkeitsverteilung über alle möglichen Ausgaben, nicht nur die wahrscheinlichste. Ein Temperatur-Parameter im Softmax glättet diese Verteilung zusätzlich, sodass auch kleine Wahrscheinlichkeiten für alternative Antworten sichtbar bleiben, statt von der dominanten Antwort überdeckt zu werden.
Das Schüler-Modell wird darauf trainiert, diese geglättete Verteilung des Lehrers zu reproduzieren – meist über eine Kullback-Leibler-Divergenz als Verlustfunktion, oft kombiniert mit einem zusätzlichen Trainingsziel auf den tatsächlichen, harten Labels. Bei neueren Reasoning-Modellen wird nicht nur die finale Antwortverteilung destilliert, sondern die gesamte Gedankenkette des Lehrers als Trainingssignal genutzt.
Anwendungsfelder
Der klassische Anwendungsfall bleibt die Modellkomprimierung für den produktiven Einsatz: kleinere, schnellere Modelle für mobile Geräte oder kostengünstige Server-Inferenz, ohne auf die volle Größe des Original-Modells angewiesen zu sein. OpenAIs kompaktere „Mini”-Modelle folgen demselben Grundprinzip.
Besondere Aufmerksamkeit erregten 2025 die DeepSeek-R1-Distill-Varianten, die Reasoning-Fähigkeiten eines großen Modells in deutlich kleinere Modelle wie Qwen-7B übertrugen. Die distillierten Modelle übertrafen auf mehreren Reasoning-Benchmarks sogar größere, unabhängig trainierte Vergleichsmodelle – ein Beleg dafür, wie viel Trainingssignal in der Gedankenkette eines starken Lehrer-Modells steckt.
Kontroversen und Kritik
Sehr kleine Schüler-Modelle – etwa mit 1,5 Milliarden Parametern – zeigen bei mehrstufigem logischem oder symbolischem Schließen deutliche Genauigkeitseinbußen gegenüber ihrem Lehrer, die auch mit optimierter Distillation nicht vollständig verschwinden (Yu 2025). Mehrere Untersuchungen fanden zudem, dass distillierte Modelle in Sicherheits- und Ausrichtungs-Metriken messbar schlechter abschneiden als ihre Lehrer-Modelle, etwa bei der Erkennung riskanter Anfragen oder der Bereitschaft, problematische Anfragen abzulehnen.
Der folgenreichste Streitfall betrifft geistiges Eigentum: Im Januar 2025 warf OpenAI DeepSeek vor, über verschleierte Drittanbieter-Zugänge systematisch Ausgaben von OpenAI-Modellen abgegriffen zu haben, um sie zur Distillation eines eigenen Konkurrenzmodells zu nutzen – ein Verstoß gegen OpenAIs Nutzungsbedingungen. Rechtliche Schritte blieben bislang aus, aber führende Anbieter wie OpenAI, Anthropic, Mistral und xAI ergänzten ihre Nutzungsbedingungen seither um ausdrückliche Klauseln gegen „konkurrierende Distillation”. Ob das Abgreifen öffentlich zugänglicher API-Ausgaben zum Training eines eigenen Modells überhaupt rechtlich fassbar ist, gilt als ungeklärt.
Verwandte Begriffe
- DeepSeek – dessen R1-Distill-Modellfamilie das Verfahren prominent auf Reasoning-Ketten anwendet und zugleich im Zentrum des Streitfalls mit OpenAI steht
- Fine-Tuning – verwandtes, aber eigenständiges Verfahren zur Anpassung bereits trainierter Modelle
Quellenangaben
- Hinton, Geoffrey / Vinyals, Oriol / Dean, Jeff, 2015. Distilling the Knowledge in a Neural Network. arXiv: 1503.02531.
- Rest of World, 2026. OpenAI Accuses DeepSeek of Malpractice Ahead of AI Launch.
- Law.asia, 2026. Dispute over AI Model Distillation Tech in OpenAI-DeepSeek Case.
- Yu, Tong / Jing, Yongcheng / Zhang, Xikun u. a., 2025. Benchmarking Reasoning Robustness in Large Language Models. arXiv: 2503.04550.