Transfer Learning

Transfer Learning (deutsch Transferlernen) bezeichnet das Verfahren, ein für eine Aufgabe trainiertes Modell als Ausgangspunkt für eine andere zu verwenden. Statt bei zufälligen Gewichten zu beginnen, wird auf bereits Gelerntem aufgesetzt – mit dem Ergebnis, dass für die neue Aufgabe erheblich weniger Daten genügen.

Zusammenfassung

Die Grundbeobachtung stammt aus der Bildverarbeitung. Ein Netz, das auf Millionen Fotos trainiert wurde, hat in seinen frühen Schichten allgemeine Bildeigenschaften gelernt – Kanten, Texturen, einfache Formen. Diese sind für jede Bildaufgabe brauchbar.

Eine Arbeit von 2014 vermaß, wie weit diese Übertragbarkeit reicht: Frühe Schichten übertragen sehr gut, späte Schichten sind auf die ursprüngliche Aufgabe zugeschnitten, und dazwischen liegt ein gleitender Übergang.

In der Sprachverarbeitung setzte sich das Verfahren ab 2018 durch. Ein Modell wird auf großen Textmengen vortrainiert und anschließend mit vergleichsweise wenigen beschrifteten Beispielen auf eine bestimmte Aufgabe angepasst.

Mit den großen Sprachmodellen hat sich das Bild erneut verschoben. Für viele Aufgaben genügt heute eine Anweisung, ohne dass Gewichte verändert werden – was das klassische Anpassen nicht überflüssig macht, aber auf andere Fälle zurückdrängt.

Begriffsgeschichte

Die Idee ist älter als das Deep Learning. Bereits in den 1990er Jahren beschäftigte sich die Forschung damit, wie sich Wissen zwischen verwandten Lernaufgaben übertragen lässt.

Praktisch wirksam wurde sie erst mit den großen Bilddatensätzen. Ab 2012 zeigte sich, dass ein auf ImageNet vortrainiertes Netz als Ausgangspunkt für nahezu jede Bildaufgabe taugt – auch für solche, die mit den Trainingskategorien nichts zu tun haben.

Die Untersuchung von 2014 machte daraus eine messbare Aussage. Sie trennte zwei Effekte, die zuvor vermengt worden waren: den Verlust durch die Spezialisierung späterer Schichten und den Verlust durch das Auseinanderreißen zusammenwirkender Schichten.

In der Sprachverarbeitung blieb der Ansatz lange schwach. Wortvektoren übertrugen zwar Wissen, aber nur auf der untersten Ebene; die eigentliche Aufgabe musste weiterhin von Grund auf gelernt werden.

2018 änderte sich das. Mit BERT und verwandten Modellen wurde das Vortrainieren ganzer Netze auf unbeschriftetem Text zum Standard – und das nachgelagerte Anpassen zur üblichen Arbeitsweise.

Methodische Grundlagen

Einfrieren gegen Weitertrainieren. Entweder bleiben die übernommenen Schichten unverändert und nur eine neue Ausgabeschicht wird trainiert, oder das gesamte Netz wird mit kleiner Lernrate weitertrainiert. Das zweite Vorgehen liefert bessere Ergebnisse, benötigt aber mehr Daten.

Abgestufte Lernraten. Frühe Schichten werden mit kleineren Schritten angepasst als späte, weil sie allgemeineres und damit übertragbareres Wissen tragen.

Katastrophales Vergessen. Wird zu stark angepasst, verliert das Modell Fähigkeiten der ursprünglichen Aufgabe. Das ist bei einem einzelnen Anwendungsfall unerheblich, bei einem Modell für mehrere Zwecke jedoch ein ernstes Problem.

Sparsame Anpassungsverfahren. Statt alle Gewichte zu ändern, werden kleine Zusatzmatrizen trainiert, während das ursprüngliche Modell unverändert bleibt. Der Speicherbedarf sinkt um Größenordnungen, und mehrere Anpassungen lassen sich nebeneinander vorhalten.

Abstand der Bereiche. Der Nutzen hängt davon ab, wie ähnlich sich Vortrainings- und Zielaufgabe sind. Bei großer Entfernung – etwa von Alltagsfotos zu Röntgenbildern – fällt der Gewinn deutlich geringer aus.

Anwendungsfelder

Fachbereiche mit wenigen Daten. Medizin, Recht, Materialforschung: Bereiche, in denen beschriftete Beispiele teuer sind und ein allgemein vortrainiertes Modell den Unterschied macht.

Sprachen mit geringer Ressourcenlage. Ein mehrsprachig vortrainiertes Modell überträgt Fähigkeiten auf Sprachen, für die kaum eigenes Trainingsmaterial vorliegt.

Anpassung an Stil und Form. Ein Modell auf einen bestimmten Ton, ein Ausgabeformat oder eine Fachterminologie einzustellen, ist der häufigste verbliebene Fall bei Sprachmodellen.

Bildverarbeitung insgesamt. Dort ist der Ansatz weiterhin der Normalfall und nicht die Ausnahme – ein von Grund auf trainiertes Bildmodell ist die Seltenheit.

Kontroversen und Kritik

Übertragene Verzerrungen. Was das Vortraining an Schieflagen enthält, wandert in jede abgeleitete Anwendung. Die Herkunft der Verzerrung ist dann schwer zu ermitteln, weil sie nicht in den Daten der Zielaufgabe steckt.

Scheinbare Ersparnis. Der Aufwand verschwindet nicht, er verlagert sich. Das Vortraining ist außerordentlich teuer; wer davon profitiert, nutzt eine Investition, die jemand anderes getätigt hat.

Unklare Übertragbarkeit. Ob ein Vortraining für eine bestimmte Zielaufgabe nützt, lässt sich vorab kaum abschätzen. In Bereichen, die dem Vortraining fernliegen, ist der Gewinn gelegentlich null oder negativ.

Anpassung schwächt Sicherheitseigenschaften. Untersuchungen zeigen, dass nachträgliches Anpassen die im Sicherheitstraining erworbenen Verhaltensweisen beschädigen kann – selbst bei unbedenklichen Trainingsdaten.

Ablösung durch Anweisungen. Bei großen Modellen erreicht eine gut formulierte Anweisung mit einigen Beispielen häufig, wofür früher Anpassung nötig war. Das verkleinert den Anwendungsbereich, ohne ihn aufzuheben.

Wo die Grenze zwischen Lernen und Anweisen verläuft

Die Verdrängung des Anpassens durch Anweisungen wird gelegentlich als Ende des Verfahrens dargestellt. Genauer besehen verschiebt sie eine Grenze, die zuvor gar nicht sichtbar war.

Ein angepasstes Modell hat sein Verhalten in den Gewichten. Es kann nicht anders, es braucht keine Erinnerung an die Anweisung, und es kostet bei jeder Anfrage keinen zusätzlichen Kontext. Ein angewiesenes Modell hat sein Verhalten im Kontext – änderbar, aber bei jeder Anfrage neu zu bezahlen und durch spätere Anweisungen überschreibbar.

Daraus folgt eine praktische Regel, die selten ausgesprochen wird. Was sich sprachlich beschreiben lässt, gehört in die Anweisung; was sich nur durch Beispiele zeigen lässt, gehört in die Gewichte. Ein bestimmter Tonfall, ein ungewöhnliches Ausgabeformat, eine Fachterminologie mit tausend Einzelfällen – das sind die Fälle, in denen Anpassung weiterhin gewinnt.

Die Frage ist damit weniger, ob Transferlernen überholt ist, als wo die Grenze zwischen beschreibbarem und zeigbarem Wissen verläuft – und diese Grenze verschiebt sich mit jeder Modellgeneration.

Quellenangaben

Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
Yosinski, Jason / Clune, Jeff / Bengio, Yoshua / Lipson, Hod, 2014. How Transferable Are Features in Deep Neural Networks? In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3320–3328.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.