Selbstüberwachtes Lernen (englisch self-supervised learning) bezeichnet Verfahren, bei denen ein Modell aus unbeschrifteten Daten lernt, indem es Teile davon aus anderen Teilen vorhersagt. Das Trainingssignal entsteht aus der Struktur der Daten selbst, nicht aus menschlichen Beschriftungen.
Zusammenfassung
Das Verfahren ist die Grundlage praktisch aller heutigen Foundation Models. Ein Sprachmodell, das das nächste Token vorhersagt, betreibt selbstüberwachtes Lernen: Die Beschriftung ist der Text selbst. Der Grund für die Verbreitung ist eine schlichte Mengenrechnung – beschriftete Daten sind teuer und knapp, unbeschriftete praktisch unbegrenzt verfügbar.
Yann LeCun veranschaulichte das Verhältnis mit dem Bild eines Kuchens, dessen Masse aus selbstüberwachtem Lernen besteht, während überwachtes Lernen den Zuckerguss und bestärkendes Lernen die Kirsche bildet. Die Ansätze unterscheiden sich darin, was vorhergesagt wird: Rohdaten, Ähnlichkeitsbeziehungen oder abstrakte Repräsentationen.
Begriffsgeschichte
Die Grundidee ist älter als der Ausdruck. Autoencoder – Netze, die ihre eigene Eingabe rekonstruieren und dabei über einen Engpass hinweg komprimieren müssen – gehören seit den 1980er Jahren zum Bestand des Fachs.
Wirksam wurde das Prinzip in der Sprachverarbeitung mit den Wortvektor-Verfahren um 2013, die Wortbedeutungen allein daraus ableiteten, welche Wörter in welcher Umgebung auftreten. Das Trainingssignal stammte vollständig aus dem Text; beschriftet wurde nichts.
Im maschinellen Sehen entstand in den Jahren danach eine Reihe von Stellvertreteraufgaben: die relative Lage zweier Bildausschnitte bestimmen, ein zerschnittenes Bild wieder zusammensetzen, den Drehwinkel eines gedrehten Bildes angeben, Graustufenbilder einfärben.
Alle diese Aufgaben haben gemeinsam, dass sich die richtige Antwort aus den Daten selbst erzeugen lässt und dass die Aufgabe selbst uninteressant ist – verwertet wird nicht die Lösung, sondern die Repräsentation, die das Modell auf dem Weg dorthin bildet.
Der Ausdruck selbstüberwachtes Lernen setzte sich gegen Ende der 2010er Jahre durch, maßgeblich befördert von Yann LeCun, der ausdrücklich dafür warb, diese Verfahren nicht länger als unüberwacht zu bezeichnen. Sein Argument ist begrifflicher Natur: Es findet sehr wohl Überwachung statt, mit klar definierter Zielgröße und Fehlerfunktion – nur stammt die Zielgröße nicht von Menschen, sondern aus den Daten.
Die ältere Bezeichnung verwische diesen Unterschied und ordne die Verfahren einer Familie zu (Clustering, Dimensionsreduktion), zu der sie nicht gehören.
Abgrenzung
| Lernart | Trainingssignal | Datenbedarf |
|---|---|---|
| Überwacht | menschliche Beschriftungen | beschriftete Daten, knapp |
| Unüberwacht | keines, nur Struktur | unbeschriftete Daten |
| Selbstüberwacht | aus den Daten erzeugte Aufgabe | unbeschriftete Daten |
| Bestärkend | Belohnung aus der Umgebung | Interaktion |
Selbstüberwachtes Lernen steht zwischen unüberwachtem und überwachtem Lernen: Es verwendet keine externen Beschriftungen, formuliert aber eine Vorhersageaufgabe mit eindeutiger Zielgröße. Die Zielgröße wird aus den Daten selbst gewonnen, indem ein Teil verdeckt wird.
Ansätze
Vorhersage im Datenraum. Der verdeckte Teil wird rekonstruiert. Bei Text ist das die Vorhersage des nächsten Tokens (GPT-Reihe) oder maskierter Token (BERT), bei Bildern die Rekonstruktion verdeckter Bildbereiche. Der Ansatz ist einfach und hat sich bei Sprache als außerordentlich wirksam erwiesen.
Kontrastive Verfahren. Statt Daten zu rekonstruieren, lernt das Modell, welche Ausschnitte zusammengehören und welche nicht. Zwei Ansichten desselben Bildes sollen ähnliche Repräsentationen erhalten, verschiedene Bilder unähnliche. Ein bekanntes Beispiel ist CLIP, das Bilder und zugehörige Texte in einen gemeinsamen Raum abbildet.
Vorhersage im Repräsentationsraum. Vorhergesagt wird nicht der verdeckte Teil selbst, sondern dessen abstrakte Darstellung. LeCuns JEPA-Architektur folgt diesem Weg mit der Begründung, dass die Rekonstruktion jedes Bildpunkts Kapazität auf Belangloses verwendet.
Bedeutung
Für Sprache ist der Erfolg eindeutig: Die gesamte Entwicklung der großen Sprachmodelle beruht darauf, dass Text ein hervorragendes selbstüberwachtes Trainingssignal liefert. Jedes Wort ist zugleich Eingabe und Zielgröße; die Datenmenge ist entsprechend groß.
Für Bild und Video ist die Lage schwieriger. Ein Bild lässt sich nicht sinnvoll in eine Folge zerlegen, deren Fortsetzung vorherzusagen wäre, und die Rekonstruktion von Bildpunkten erzwingt Aufwand auf Einzelheiten. Genau an diesem Punkt setzt die Debatte zwischen generativen und repräsentationsbasierten Ansätzen an.
Für Weltmodelle ist das Verfahren die notwendige Grundlage: Videomaterial enthält keine Beschriftungen darüber, welche Handlung welchen Zustandswechsel bewirkt hat. Systeme wie Genie erschließen diesen Handlungsraum selbst aus unbeschriftetem Material.
Einordnung
Selbstüberwachtes Lernen ist der Grund dafür, dass die Skalierung überhaupt möglich wurde. Wären Beschriftungen erforderlich, wäre die Datenmenge durch menschliche Arbeitskraft begrenzt; ohne diese Begrenzung wurde die Datenmenge zur Frage von Sammlung und Rechenleistung.
Damit verbunden sind die bekannten Folgeprobleme: Was in unbeschrifteten Daten enthalten ist, wird mitgelernt – einschließlich Verzerrungen, Fehlinformationen und rechtlich strittiger Inhalte. Die Frage nach Herkunft und Rechtsstatus der Trainingsdaten folgt unmittelbar aus dem Verfahren.
Kontroversen und Kritik
Zusammenbruch der Repräsentation. Verfahren, die auf Ähnlichkeit statt auf Rekonstruktion setzen, haben eine triviale Lösung: Das Modell bildet schlicht alles auf denselben Vektor ab und erfüllt damit die Ähnlichkeitsbedingung perfekt, ohne irgendetwas gelernt zu haben.
Ein erheblicher Teil des Aufwands in diesem Zweig besteht darin, diesen Zusammenbruch zu verhindern – durch Gegenbeispiele, durch asymmetrische Architekturen, durch Nebenbedingungen an die Streuung der Repräsentationen. Kritiker halten diese Vorkehrungen für Stützkonstruktionen ohne theoretische Begründung, deren Wirksamkeit empirisch belegt, aber nicht erklärt ist.
Bewertung ohne eigenes Maß. Selbstüberwachtes Lernen erzeugt Repräsentationen, keine Antworten.
Ob eine Repräsentation gut ist, lässt sich deshalb nur mittelbar prüfen – üblicherweise, indem man einen einfachen Klassifikator darauf trainiert und dessen Ergebnis misst. Dieses Vorgehen macht die Bewertung von der Wahl der nachgelagerten Aufgabe abhängig und begünstigt Verfahren, die auf den gängigen Prüfaufgaben gut abschneiden, ohne dass daraus allgemeine Überlegenheit folgt.
Die Aufgabe entscheidet, nicht das Prinzip. Dass das Trainingssignal aus den Daten stammt, sagt für sich genommen nichts über die Qualität des Gelernten.
Eine schlecht gewählte Stellvertreteraufgabe erzeugt Repräsentationen, die genau das erfassen, was zur Lösung dieser Aufgabe nötig war – und nicht mehr. Der Erfolg bei Text beruht darauf, dass die Vorhersage des nächsten Wortes zufällig eine außerordentlich anspruchsvolle Aufgabe ist; ein vergleichbar glücklicher Griff steht für andere Datenarten aus.
Verschiebung statt Beseitigung des Beschriftungsproblems. Die Erzählung, selbstüberwachtes Lernen mache menschliche Beschriftung überflüssig, greift zu kurz.
Die heutigen Modelle durchlaufen nach dem selbstüberwachten Vortraining eine Anpassungsphase, die auf menschlichem Urteil beruht – Beispieldialoge, Präferenzvergleiche, Sicherheitsbewertungen. Der Aufwand ist nicht verschwunden, sondern hat seinen Ort gewechselt: von der Beschriftung der Trainingsdaten zur Bewertung der Modellausgaben.
Verwandte Begriffe
- Pre-Training – Trainingsphase, in der das Verfahren angewendet wird
- JEPA – repräsentationsbasierter Ansatz
- BERT – maskierte Sprachmodellierung
- GPT – Vorhersage des nächsten Tokens
- CLIP – kontrastives Verfahren für Bild und Text
- World Models – Systemklasse, die darauf angewiesen ist
- Yann LeCun – prominenter Vertreter des Paradigmas
- Foundation Models – Modellklasse, die darauf beruht
- Scaling Laws – Zusammenhang, den das Verfahren ermöglichte
Quellenangaben
- Assran, Mahmoud u. a. (Meta AI) (2023): Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. In: Proceedings of CVPR 2023. arXiv: 2301.08243.
- Bruce, Jake u. a., 2024. Genie: Generative Interactive Environments. ICML 2024. arXiv: 2402.15391.
- Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
- LeCun, Yann, 2022. A Path Towards Autonomous Machine Intelligence. Meta AI. OpenReview.
- Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.