Denoising Autoencoders sind eine 2008 von Pascal Vincent, Hugo Larochelle, Yoshua Bengio und Pierre-Antoine Manzagol vorgestellte Variante des Autoencoders, die absichtlich verrauschte Eingaben rekonstruieren lernt, statt die unveränderte Eingabe bloß zu kopieren.
Zusammenfassung
Ein gewöhnlicher Autoencoder komprimiert eine Eingabe zu einer niedrigdimensionalen Repräsentation und rekonstruiert daraus die ursprüngliche Eingabe – ein Verfahren, das bei ausreichender Kapazität lediglich die Identitätsfunktion approximieren kann, ohne notwendigerweise nützliche Merkmale zu lernen.
Denoising Autoencoders begegnen diesem Problem, indem sie der Eingabe gezielt Rauschen hinzufügen – etwa durch zufälliges Nullsetzen einzelner Werte – und das Netz zwingen, aus dieser beschädigten Version die unbeschädigte Originaleingabe zu rekonstruieren.
Begriffsgeschichte
Die Arbeit erschien 2008 auf der International Conference on Machine Learning (ICML), in einer Phase intensiver Suche nach unüberwachten Vortrainingsverfahren für tiefe Netze – parallel zu den zeitgleich diskutierten Deep Belief Networks.
Methodische Grundlagen
Da die Rekonstruktionsaufgabe nicht mehr trivial durch bloßes Kopieren lösbar ist, muss das Netz implizite Regelmäßigkeiten der Eingabeverteilung erfassen, um fehlende oder beschädigte Werte plausibel zu ergänzen. Diese erzwungene Robustheit führt zu Merkmalsrepräsentationen, die stabiler gegenüber kleinen Störungen der Eingabe sind als bei einem gewöhnlichen Autoencoder.
Anwendungsfelder
Denoising Autoencoders dienten als unüberwachtes Vortrainingsverfahren für tiefe Netze, insbesondere zur schichtweisen Initialisierung mehrschichtiger Architekturen – ein methodisches Gegenstück zum schichtweisen RBM-Vortraining der Deep Belief Networks.
Das Grundprinzip, aus einer gezielt verschlechterten Eingabe die Originalstruktur zu rekonstruieren, findet sich in abgewandelter Form auch in modernen Diffusionsmodellen wieder, die schrittweise verrauschte Bilder wieder entrauschen.
Kontroversen und Kritik
Die Wahl von Rauschart und Rauschstärke ist ein empirischer Kompromiss ohne allgemeingültige Regel: Zu wenig Rauschen liefert kaum Lerndruck, zu viel Rauschen macht die Rekonstruktionsaufgabe unlösbar. Mit dem Aufkommen direkter end-to-end-trainierbarer tiefer Netze verlor das unüberwachte Autoencoder-Vortraining ähnlich wie das RBM-basierte Vortraining an praktischer Bedeutung.
Verwandte Begriffe
- Yoshua Bengio – Mitautor der Arbeit
- Neuronale Netze – übergeordnete Systemklasse
Quellenangaben
- Vincent, Pascal / Larochelle, Hugo / Bengio, Yoshua / Manzagol, Pierre-Antoine, 2008. Extracting and Composing Robust Features with Denoising Autoencoders. Proceedings of the 25th International Conference on Machine Learning (ICML), S. 1096–1103.