Deep Belief Networks (DBN) sind eine 2006 von Geoffrey Hinton, Simon Osindero und Yee-Whye Teh vorgestellte Architektur, die mehrere Restricted Boltzmann Machines schichtweise übereinanderstapelt und gilt als der Auslöser der modernen Deep-Learning-Welle.
Zusammenfassung
Vor 2006 galten sehr tiefe neuronale Netze als kaum trainierbar: Der Backpropagation-Gradient verschwand auf dem Weg durch viele Schichten, sodass frühe Schichten kaum noch nützliche Lernsignale erhielten. Hinton, Osindero und Teh zeigten, dass sich dieses Problem umgehen lässt, indem man das Netz schichtweise, jeweils als eigenständige RBM, unüberwacht vortrainiert, bevor eine abschließende, überwachte Feinabstimmung über das gesamte Netz erfolgt.
Begriffsgeschichte
Die 2006 veröffentlichte Arbeit A Fast Learning Algorithm for Deep Belief Nets gilt vielfach als der Wendepunkt, der das über Jahre als aussichtslos geltende Training tiefer Netze wieder auf die Forschungsagenda setzte. Sie leitete direkt die Phase ein, aus der wenige Jahre später AlexNet und der breitere Deep-Learning-Durchbruch der 2010er Jahre hervorgingen.
Methodische Grundlagen
Das schichtweise Vortraining behandelt jede Schicht als eigenständige RBM: Die verdeckte Schicht der einen RBM dient als sichtbare Schicht der nächsthöheren. Nach diesem gierigen, schichtweisen Vortraining wird das gesamte Netz mit einem abschließenden Backpropagation-Durchlauf feinabgestimmt – das unüberwachte Vortraining liefert dabei eine gute Gewichtsinitialisierung, die das anschließende überwachte Training erheblich erleichtert.
Anwendungsfelder
Deep Belief Networks fanden Anwendung in der Handschrifterkennung, bei der Merkmalsextraktion aus Bildern und in frühen Ansätzen zur Spracherkennung, bevor sie durch direkter trainierbare Architekturen mit besseren Initialisierungsverfahren und größeren Datenmengen abgelöst wurden.
Kontroversen und Kritik
Mit dem Aufkommen von Verfahren wie ReLU-Aktivierungsfunktionen, verbesserten Gewichtsinitialisierungen und Batch-Normalisierung ab den frühen 2010er Jahren erwies sich das aufwendige schichtweise Vortraining als weitgehend überflüssig: Moderne tiefe Netze lassen sich heute meist direkt end-to-end trainieren. Deep Belief Networks gelten deshalb heute primär als historisch bedeutsamer Wegbereiter, weniger als aktiv genutzte Architektur.
Verwandte Begriffe
- Geoffrey Hinton – Hauptautor der Arbeit
- Backpropagation – Verfahren zur abschließenden Feinabstimmung des vortrainierten Netzes
Quellenangaben
- Hinton, Geoffrey E. / Osindero, Simon / Teh, Yee-Whye, 2006. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation 18 (7), S. 1527–1554.