Restricted Boltzmann Machines (RBM) sind eine 1986 von Paul Smolensky eingeführte Variante der Boltzmann-Maschine, die Verbindungen innerhalb derselben Schicht ausschließt und dadurch – anders als das unbeschränkte Original – praktisch trainierbar wird.
Zusammenfassung
Eine RBM besteht aus einer sichtbaren und einer verdeckten Schicht von Einheiten. Verbindungen bestehen ausschließlich zwischen den beiden Schichten, nicht innerhalb einer Schicht – daher die Einschränkung („restricted”) gegenüber der vollständig verbundenen Boltzmann-Maschine.
Diese Einschränkung erlaubt es, alle verdeckten Einheiten gleichzeitig und unabhängig voneinander zu aktualisieren, was das Training gegenüber dem unbeschränkten Modell erheblich beschleunigt.
Begriffsgeschichte
Smolensky führte das Modell 1986 unter dem Namen „Harmonium” ein, ohne dass es zunächst breite Anwendung fand. Erst Geoffrey Hintons 2002 vorgestellter Contrastive-Divergence-Algorithmus machte RBMs effizient trainierbar und damit praktisch relevant – ein Vierteljahrhundert nach ihrer ursprünglichen Formulierung.
Methodische Grundlagen
RBMs werden als probabilistische, energiebasierte Modelle trainiert: Jeder Zustand des Netzes erhält einen Energiewert, und das Training verschiebt die Gewichte so, dass beobachtete Trainingsdaten niedrige Energie und damit hohe Wahrscheinlichkeit erhalten. Contrastive Divergence approximiert den dafür nötigen, eigentlich unhandlichen Gradienten durch wenige Schritte alternierender Gibbs-Stichprobenziehung zwischen sichtbarer und verdeckter Schicht.
Anwendungsfelder
Mehrere gestapelte RBMs bilden die Grundbausteine der Deep Belief Networks, bei denen jede RBM-Schicht schichtweise vortrainiert und anschließend zu einem tiefen Netz zusammengesetzt wird. RBMs dienten außerdem als generative Modelle zur Merkmalsextraktion, etwa bei der Kollaborativen Filterung in Empfehlungssystemen.
Kontroversen und Kritik
Contrastive Divergence liefert nur eine Approximation des wahren Trainingsgradienten, deren Genauigkeit von der Zahl der Gibbs-Sampling-Schritte abhängt – eine unbefriedigende theoretische Grundlage, die praktisch dennoch gute Ergebnisse lieferte.
Mit dem Aufkommen von Backpropagation-trainierbaren, tiefen Netzen ohne Notwendigkeit schichtweisen Vortrainings ab den frühen 2010er Jahren verloren RBMs gegenüber direkteren Trainingsverfahren an praktischer Bedeutung.
Verwandte Begriffe
- Geoffrey Hinton – entwickelte den Contrastive-Divergence-Algorithmus, der RBMs praktisch trainierbar machte
- Neuronale Netze – übergeordnete Systemklasse
Quellenangaben
- Smolensky, Paul, 1986. Information Processing in Dynamical Systems: Foundations of Harmony Theory. In: Rumelhart, David E. / McClelland, James L. (Hrsg.), Parallel Distributed Processing, Band 1. MIT Press, S. 194–281.
- Hinton, Geoffrey E., 2002. Training Products of Experts by Minimizing Contrastive Divergence. Neural Computation 14 (8), S. 1771–1800.