Boltzmann-Maschine

Boltzmann-Maschine bezeichnet ein 1985 von David H. Ackley, Geoffrey E. Hinton und Terrence J. Sejnowski (A Learning Algorithm for Boltzmann Machines, Cognitive Science 9 [1]) eingeführtes stochastisches neuronales Netz, das Methoden der statistischen Physik – insbesondere die nach Ludwig Boltzmann benannte Energieverteilung – nutzt, um Wahrscheinlichkeitsverteilungen über binäre Aktivierungsmuster unsupervised zu lernen.

Sie war eine der ersten neuronalen Architekturen mit verborgenen Einheiten (hidden units), die theoretisch beliebige Wahrscheinlichkeitsverteilungen approximieren konnten, und gilt als ideengeschichtlich zentraler Beitrag zur Entwicklung des modernen Deep Learning.

Für die Boltzmann-Maschine und verwandte Arbeiten erhielten Hinton und John J. Hopfield 2024 den Nobelpreis für Physik.

Zusammenfassung

Die Boltzmann-Maschine ist die direkte Erweiterung des 1982 von Hopfield eingeführten Hopfield-Netzwerks um zwei zentrale Ergänzungen: erstens stochastische statt deterministischer Neuronenupdate-Regeln (jedes Neuron wechselt seinen Zustand mit einer von der lokalen Energie abhängigen Wahrscheinlichkeit), zweitens verborgene Einheiten, die nicht direkt mit den Eingaben interagieren und damit die Repräsentationskapazität des Netzes substantiell erhöhen.

Mathematisch ist die Boltzmann-Maschine ein Markov Random Field mit symmetrischen Gewichten, dessen Gleichgewichtsverteilung der nach Ludwig Boltzmann benannten Gibbs-Boltzmann-Verteilung der statistischen Physik entspricht. Das Training erfolgt über Simulated Annealing und eine kontrastive Lernregel, die zwei Phasen vergleicht: eine positive Phase mit fixierten sichtbaren Einheiten und eine negative Phase mit frei laufendem Netz.

Die ursprüngliche Boltzmann-Maschine ist rechnerisch ineffizient – die Trainingszeit ist für nicht-triviale Probleme prohibitiv. Eine 2002 von Hinton vorgeschlagene Variante – die Restricted Boltzmann Machine (RBM) – beschränkt die Konnektivität auf bipartite Verbindungen zwischen sichtbarer und verborgener Schicht und ermöglicht ein effizientes Training durch Contrastive Divergence.

RBMs sind die Bausteine der 2006 von Hinton, Osindero und Teh entwickelten Deep Belief Networks, die die zweite Phase der Deep-Learning-Entwicklung nach dem KI-Winter der 1990er Jahre einleiteten.

Architektur und Mathematik

Energiefunktion

Eine Boltzmann-Maschine besteht aus einer Menge binärer Einheiten (units mit Zustand 0 oder 1) und symmetrischen gewichteten Verbindungen zwischen ihnen. Die Energie eines Zustandsvektors s wird durch eine quadratische Form analog zur Hamilton-Funktion eines Ising-Modells berechnet:

E(s) = − Σ wᵢⱼ sᵢ sⱼ − Σ bᵢ sᵢ

wobei wᵢⱼ die Gewichte und bᵢ die Bias-Terme sind. Die Wahrscheinlichkeit jedes Zustandsvektors s im thermischen Gleichgewicht folgt der Gibbs-Boltzmann-Verteilung P(s) ∝ exp(−E(s)/T), wobei T eine Temperatur-Parameter ist. Damit wird die in der statistischen Physik etablierte Beziehung zwischen Energie und Wahrscheinlichkeit auf neuronale Berechnung übertragen – ein Schritt, den die Nobel-Komitees 2024 ausdrücklich als physikalisch relevanten Beitrag würdigten.

Sichtbare und verborgene Einheiten

Die Einheiten werden in zwei Gruppen aufgeteilt: sichtbare Einheiten (visible units), die die zu erlernende Datenverteilung repräsentieren, und verborgene Einheiten (hidden units), die latente Strukturen kodieren. Die Einführung verborgener Einheiten ist der konzeptuelle Hauptbeitrag der Boltzmann-Maschine gegenüber dem Hopfield-Netzwerk und ist die theoretische Vorform der heute zentralen Latent-Variable-Modelle.

Training

Das Training einer Boltzmann-Maschine zielt darauf ab, die Gewichte so anzupassen, dass die durch das Netz repräsentierte Wahrscheinlichkeitsverteilung über sichtbare Einheiten der empirischen Datenverteilung möglichst nahekommt.

Die Lernregel folgt aus der Minimierung der Kullback-Leibler-Divergenz zwischen Datenverteilung und Modellverteilung und nimmt die Form Δwᵢⱼ = η (⟨sᵢsⱼ⟩data − ⟨sᵢsⱼ⟩model) an – die Differenz zweier Korrelationen, gemessen einmal mit fixierten sichtbaren Einheiten und einmal mit frei laufendem Netz.

Die Berechnung der zweiten Korrelation ist das zentrale praktische Problem: Sie erfordert die Approximation der Modellverteilung durch Gibbs-Sampling (auch Markov-Chain-Monte-Carlo-Verfahren), das zu hohen Trainingszeiten führt.

Restricted Boltzmann Machine (RBM)

Die Restricted Boltzmann Machine (Smolensky 1986 als Harmonium; in der heute geläufigen Form Hinton 2002, Training Products of Experts by Minimizing Contrastive Divergence) beschränkt die Konnektivität auf bipartite Verbindungen – nur zwischen sichtbaren und verborgenen Einheiten, keine innerhalb der Schichten.

Diese Vereinfachung ermöglicht es, beide Korrelationen analytisch in einem Schritt zu berechnen, und macht das Training durch Contrastive Divergence (CD-k) praktikabel.

RBMs sind effizient trainierbar und in den 2000er und frühen 2010er Jahren die wichtigste praktische Anwendung der Boltzmann-Maschinen-Familie.

Begriffsgeschichte

Hopfield-Netzwerk als Vorgänger

Die Boltzmann-Maschine baut direkt auf dem 1982 von John Hopfield publizierten Modell Neural Networks and Physical Systems with Emergent Collective Computational Abilities (PNAS 79) auf. Hopfields Netzwerk war ein deterministisches Energie-basiertes Modell für assoziatives Gedächtnis, das jedoch keine verborgenen Einheiten besaß und damit auf einfache Mustervervollständigung beschränkt war.

Die Idee, ein Hopfield-Netzwerk durch Hinzufügen einer Temperatur in ein stochastisches Modell zu überführen, geht nach einer Erinnerung Sejnowskis (2023) auf ein Gespräch zwischen Hinton und Sejnowski während eines Vortrags von Hopfield zurück: Sejnowski hatte gerade einen Aufsatz von Scott Kirkpatrick zu Simulated Annealing gelesen und schlug die Übertragung auf neuronale Netze vor.

Aus dieser Anregung entstand in den Jahren 1983 bis 1985 die Boltzmann-Maschine.

Publikationen 1983–1985

Die zentralen Publikationen erschienen in drei Schritten: ein 1983er Konferenzbeitrag bei der AAAI Conference (Hinton, Sejnowski 1983), ein 1985 in Cognitive Science publizierter Hauptaufsatz (Ackley, Hinton, Sejnowski 1985) und eine 1986 in Parallel Distributed Processing (Rumelhart/McClelland) erschienene konsolidierende Darstellung.

David Ackley war zu dieser Zeit Hintons erster Doktorand an der Carnegie Mellon University; nach Ackleys Erinnerung übernahm er die programmtechnische Implementierung und die experimentelle Validierung, während Hinton und Sejnowski die theoretischen Hauptideen entwickelten.

Deep Belief Networks und die Wiederbelebung des Deep Learning

In den 1990er Jahren verlor der Konnektionismus an akademischer Aufmerksamkeit, unter anderem wegen des Trainingsproblems tiefer Netze (vanishing gradient). Hintons Arbeitsgruppe arbeitete weiter an Boltzmann-Maschinen und ihren Varianten.

2006 publizierten Hinton, Osindero und Teh das Verfahren des Deep-Belief-Network-Vortrainings (A Fast Learning Algorithm for Deep Belief Nets, Neural Computation 18 [7]) – ein Stapel von RBMs, die schichtweise trainiert werden und anschließend als Initialisierung eines tiefen Feedforward-Netzes dienen.

Dieses Verfahren ermöglichte erstmals das praktische Training tiefer Netze und gilt als eine der zentralen Innovationen, die die zweite Phase der Deep-Learning-Entwicklung (2006–2012) eingeleitet haben.

Hinton, Salakhutdinov und Kollegen verwendeten Boltzmann-Maschinen-Stapel in den späten 2000er Jahren erfolgreich für die Dimensionalitätsreduktion (Hinton, Salakhutdinov 2006, Science 313).

Mit dem ImageNet-Durchbruch von AlexNet 2012 und der breiten Verfügbarkeit von GPUs verlor das RBM-basierte Vortraining seine praktische Dominanz – heutige Frontier-Modelle nutzen direkten gradientenbasierten Backpropagation-Training, ohne RBM-Vorstufen. Die Boltzmann-Maschine selbst ist in der heutigen Praxis nicht mehr Standardmethode; ihre theoretische und ideengeschichtliche Bedeutung bleibt gleichwohl zentral.

Nobelpreis 2024

Am 8. Oktober 2024 erhielten John J. Hopfield und Geoffrey E. Hinton den Nobelpreis für Physik „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen” (for foundational discoveries and inventions that enable machine learning with artificial neural networks).

Der Hauptbeitrag Hintons wird in der Begründung des Nobel-Komitees ausdrücklich auf die Boltzmann-Maschine bezogen – also auf einen Beitrag, der zwar Methoden der statistischen Physik nutzt, aber primär in den Informatik- und Kognitionswissenschaften wirkt.

Die Vergabe löste eine substantielle Diskussion über die Reichweite der Disziplin Physik aus: Mehrere physikalische Gesellschaften (American Physical Society, britische und französische Gesellschaften) begrüßten die Anerkennung der statistisch-physikalischen Wurzeln des maschinellen Lernens; eine Reihe von Physiker:innen kritisierte die Vergabe als Erweiterung der Disziplin über ihre etablierten Grenzen hinaus.

Hinton selbst zeigte sich in mehreren Interviews nach der Verleihung überrascht – er hatte sich nicht als Physiker betrachtet.

Einordnung

Die Boltzmann-Maschine ist ein zentraler Knotenpunkt in Hintons Werk: Sie verbindet das Hopfield-Netzwerk (Vorgänger) mit den heutigen energie-basierten Generativen Modellen, mit der Distributed-Representations-Tradition (verborgene Einheiten kodieren verteilte Repräsentationen) und über die Deep Belief Networks mit der modernen Deep-Learning-Entwicklung.

Ideengeschichtlich ist der Eintrag exemplarisch für die Übersetzung statistisch-physikalischer Konzepte in die Informatik – eine Bewegung, die mit dem Nobelpreis 2024 ihre höchste institutionelle Anerkennung gefunden hat.

Kritik

Substantielle Kritik richtet sich auf drei Linien:

Rechnerische Ineffizienz: Die ursprüngliche Boltzmann-Maschine ist wegen des langsamen Konvergenzverhaltens von Gibbs-Sampling und Simulated Annealing für nicht-triviale Probleme rechnerisch nicht praktikabel.

Diese Kritik motivierte die Entwicklung der Restricted Boltzmann Machine und der Contrastive-Divergence-Methode, hob die Einschränkung jedoch nur partiell auf – auch RBMs sind im direkten Vergleich mit modernen Backpropagation-trainierten Architekturen rechnerisch unterlegen.

Theoretische Ungenauigkeit der Contrastive Divergence: Contrastive Divergence ist eine Approximation des korrekten Gradienten der Log-Likelihood; sie konvergiert nicht zu einem Likelihood-Maximum, sondern zu einem Fixpunkt eines verwandten Optimierungsproblems (Carreira-Perpiñán/Hinton 2005). Diese theoretische Unsauberkeit ist ein in der maschinellen Lerntheorie viel diskutierter Punkt.

Nobelpreis-Diskussion: Die 2024er Vergabe des Physik-Nobelpreises für die Boltzmann-Maschine und das Hopfield-Netzwerk wurde von Teilen der Physik-Community als Disziplin-Grenzüberschreitung kritisiert – der Beitrag, so die Kritik, sei wissenschaftshistorisch zwar von der statistischen Physik inspiriert, gehöre aber primär in die Informatik.

Diese Diskussion ist nicht eine Kritik am Konzept der Boltzmann-Maschine, sondern an ihrer disziplinären Verortung.

Verwandte Begriffe

• Geoffrey Hinton – Mit-Erfinder
• Deep Belief Networks – Anwendungsarchitektur
• Contrastive Divergence – Trainingsmethode für RBMs
• Simulated Annealing – verwandte Optimierungsmethode
• Restricted Boltzmann Machine (RBM) – vereinfachte Variante
• Nobelpreis für Physik 2024 – Auszeichnung
• Markov Random Fields – verwandte mathematische Struktur
• Terrence J. Sejnowski – Mit-Autor 1985

Quellenangaben

1. Ackley, David H. / Hinton, Geoffrey E. / Sejnowski, Terrence J., 1985. A Learning Algorithm for Boltzmann Machines. In: Cognitive Science 9 (1), S. 147–169. DOI: 10.1207/s15516709cog0901_7.
2. Carreira-Perpiñán, Miguel Á. / Hinton, Geoffrey E., 2005. On Contrastive Divergence Learning. In: Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics (AISTATS 2005), S. 33–40.
3. Hinton, Geoffrey E. / Sejnowski, Terrence J., 1983. Optimal Perceptual Inference. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 1983), S. 448–453.
4. Hinton, Geoffrey E. / Sejnowski, Terrence J., 1986. Learning and Relearning in Boltzmann Machines.
5. Hinton, Geoffrey E., 2002. Training Products of Experts by Minimizing Contrastive Divergence. In: Neural Computation 14 (8), S. 1771–1800. DOI: 10.1162/089976602760128018.
6. Hinton, Geoffrey E. / Salakhutdinov, Ruslan R., 2006. Reducing the Dimensionality of Data with Neural Networks. In: Science 313 (5786), S. 504–507. DOI: 10.1126/science.1127647.
7. Hinton, Geoffrey E. / Osindero, Simon / Teh, Yee-Whye, 2006. A Fast Learning Algorithm for Deep Belief Nets. In: Neural Computation 18 (7), S. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
8. Hopfield, John J., 1982. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. In: Proceedings of the National Academy of Sciences 79 (8), S. 2554–2558. DOI: 10.1073/pnas.79.8.2554.
9. Kirkpatrick, Scott / Gelatt, C. Daniel / Vecchi, Mario P., 1983. Optimization by Simulated Annealing. In: Science 220 (4598), S. 671–680. DOI: 10.1126/science.220.4598.671.
10. Salakhutdinov, Ruslan / Hinton, Geoffrey E., 2009. Deep Boltzmann Machines. In: Proceedings of the Twelfth International Conference on Artificial Intelligence and Statistics (AISTATS 2009), S. 448–455.
11. Smolensky, Paul, 1986. Information Processing in Dynamical Systems: Foundations of Harmony Theory. In: Rumelhart, David E. / McClelland, James L. (Hrsg.): Parallel Distributed Processing, Bd. 1. Cambridge, MA: MIT Press, S. 194–281.
12. The Royal Swedish Academy of Sciences, 2024. The Nobel Prize in Physics 2024. Pressemitteilung, 8. Oktober 2024. nobelprize.org.
13. The Royal Swedish Academy of Sciences, 2024. Scientific Background to the Nobel Prize in Physics 2024. Stockholm, Oktober 2024.

← Zurück zur Lexikon-Übersicht