Hopfield-Netzwerk

Ein Hopfield-Netzwerk ist ein rückgekoppeltes neuronales Netz, das Muster als stabile Zustände eines Energiesystems speichert. Wird ihm ein unvollständiges oder gestörtes Muster vorgelegt, wandert es selbsttätig in den nächstgelegenen gespeicherten Zustand – ein Verfahren, das als assoziativer Speicher bezeichnet wird.

Zusammenfassung

Der Physiker John Hopfield beschrieb das Modell 1982. Sein Beitrag war weniger die Netzstruktur als die Deutung: Er zeigte, dass sich das Verhalten des Netzes durch eine Energiefunktion beschreiben lässt, die bei jedem Schritt abnimmt.

Damit war der Zustandsverlauf kein beliebiger Vorgang mehr, sondern eine Bewegung bergab in einer Energielandschaft. Die gespeicherten Muster sind die Täler dieser Landschaft; ein gestörtes Muster rollt in das nächstgelegene.

Die praktische Kapazität ist begrenzt: Ein Netz mit N Einheiten speichert etwa 0,14 mal N Muster, bevor die Täler ineinanderlaufen und falsche Zustände entstehen. Für praktische Speicheraufgaben war das nie ausreichend.

Die Bedeutung liegt anderswo. Das Modell brachte die Werkzeuge der statistischen Physik in die Erforschung neuronaler Netze – ein Zusammenhang, für den Hopfield und Geoffrey Hinton 2024 den Nobelpreis für Physik erhielten.

Begriffsgeschichte

Die Idee rückgekoppelter Netze mit assoziativem Verhalten ist älter als Hopfields Arbeit. Verwandte Modelle wurden in den 1970er Jahren unter anderem von Shun-ichi Amari und Teuvo Kohonen beschrieben.

Hopfields Aufsatz von 1982 verschaffte dem Ansatz Aufmerksamkeit, weil er ihn an ein etabliertes Gebiet anschloss. Die beschriebene Energiefunktion entspricht der eines Spinglases – eines magnetischen Materials mit ungeordneten Wechselwirkungen, das die Festkörperphysik seit den 1970er Jahren untersuchte.

Damit standen einer Fragestellung, die zuvor als Randgebiet galt, plötzlich die Verfahren einer ganzen physikalischen Disziplin zur Verfügung. Die Kapazitätsgrenze wurde 1985 mit diesen Verfahren exakt berechnet.

Hinton entwickelte den Ansatz weiter zur Boltzmann-Maschine, die Zufallselemente einführt und damit nicht nur Muster wiedererkennt, sondern Verteilungen lernt. Diese Linie führt zur Vorgeschichte des tiefen Lernens.

Die Aufmerksamkeit erlosch mit dem Aufkommen vorwärtsgerichteter Netze in den 1990er Jahren. Sie kehrte 2020 zurück, als eine Arbeitsgruppe zeigte, dass eine verallgemeinerte Fassung des Modells der Aufmerksamkeitsrechnung des Transformers entspricht.

Methodische Grundlagen

Vollständige Verknüpfung. Jede Einheit ist mit jeder anderen verbunden, und die Gewichte sind symmetrisch: Die Verbindung von A nach B ist so stark wie die von B nach A. Diese Symmetrie ist die Voraussetzung dafür, dass eine Energiefunktion existiert.

Zwei Zustände je Einheit. Jede Einheit nimmt einen von zwei Werten an. Sie prüft die gewichtete Summe ihrer Nachbarn und richtet sich nach deren Vorzeichen.

Die Energiefunktion. Jedem Gesamtzustand wird eine Zahl zugeordnet. Jede Aktualisierung einer Einheit senkt diese Zahl oder lässt sie gleich – das Netz kann daher nicht in eine Endlosschleife geraten, sondern erreicht stets einen stabilen Zustand.

Speichern durch Korrelation. Muster werden nicht trainiert, sondern eingetragen: Die Gewichte ergeben sich unmittelbar aus den zu speichernden Mustern. Einheiten, die im selben Muster übereinstimmen, erhalten eine verstärkende Verbindung.

Falsche Erinnerungen. Neben den eingetragenen Mustern entstehen unbeabsichtigte stabile Zustände – Mischungen mehrerer Muster, in die das Netz ebenfalls fallen kann. Sie sind eine unvermeidliche Nebenwirkung des Verfahrens.

Anwendungsfelder

Mustervervollständigung. Der ursprüngliche Zweck: aus einem Bruchstück das Ganze wiederherstellen. In der Praxis wurde das Verfahren selten eingesetzt, weil die Kapazität zu gering ist.

Optimierungsprobleme. Da das Netz in ein Energieminimum läuft, lassen sich Optimierungsaufgaben als Energiefunktion formulieren. Hopfield demonstrierte das am Handlungsreisendenproblem – mit gemischtem Erfolg.

Modell der Gedächtnisbildung. In der theoretischen Neurowissenschaft dient das Modell bis heute als Denkfigur dafür, wie verteilte Erinnerung ohne Adressen funktionieren könnte.

Theoretische Brücke. Die eigentliche Wirkung: Es verband die Erforschung neuronaler Netze mit der statistischen Physik und machte sie damit einer mathematisch entwickelten Disziplin zugänglich.

Kontroversen und Kritik

Zu geringe Kapazität. Die Grenze von etwa 0,14 Mustern je Einheit macht das Modell für praktische Speicheraufgaben unbrauchbar. Ein Netz mit tausend Einheiten speichert rund 140 Muster – bei einer Million Verbindungen.

Falsche Zustände. Die unbeabsichtigten Energieminima lassen sich nicht vollständig vermeiden. Das Netz antwortet dann mit etwas, das es nie gelernt hat, ohne dass sich das von einer richtigen Antwort unterscheiden ließe.

Biologische Unplausibilität. Die geforderte Symmetrie der Verbindungen kommt im Gehirn nicht vor. Als Modell der Gedächtnisbildung ist es damit eine Idealisierung, deren zentrale Annahme nicht zutrifft.

Streit um die Zurechnung. Nach der Nobelpreisvergabe 2024 wurde verstärkt darauf hingewiesen, dass wesentliche Vorarbeiten von Amari und anderen stammen. Die Auszeichnung gilt manchen als Beispiel dafür, wie Zurechnung in der Wissenschaft Sichtbarkeit statt Erstheit folgt.

Nachträgliche Aufwertung. Die Verbindung zum Transformer wird gelegentlich als Beleg für die bleibende Bedeutung des Modells angeführt. Kritiker halten dem entgegen, dass die Ähnlichkeit erst rückblickend hergestellt wurde und die Entwicklung des Transformers nicht beeinflusst hat.

Was die Energielandschaft leistete

Die Frage, warum ein Modell mit so geringer Kapazität einen Nobelpreis rechtfertigt, beantwortet sich nicht über seine Leistung, sondern über seine Sprache.

Vor 1982 war unklar, wie sich über ein Netz aus vielen einfachen Einheiten überhaupt etwas Allgemeines sagen lässt. Man konnte es simulieren und beobachten, aber nicht beweisen.

Die Energiefunktion änderte das. Sie erlaubte Aussagen der Form: Dieses Netz erreicht stets einen stabilen Zustand, und zwar aus diesem Grund. Sie machte aus einer Beobachtung einen Satz.

Damit war zugleich ein ganzes Werkzeugkabinett anschlussfähig. Die statistische Physik hatte für Systeme aus vielen wechselwirkenden Teilen Verfahren entwickelt, die sich unmittelbar übertragen ließen – und mit ihnen kamen Physikerinnen und Physiker in ein Feld, das zuvor Psychologen und Informatikern gehörte.

Was das Modell hinterlässt, ist deshalb weniger eine Technik als eine Betrachtungsweise: dass sich das Verhalten eines Netzes als Bewegung in einer Landschaft beschreiben lässt. Diese Vorstellung trägt bis in die heutige Rede von Fehlerlandschaften und lokalen Minima.

Quellenangaben

Amit, Daniel J. / Gutfreund, Hanoch / Sompolinsky, Haim (1985): Storing Infinite Numbers of Patterns in a Spin-Glass Model of Neural Networks. In: Physical Review Letters 55 (14), S. 1530–1533. DOI: 10.1103/PhysRevLett.55.1530.
Hopfield, John J., 1982. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. In: Proceedings of the National Academy of Sciences 79 (8), S. 2554–2558. DOI: 10.1073/pnas.79.8.2554.
Ramsauer, Hubert u. a., 2021. Hopfield Networks is All You Need. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2008.02217.
The Royal Swedish Academy of Sciences, 2024. The Nobel Prize in Physics 2024. Pressemitteilung, 8. Oktober 2024. nobelprize.org.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.