Forward-Forward Algorithm

Forward-Forward Algorithm (deutsch sinngemäß Vorwärts-Vorwärts-Algorithmus; übliche Abkürzung FF) bezeichnet ein 2022 von Geoffrey E. Hinton vorgestelltes Lernverfahren für neuronale Netze, das den klassischen Vorwärts-Rückwärts-Durchlauf der Backpropagation durch zwei Vorwärtsdurchläufe ersetzt: einen mit positiven (realen) Daten und einen mit negativen (kontrastiven) Daten.

Dabei aktualisiert jede Schicht ihre Gewichte auf der Grundlage einer rein lokalen Goodness-Funktion.

Hinton stellte das Verfahren erstmals in seiner NeurIPS-2022-Keynote vor; der zugehörige Aufsatz The Forward-Forward Algorithm: Some Preliminary Investigations erschien als arXiv-Preprint (2212.13345, Dezember 2022).

Zusammenfassung

Der Forward-Forward Algorithm ist Hintons jüngster Versuch (Stand 2026), ein Trainingsverfahren zu entwickeln, das sowohl biologisch plausibler als auch hardware-effizienter ist als die seit 1986 dominante Backpropagation.

Hinton argumentiert seit Längerem (etwa in Backpropagation and the Brain, Lillicrap, Santoro, Marris, Akerman, Hinton, Nature Reviews Neuroscience 21, 2020), dass die Backpropagation als Erklärungsmodell biologischen Lernens an mehreren Punkten unplausibel ist. Am Weight-Transport-Problem müsste das Rückwärtssignal die exakten Vorwärts-Gewichte kennen.

Hinzu kommen die Notwendigkeit der globalen Synchronisation zwischen Vorwärts- und Rückwärtsdurchlauf sowie die erforderliche Zwischenspeicherung sämtlicher Aktivierungen.

Zudem besitzen biologische Neuronen keinen offensichtlichen Mechanismus für rückwärtige Fehlersignalpropagation entlang derselben Synapsen wie im Vorwärtspfad (Crick 1989).

Der Forward-Forward-Algorithmus adressiert diese Punkte, indem er das Training in eine Sequenz lokaler Schichten-Updates zerlegt: Jede Schicht maximiert ihre Goodness (typisch die Summe der quadrierten Aktivierungen) auf positiven Daten und minimiert sie auf negativen Daten. Das Verfahren ist von Hintons Boltzmann-Maschine und der Noise Contrastive Estimation (Gutmann/Hyvärinen 2010) inspiriert.

In der praktischen Leistung blieb der Forward-Forward Algorithm im Originalpaper (Hinton 2022) nahe an Backpropagation auf MNIST (Testfehler 1,36–1,46 %, mit lokalen rezeptiven Feldern bis 0,64 %) und einige Prozentpunkte unter Backpropagation auf CIFAR-10 (Stand 2022). Die Forschung an Forward-Forward-Varianten ist seither aktiv, hat aber bislang nicht zur breiten praktischen Verdrängung der Backpropagation geführt.

Hintergrund: Hintons Kritik an Backpropagation

Hinton hat seit den 2010er Jahren wiederholt vier Punkte als problematisch markiert, die Backpropagation als Modell biologischen Lernens unwahrscheinlich machen:

Weight Transport: Im Rückwärtsdurchlauf der Backpropagation werden zur Gradientenberechnung exakt jene Gewichte verwendet, die auch im Vorwärtsdurchlauf wirken. Biologisch gibt es keinen plausiblen Mechanismus, wie ein Rückwärtssignal entlang einer Synapse den Wert dieser Synapse „kennen” könnte.

Globale Synchronisation: Backpropagation erfordert eine strikte Trennung von Vorwärts- und Rückwärtsphase. Biologische Lernsysteme operieren stattdessen kontinuierlich.

Aktivierungsspeicherung: Backpropagation muss sämtliche Zwischenaktivierungen des Vorwärtsdurchlaufs für die Gradientenberechnung im Rückwärtsdurchlauf vorhalten. In tiefen Netzen wird dies zum Speicherbedarfsproblem.

Nicht-Differenzierbarkeit: Backpropagation setzt vollständige Differenzierbarkeit des Vorwärtspfads voraus. In analogen oder neuromorphen Hardware-Implementierungen und in Systemen mit Black-Box-Modulen ist diese Voraussetzung nicht immer erfüllt.

Funktionsweise

Goodness-Funktion und Schichten-lokales Update

In Forward-Forward besitzt jede Schicht eine eigene skalare Goodness-Funktion G(h) der Aktivierung h – in Hintons ursprünglicher Implementierung die Summe der quadrierten Aktivierungen G(h) = Σᵢ hᵢ².

Die Schicht passt ihre Gewichte so an, dass G auf positiven Daten möglichst groß und auf negativen Daten möglichst klein wird. Eine Sigmoid-Funktion über G minus einem Schwellenwert kann als Wahrscheinlichkeit interpretiert werden, mit der die Schicht den Input als „positiv” einstuft.

Positive und negative Daten

Zentral ist die Konstruktion negativer Daten. In Klassifikationsanwendungen werden positive Daten als korrekt etikettierte Beispiele konstruiert (Bild plus richtige Klasse) und negative Daten als Bild plus falsch zugeordnete Klasse. In unüberwachten Anwendungen können negative Daten künstlich generiert werden – etwa durch Mischung mehrerer Bilder oder durch Top-down-Generierung aus dem Netz selbst.

Layer Normalization

Eine wichtige technische Komponente ist die Layer Normalization zwischen den Schichten: Bevor die Aktivierungen an die nächste Schicht weitergegeben werden, werden sie auf konstante Länge normiert. Damit kann die nächste Schicht nicht einfach die Goodness der vorherigen Schicht erben, sondern muss eigenständig zwischen positiven und negativen Daten unterscheiden.

Inferenz

Bei der Anwendung auf neue Daten kann das trainierte Netz auf zwei Wegen Klassifikationsentscheidungen treffen. Der erste Weg testet direkt alle möglichen Klassenetiketten: Man präsentiert für jede mögliche Klasse den entsprechenden Input und wählt die Klasse mit der höchsten kumulierten Goodness.

Der zweite Weg nutzt eine separate Klassifikationsschicht, die die internen Repräsentationen verarbeitet – eine Form, die teilweise wieder auf Backpropagation zurückgreift.

Ideengeschichtliche Einordnung

Verbindung zur Boltzmann-Maschine

Hinton ordnet den Forward-Forward Algorithm im Originalpaper als Verwandte der Boltzmann-Maschine ein: Beide Verfahren basieren auf einem Vergleich zwischen einer positiven Phase (Daten) und einer negativen Phase (Modell), und beide arbeiten mit lokalen Update-Regeln. Forward-Forward kann als deterministische, kontrastive Vereinfachung des Boltzmann-Trainings gelesen werden.

Verbindung zur Noise Contrastive Estimation

Die zweite ideengeschichtliche Wurzel ist die Noise Contrastive Estimation (NCE) von Michael Gutmann und Aapo Hyvärinen (AISTATS 2010), in der eine Verteilungsfunktion durch Vergleich mit künstlich generierten Rauschproben gelernt wird. Forward-Forward übernimmt das Schema der positiv-versus-negativ-Daten-Unterscheidung.

Verbindung zu Hebbian Learning

Konzeptuell verbindet Forward-Forward die heutigen Deep-Learning-Architekturen mit der älteren Tradition Hebb’schen Lernens (Donald Hebb, The Organization of Behavior, 1949): Schichten-lokale Updates, die auf lokal verfügbaren Signalen beruhen, sind mit den seit den 1940er Jahren postulierten biologischen Lernmechanismen verträglicher als Backpropagation.

Vorgänger und Verwandte

Forward-Forward steht in einer breiteren Familie biologisch motivierter Alternativ-Algorithmen. Dazu zählen unter anderem Feedback Alignment (Lillicrap u. a. 2016), das das Weight-Transport-Problem durch zufällige Rückwärts-Gewichte umgeht, sowie Target Propagation (Bengio u. a. 2015), Equilibrium Propagation (Scellier/Bengio 2017) und Predictive Coding (Rao/Ballard 1999, Whittington/Bogacz 2017).

Forward-Forward ist nicht der erste solche Vorschlag, aber durch Hintons öffentliches Profil wohl der bekannteste der jüngeren Generation.

Praktische Bedeutung und Stand 2025/2026

In der praktischen Leistung blieb der Forward-Forward Algorithm in der Originalpublikation (Hinton 2022) auf MNIST nahe an Backpropagation (Testfehler 1,36–1,46 % mit voll verbundenen Schichten; bei Verwendung lokaler rezeptiver Felder und spatially correlated noise bis hinab auf 0,64 %). Auf CIFAR-10 erreichte er dagegen nur Testfehlerraten im Bereich 41–46 % gegenüber konkurrierender Backpropagation-Architekturen (Hinton 2022).

Damit ist Forward-Forward in der heutigen Praxis nicht konkurrenzfähig mit den dominanten Backpropagation-trainierten Architekturen, demonstriert aber die grundsätzliche Möglichkeit lokaler vorwärtsbasierter Lernverfahren.

Die Forschung an Forward-Forward-Varianten ist seit 2022 aktiv. Zu den bekannten Erweiterungen zählen FFCL (Forward-Forward Contrastive Learning), Cascaded Forward (Zhao u. a. 2023) und Mono-Forward (Gong, Li, Abdulla 2025).

Hinzu kommen Erweiterungen auf Convolutional Networks (Scodellaro u. a. 2025, Scientific Reports) sowie eine Reihe weiterer Arbeiten zu energie-effizientem Lernen ohne Backpropagation (Stand 2025/2026 zusammengefasst etwa in Sustainability-orientierten Vergleichsarbeiten).

Eine 2025 vom Deutschen Zentrum für Luft- und Raumfahrt (DLR) vorgelegte Übersichtsarbeit (Ortiz Torres, Lange, Raulf) systematisiert die bisherigen Erweiterungen nach Eingabedaten-Konstruktion, Verlustfunktionen, Trainingsroutinen und Inferenzmethoden.

Durch eine Kombination aus gruppierten Convolutional-Kanälen, angepassten Lernraten-Zeitplänen und blockweise unabhängigem Training erzielt sie (Ortiz Torres u. a. 2025) auf CIFAR-10 eine Reduktion der Testfehlerrate um rund 20 Prozentpunkte gegenüber früheren Forward-Forward-Varianten sowie leichtgewichtige Modelle mit bis zu 96 Prozent weniger Parametern bei vergleichbarer Genauigkeit. Die grundsätzliche Leistungslücke zu Backpropagation schließt sie damit jedoch nicht.

Mortal Computation

Hinton verbindet die Forward-Forward-Idee in seinem NeurIPS-2022-Vortrag mit dem Konzept Mortal Computation – der Vorstellung, dass künftige Hardware-Implementierungen analoger, neuromorpher KI-Systeme die Trennung zwischen Software und Hardware aufgeben könnten.

Die Gewichte und Berechnungen würden dann an spezifische physikalische Substrate gebunden sein und mit der Lebensdauer dieser Hardware vergehen – im Gegensatz zur heutigen Immortal Computation, bei der Gewichte zwischen Hardware-Generationen kopiert werden können. Forward-Forward ist nach Hintons Argumentation für solche analogen Architekturen besser geeignet als Backpropagation, weil es keine globale Differenzierbarkeit voraussetzt.

Einordnung

Forward-Forward ist Hintons jüngster Beitrag dieser Reihe und schließt sie ab.

Forward-Forward ist der zweite Versuch Hintons (nach Capsule Networks), die heute dominante Deep-Learning-Standardpraxis durch einen alternativen architekturellen Ansatz zu ersetzen. Beide Vorschläge teilen das Profil: konzeptuell ambitioniert, prominent platziert, in der industriellen Praxis bislang begrenzt durchgesetzt.

Im weiteren Zusammenhang verbindet der Eintrag die Backpropagation-Linie (als Gegenstand der Kritik) mit der Boltzmann-Maschine-Linie (als Inspiration) und mit der Mechanistic-Interpretability-Frage (lokale Updates erleichtern die Interpretation der Lernprozesse).

Im Kontext der KI-Sicherheitsdebatte ist Forward-Forward bislang nicht direkt verortet, könnte aber im Hinblick auf interpretierbare Trainingsverfahren langfristig relevant werden.

Kritik

Substantielle Kritik richtet sich auf drei Linien:

Leistungslücke gegenüber Backpropagation: In allen bisher publizierten Benchmarks bleibt Forward-Forward in der Klassifikationsleistung hinter Backpropagation zurück, insbesondere auf Datensätzen, die über MNIST hinausgehen. Hinton selbst markiert dies in der Originalpublikation als offene Frage.

Konstruktion negativer Daten: Die Wirksamkeit von Forward-Forward hängt substantiell von der Qualität der negativen Daten ab. Für überwachte Klassifikationsaufgaben ist die Konstruktion einfach (falsch zugeordnete Klassenetiketten), für unüberwachte oder generative Aufgaben jedoch nichttrivial. Diese Abhängigkeit schränkt die universelle Anwendbarkeit des Verfahrens ein.

Begrenzte Skalierungserfahrung: Während Backpropagation auf Modelle mit hunderten Milliarden Parametern skaliert wird, ist die Skalierungspraxis von Forward-Forward bislang weitgehend auf akademische Benchmark-Datensätze beschränkt. Ob das Verfahren auf Frontier-Modell-Skala konkurrenzfähig wäre, ist nach gegenwärtigem Stand offen.

Verwandte Begriffe

• Geoffrey Hinton – Autor
• Deep Learning – übergeordnetes Feld
• Stochastic Gradient Descent – klassisches Trainingsverfahren
• Predictive Coding – verwandter Alternativansatz

Quellenangaben

1. Ackley, David H. / Hinton, Geoffrey E. / Sejnowski, Terrence J., 1985. A Learning Algorithm for Boltzmann Machines. In: Cognitive Science 9 (1), S. 147–169. DOI: 10.1207/s15516709cog0901_7.
2. Bengio, Yoshua / Lee, Dong-Hyun / Bornschein, Jorg / Mesnard, Thomas / Lin, Zhouhan, 2015. Towards Biologically Plausible Deep Learning. arXiv: 1502.04156.
3. Crick, Francis, 1989. The Recent Excitement About Neural Networks. In: Nature 337 (6203), S. 129–132. DOI: 10.1038/337129a0.
4. Gananath, R., 2024. Improved Forward-Forward Contrastive Learning. arXiv: 2405.03432.
5. Gong, James / Li, Bruce / Abdulla, Waleed, 2025. Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition. arXiv: 2501.09238.
6. Gutmann, Michael U. / Hyvärinen, Aapo, 2010. Noise-Contrastive Estimation: A New Estimation Principle for Unnormalized Statistical Models. In: Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS 2010), S. 297–304.
7. Hebb, Donald O., 1949. The Organization of Behavior: A Neuropsychological Theory.
8. Hinton, Geoffrey E., 2022. The Forward-Forward Algorithm: Some Preliminary Investigations. arXiv: 2212.13345.
9. Lillicrap, Timothy P. / Cownden, Daniel / Tweed, Douglas B. / Akerman, Colin J., 2016. Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning. In: Nature Communications 7, 13276. DOI: 10.1038/ncomms13276.
10. Lillicrap, Timothy P. / Santoro, Adam / Marris, Luke / Akerman, Colin J. / Hinton, Geoffrey, 2020. Backpropagation and the Brain. In: Nature Reviews Neuroscience 21 (6), S. 335–346. DOI: 10.1038/s41583-020-0277-3.
11. Ortiz Torres, Mauricio / Lange, Markus / Raulf, Arne P., 2025. On Advancements of the Forward-Forward Algorithm. Deutsches Zentrum für Luft- und Raumfahrt (DLR), Institute for AI Safety and Security. arXiv: 2504.21662.
12. Rao, Rajesh P. N. / Ballard, Dana H., 1999. Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects. In: Nature Neuroscience 2 (1), S. 79–87. DOI: 10.1038/4580.
13. Scellier, Benjamin / Bengio, Yoshua, 2017. Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation. In: Frontiers in Computational Neuroscience 11, 24. DOI: 10.3389/fncom.2017.00024.
14. Scodellaro, Riccardo / Kulkarni, Ajinkya / Alves, Frauke / Schröter, Matthias, 2025. Training Convolutional Neural Networks with the Forward-Forward Algorithm. In: Scientific Reports 15, 38461. DOI: 10.1038/s41598-025-26235-2. arXiv: 2312.14924.
15. Whittington, James C. R. / Bogacz, Rafal, 2017. An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity. In: Neural Computation 29 (5), S. 1229–1262. DOI: 10.1162/NECO_a_00949.
16. Yao, Shunyu / Zhao, Jeffrey / Yu, Dian / Du, Nan / Shafran, Izhak / Narasimhan, Karthik / Cao, Yuan, 2023. ReAct: Synergizing Reasoning and Acting in Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2210.03629.

← Zurück zur Lexikon-Übersicht