Backpropagation

Backpropagation (deutsch Fehlerrückführung; vollständig Error Backpropagation) bezeichnet ein Verfahren zur effizienten Berechnung der partiellen Ableitungen einer Verlustfunktion nach den Gewichten eines mehrschichtigen neuronalen Netzes durch rückwärtige Anwendung der Kettenregel der Differentialrechnung.

Die so gewonnenen Gradienten werden in einem gradientenbasierten Optimierungsverfahren (typischerweise Stochastic Gradient Descent oder einer Variante wie Adam) zur Anpassung der Gewichte verwendet. Backpropagation ist seit der Popularisierung durch die Nature-Arbeit von David Rumelhart, Geoffrey Hinton und Ronald Williams (1986) der dominante Trainingsalgorithmus neuronaler Netze und damit die technische Grundlage des modernen Deep Learning.

Zusammenfassung

Backpropagation löst ein zentrales Skalierungsproblem des Trainings tiefer neuronaler Netze: die effiziente Zuordnung von Verantwortung an einzelne Gewichte einer mehrschichtigen Architektur (das credit assignment problem).

Statt für jedes Gewicht separat den Einfluss auf den Vorhersagefehler zu berechnen – was rechnerisch quadratisch in der Tiefe wäre – propagiert Backpropagation den Fehler in einem einzigen Rückwärts-Durchlauf durch das Netz. Dabei nutzt der Algorithmus die Kettenregel, um die Ableitungen schichtweise zu kombinieren.

Die Rechenkomplexität bleibt damit linear in der Tiefe des Netzes. Mathematisch ist Backpropagation ein Spezialfall der reverse-mode automatic differentiation, einer allgemeineren Technik, die unabhängig vom Anwendungsfeld neuronaler Netze entwickelt wurde.

Der Algorithmus wurde in den 1970er Jahren mehrfach unabhängig erfunden – die heute am häufigsten zitierten Urheber sind Seppo Linnainmaa (1970, in einer finnischsprachigen Masterarbeit) und Paul Werbos (1974, Harvard-Dissertation, erstmals mit explizitem Bezug zu neuronalen Netzen).

Die Nature-Arbeit von Rumelhart, Hinton und Williams 1986 ist nicht die mathematische Erstpublikation, aber die Arbeit, die den Algorithmus in der KI-Forschung etablierte. Backpropagation ist ein heikles Beispiel der Wissenschaftsgeschichte für die Unterscheidung zwischen Priorität und Wirkung.

Mathematische Struktur

Vorwärts- und Rückwärtsdurchlauf

Backpropagation operiert in zwei Phasen. Im Vorwärtsdurchlauf (Forward Pass) wird ein Eingabe-Vektor durch das Netz propagiert; jede Schicht berechnet ihre Aktivierungen aus den Aktivierungen der vorherigen Schicht durch eine lineare Transformation (Matrix-Multiplikation mit den Gewichten) gefolgt von einer nichtlinearen Aktivierungsfunktion.

Am Ausgang wird der Vorhersagefehler über eine Verlustfunktion berechnet – typischerweise die mittlere quadratische Abweichung (MSE) für Regressionsprobleme oder die Cross-Entropy für Klassifikationsprobleme.

Im Rückwärtsdurchlauf (Backward Pass) wird der Gradient des Fehlers nach jedem Gewicht durch wiederholte Anwendung der Kettenregel berechnet. Dabei werden die im Vorwärtsdurchlauf zwischengespeicherten Aktivierungen verwendet, um die schichtweise Berechnung der Teilableitungen zu ermöglichen. Mathematisch entspricht der gesamte Vorgang der Berechnung des Jacobi-Vektor-Produkts in reverse mode automatic differentiation.

Verbindung zur Optimierung

Die durch Backpropagation gewonnenen Gradienten werden in einem Optimierungsverfahren verwendet, das die Gewichte in Richtung des negativen Gradienten anpasst.

Der einfachste Fall ist Stochastic Gradient Descent (SGD); heute dominieren adaptive Verfahren wie Adam (Kingma/Ba 2014), AdamW (Loshchilov/Hutter 2017) und Varianten, die unterschiedliche Lernraten pro Gewicht erlauben. Backpropagation selbst ist von der Wahl des Optimierers unabhängig – der Algorithmus liefert die Gradienten, der Optimierer wendet sie an.

Begriffsgeschichte

Die Urheberschaft des Algorithmus ist Gegenstand einer wissenschaftshistorischen Diskussion, die seit etwa 2014 vom Schweizer KI-Forscher Jürgen Schmidhuber wiederholt geführt wurde und in der Sekundärliteratur kontrovers verhandelt wird:

Seppo Linnainmaa publizierte 1970 in seiner Masterarbeit an der Universität Helsinki den Algorithmus als reverse mode of automatic differentiation – in finnischer Sprache, ohne Bezug zu neuronalen Netzen, mit lauffähigem FORTRAN-Code. Eine englischsprachige Version folgte 1976. Diese Arbeit gilt heute in der Geschichte der automatischen Differentiation als kanonische Erstveröffentlichung.

Henry J. Kelley (1960) und Arthur E. Bryson (1961) hatten verwandte Verfahren bereits in der Theorie optimaler Kontrolle eingesetzt – ohne den Algorithmus in seiner heute geläufigen Form auszuformulieren.

Paul Werbos formulierte den Algorithmus 1974 in seiner Dissertation an der Harvard University erstmals mit explizitem Bezug auf neuronale Netze. Werbos versuchte den Algorithmus über Jahre hinweg zu publizieren, scheiterte aber am damaligen wissenschaftlichen Klima nach dem AI Winter der frühen 1970er Jahre (ausgelöst unter anderem durch Minsky/Paperts Perceptrons, 1969). Eine ausführliche Publikation gelang Werbos erst 1982.

David Parker (1985) und Yann LeCun (1985, in seiner Pariser Dissertation) entwickelten den Algorithmus parallel unabhängig.

David Rumelhart, Geoffrey Hinton und Ronald Williams publizierten 1986 in Nature die Arbeit Learning Representations by Back-Propagating Errors – die Arbeit, die den Algorithmus in der KI-Forschung popularisierte.

Die Originalfassung wurde 1985 als Technical Report ICS-8506 am Institute for Cognitive Science der UC San Diego ausgegeben. Die Nature-Arbeit zitierte die Vorläufer nicht; Rumelhart und Hinton erklärten später, von Werbos’ und Linnainmaas Arbeiten keine Kenntnis gehabt zu haben.

In der wissenschaftshistorischen Diskussion wird die Frage daher häufig zwischen Priorität (Linnainmaa, später Werbos) und Wirkung / Paternität (Rumelhart, Hinton, Williams) getrennt – eine Unterscheidung, die in der KI-Wissenschaftsgeschichte verschiedentlich angewandt wird und beim Backpropagation-Algorithmus besonders deutlich hervortritt.

Bedeutung für das Deep Learning

Die Nature-Arbeit von 1986 fiel in eine Phase, in der die KI-Forschung sich gerade von Minsky und Paperts Kritik am Perceptron (Perceptrons, 1969) erholte. Rumelhart, Hinton und Williams zeigten, dass mehrschichtige Netze mit Backpropagation interne Repräsentationen entwickeln können, die die Schwächen einschichtiger Perceptron-Netze überwinden. Diese Demonstration trug wesentlich zur Wiederbelebung des Konnektionismus in den späten 1980er Jahren bei.

In den 1990er und 2000er Jahren stagnierte die Anwendung mehrschichtiger Backpropagation-Netze trotz theoretischer Anschlussfähigkeit zunächst – wegen Trainingsschwierigkeiten in tiefen Netzen (vanishing gradient problem), wegen begrenzter Rechenleistung und wegen konkurrierender Verfahren wie Support Vector Machines (Cortes/Vapnik 1995).

Ab 2006 – mit Hintons Arbeiten zu Deep Belief Networks und der Wiederentdeckung der Bedeutung von Vortraining und Initialisierung – und insbesondere ab 2012 mit dem ImageNet-Durchbruch von AlexNet wurde Backpropagation wieder zur dominanten Methode.

Praktische Implementierung

Moderne Deep-Learning-Frameworks (TensorFlow, PyTorch, JAX) implementieren Backpropagation nicht als hardcodierten Algorithmus, sondern als Spezialfall der automatic differentiation.

Der Programmierer definiert lediglich den Vorwärtsdurchlauf; das Framework konstruiert daraus den Berechnungsgraphen und führt den Rückwärtsdurchlauf automatisch durch. Diese Trennung – autograd in PyTorch, tf.GradientTape in TensorFlow – geht auf die theoretische Verankerung von Backpropagation in der allgemeinen reverse-mode automatic differentiation zurück, die seit Linnainmaa bekannt ist.

Kritik und Alternativen

Substantielle Kritik richtet sich auf drei Punkte:

Biologische Unplausibilität: Aus der Neurowissenschaft wurde wiederholt argumentiert, dass Backpropagation als Erklärungsmodell biologischen Lernens nicht plausibel ist – biologische Neuronen haben keinen offensichtlichen Mechanismus zur rückwärtigen Fehlersignalpropagation entlang derselben Synapsen wie im Vorwärtspfad (Crick 1989).

Diese Kritik hat eine Reihe von Alternativvorschlägen motiviert: Predictive Coding (Rao/Ballard 1999), Feedback Alignment (Lillicrap u. a. 2016), Target Propagation (Bengio u. a. 2015) und Hintons eigener Forward-Forward Algorithm (2022).

Eine 2025 in Neural Networks veröffentlichte Weiterentwicklung, VFF-Net (Lee, Shin, Kim, 2025), überträgt den Forward-Forward-Ansatz auf konvolutionelle Architekturen und reduzierte die Testfehlerrate gegenüber früheren Forward-Forward-Varianten auf CIFAR-10 und CIFAR-100 um mehrere Prozentpunkte. Das belegt fortgesetzte, aber weiterhin nischenhafte Forschung an Backpropagation-Alternativen, ohne deren praktische Dominanz infrage zu stellen.

Speicherbedarf: Da Backpropagation alle Aktivierungen des Vorwärtsdurchlaufs zwischenspeichern muss, skaliert der Speicherbedarf linear mit der Netztiefe. Gradient Checkpointing und verwandte Techniken adressieren diese Einschränkung, ohne sie strukturell aufzuheben.

Vanishing und Exploding Gradients: In tiefen Netzen können die Gradienten beim Rückwärtsdurchlauf entweder gegen null konvergieren oder explodieren. Residual Connections (He u. a. 2015, ResNet), Batch Normalization (Ioffe/Szegedy 2015), Layer Normalization und sorgfältig gewählte Initialisierungsschemata (Glorot/Bengio 2010, He u. a. 2015) sind die heute dominanten Antwortprogramme.

Einordnung

Backpropagation ist das technische Fundament der gesamten Deep-Learning-Diskussion. Der Begriff verbindet die Arbeiten von Geoffrey Hinton, Yann LeCun und Yoshua Bengio (alle drei haben in unterschiedlicher Weise zur Geschichte des Algorithmus beigetragen). Er steht damit auch für die konzeptuelle Linie Deep Learning, AlexNet, Convolutional Neural Networks und damit indirekt für die heute zentralen Sprachmodell-Architekturen.

Die ideengeschichtliche Pointe – Backpropagation wurde nicht von Hinton erfunden, sondern durch ihn popularisiert – verbindet den Eintrag mit der wissenschaftshistorischen Diskussion um Priorität und Wirkung in der KI-Forschung.

Verwandte Begriffe

• Automatic Differentiation – allgemeines mathematisches Verfahren
• Deep Learning – Forschungsfeld
• Stochastic Gradient Descent – Optimierungsverfahren
• David Rumelhart – Mit-Autor der Nature-Arbeit
• Paul Werbos – frühe Urheberschaft 1974
• Seppo Linnainmaa – früheste Urheberschaft 1970

Quellenangaben

1. Bengio, Yoshua / Lee, Dong-Hyun / Bornschein, Jorg / Mesnard, Thomas / Lin, Zhouhan, 2015. Towards Biologically Plausible Deep Learning. arXiv: 1502.04156.
2. Cortes, Corinna / Vapnik, Vladimir, 1995. Support-Vector Networks. In: Machine Learning 20 (3), S. 273–297. DOI: 10.1007/BF00994018.
3. Crick, Francis, 1989. The Recent Excitement About Neural Networks. In: Nature 337 (6203), S. 129–132. DOI: 10.1038/337129a0.
4. Glorot, Xavier / Bengio, Yoshua, 2010. Understanding the Difficulty of Training Deep Feedforward Neural Networks. Proceedings of Machine Learning Research (AISTATS), 9, 249–256.
5. Goodfellow, Ian / Bengio, Yoshua / Courville, Aaron, 2016. Deep Learning.
6. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2015. Deep Residual Learning for Image Recognition. arXiv: 1512.03385.
7. Hinton, Geoffrey E., 2022. The Forward-Forward Algorithm: Some Preliminary Investigations. arXiv: 2212.13345.
8. Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
9. Kingma, Diederik P. / Ba, Jimmy, 2014. Adam: A Method for Stochastic Optimization. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1412.6980.
10. LeCun, Yann, 1987. Modèles connexionnistes de l’apprentissage. Dissertation, Université Pierre et Marie Curie, Paris.
11. Lee, Gilha / Shin, Jin / Kim, Hyun, 2025. VFF-Net: Evolving Forward-Forward Algorithms into Convolutional Neural Networks for Enhanced Computational Insights. In: Neural Networks 190, 107697. DOI: 10.1016/j.neunet.2025.107697.
12. Lillicrap, Timothy P. / Cownden, Daniel / Tweed, Douglas B. / Akerman, Colin J., 2016. Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning. In: Nature Communications 7, 13276. DOI: 10.1038/ncomms13276.
13. Linnainmaa, Seppo, 1970. Algoritmin kumulatiivinen pyöristysvirhe yksittäisten pyöristysvirheiden Taylor-kehitelmänä. Masterarbeit, University of Helsinki.
14. Linnainmaa, Seppo, 1976. Taylor Expansion of the Accumulated Rounding Error. In: BIT Numerical Mathematics 16 (2), S. 146–160. DOI: 10.1007/BF01931367.
15. Loshchilov, Ilya / Hutter, Frank, 2017. Decoupled Weight Decay Regularization. In: Proceedings of the International Conference on Learning Representations (ICLR 2019). arXiv: 1711.05101.
16. Minsky, Marvin / Papert, Seymour, 1969. Perceptrons: An Introduction to Computational Geometry. Cambridge, MA: MIT Press.
17. Parker, David B., 1985. Learning Logic. Technical Report TR-47, MIT Center for Computational Research in Economics and Management Science.
18. Rao, Rajesh P. N. / Ballard, Dana H., 1999. Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects. In: Nature Neuroscience 2 (1), S. 79–87. DOI: 10.1038/4580.
19. Rumelhart, David E. / Hinton, Geoffrey E. / Williams, Ronald J., 1985. Learning Internal Representations by Error Propagation. Technical Report ICS-8506, Institute for Cognitive Science, University of California, San Diego.
20. Rumelhart, David E. / Hinton, Geoffrey E. / Williams, Ronald J., 1986. Learning Representations by Back-Propagating Errors. In: Nature 323 (6088), S. 533–536. DOI: 10.1038/323533a0.
21. Schmidhuber, Jürgen, 2015. Deep Learning in Neural Networks: An Overview. In: Neural Networks 61, S. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
22. Werbos, Paul J., 1974. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Dissertation, Harvard University.
23. Werbos, Paul J., 1982. Applications of Advances in Nonlinear Sensitivity Analysis. In: Drenick, R. F. / Kozin, F. (Hrsg.): System Modeling and Optimization. Berlin: Springer, S. 762–770.

← Zurück zur Lexikon-Übersicht