Parallel Distributed Processing: Explorations in the Microstructure of Cognition ist ein 1986 in zwei Bänden erschienenes Sammelwerk, herausgegeben von David E. Rumelhart und James L. McClelland gemeinsam mit der PDP Research Group. Es gilt als Gründungswerk des modernen Konnektionismus.
Zusammenfassung
Der Sammelband versammelt Beiträge zu verteilten Repräsentationen, zu Lernalgorithmen für mehrschichtige Netzwerke und zu kognitionswissenschaftlichen Anwendungen konnektionistischer Modelle. Sein einflussreichstes Einzelkapitel ist die Beschreibung des Backpropagation-Algorithmus durch Rumelhart, Geoffrey Hinton und Ronald Williams, der das seit den Perceptrons-Beweisen ungelöste Trainingsproblem mehrschichtiger Netze löste.
Begriffsgeschichte
Nach dem Erscheinen der Perceptrons von Minsky und Papert 1969 war die Forschung zu neuronalen Netzen weitgehend zum Erliegen gekommen, da einlagige Perzeptrons bestimmte Funktionen nachweislich nicht berechnen konnten. Parallel Distributed Processing markierte 1986 die akademische Wiederbelebung des Feldes, indem es zeigte, dass mehrschichtige Netze mit dem richtigen Lernalgorithmus genau diese Grenzen überwinden.
Methodische Grundlagen
Zentrales methodisches Konzept ist die verteilte Repräsentation: Wissen wird nicht in einzelnen, lokal zuordenbaren Einheiten gespeichert, sondern in Aktivierungsmustern über viele Einheiten hinweg. Der ebenfalls im Band beschriebene Backpropagation-Algorithmus propagiert einen Fehlersignal-Gradienten rückwärts durch das Netzwerk und ermöglicht so das systematische Training beliebig vieler Schichten.
Anwendungsfelder
Die im Werk beschriebenen Prinzipien – verteilte Repräsentationen und gradientenbasiertes Lernen – bilden bis heute die methodische Grundlage praktisch aller Deep-Learning-Architekturen, von frühen mehrschichtigen Perzeptronen bis zu heutigen Transformer-Modellen.
Kontroversen und Kritik
Kritiker:innen aus dem symbolischen Lager, allen voran Jerry Fodor und Zenon Pylyshyn, wandten bereits kurz nach Erscheinen ein, verteilte Repräsentationen könnten die systematische, kompositionale Struktur menschlichen Denkens nicht angemessen abbilden – ein Einwand, der die spätere Debatte um Neurosymbolische KI vorwegnahm.
Verwandte Begriffe
- Geoffrey Hinton – Mitautor des Backpropagation-Kapitels
- Künstliche Neuronale Netze – Modellklasse, deren Wiederbelebung das Werk auslöste
- Symbolische KI – das Lager, aus dem der Haupteinwand gegen das Werk kam
Quellenangaben
- Rumelhart, David E. / McClelland, James L. / PDP Research Group, 1986. Parallel Distributed Processing: Explorations in the Microstructure of Cognition. 2 Bände. MIT Press.
- Rumelhart, David E. / Hinton, Geoffrey E. / Williams, Ronald J., 1986. Learning Representations by Back-Propagating Errors. Nature 323, S. 533–536.