Predictive Coding (prädiktive Codierung) bezeichnet in der Neurowissenschaft die Theorie, dass ein System – zuallererst das Gehirn – nicht primär passiv sensorische Reize registriert, sondern fortlaufend aktiv Vorhersagen über kommende Eingaben erzeugt und nur die Abweichung zwischen Vorhersage und tatsächlichem Signal, den Vorhersagefehler, zur Aktualisierung des internen Modells weiterleitet.
Der Begriff gehört primär der Kognitionswissenschaft an, hat aber eine direkte und wachsende Bedeutung für die KI-Architekturforschung – als Alternative zu Backpropagation und als konzeptueller Vorläufer moderner Weltmodelle.
Zusammenfassung
Die Architektur ist hierarchisch gedacht: Höhere Verarbeitungsebenen bilden generative Modelle der Welt und senden Top-down-Vorhersagen an niedrigere Ebenen. Nur der Vorhersagefehler – die Differenz zwischen Erwartung und tatsächlichem Input – wird als Bottom-up-Signal zurückgemeldet und dient der Modellkorrektur. Das reduziert redundante Signalübertragung erheblich und macht Wahrnehmung im Kern zu einem Prozess kontrollierter Erwartungsbildung statt bloßer Reizregistrierung.
Rao und Ballard lieferten 1999 die einflussreichste frühe rechnerische Formalisierung: Ihr Modell des visuellen Kortex zeigte, dass ein hierarchisches Predictive-Coding-Netzwerk sowohl klassische als auch komplexere rezeptive-Feld-Effekte erklären kann, ohne diese Effekte separat postulieren zu müssen – sie ergeben sich als Nebenprodukt der Fehlerminimierung selbst.
Karl Fristons Free-Energy-Erweiterung
Karl Friston erweiterte das Konzept ab Mitte der 2000er-Jahre zum Free Energy Principle: einer sehr allgemeinen, thermodynamisch und informationstheoretisch motivierten Theorie, wonach jedes selbstorganisierende biologische System dazu tendiert, seine “variationelle freie Energie” – eine obere Schranke für Überraschung beziehungsweise Vorhersagefehler – zu minimieren, um sich in einem Raum überlebensfähiger Zustände zu halten. Predictive Coding erscheint bei Friston als ein spezifischer, neuronal implementierbarer Mechanismus zur näherungsweisen Minimierung dieser freien Energie.
Wichtig für die Einordnung: Predictive Coding im engeren Sinn (Rao/Ballard-Linie) ist ein spezifisches, empirisch testbares Modell, während das Free Energy Principle eine sehr viel allgemeinere Meta-Theorie ist – ein Unterschied, der in Sekundärquellen oft verwischt wird.
Der Bezug zur KI
Zwei Verbindungslinien machen Predictive Coding für die KI-Forschung relevant. Erstens der direkte Vergleich mit Backpropagation als Lernregel: Backpropagation gilt in der Neurowissenschaft als biologisch unplausibel, weil es ein globales, synchrones Fehlersignal voraussetzt, für das im Gehirn kein bekannter Mechanismus existiert. Predictive-Coding-Netzwerke bieten hier eine Alternative, die über lokale, Hebb’sche Synapsenplastizität lernt – jede Schicht minimiert nur ihren eigenen lokalen Vorhersagefehler. Whittington und Bogacz zeigten 2017 formal, dass ein solches Netzwerk unter bestimmten Bedingungen mathematisch äquivalente Gewichtsänderungen wie Backpropagation erzeugt, jedoch mit rein lokalen, biologisch plausibleren Lernregeln – eine Arbeit, die eine eigene Forschungslinie zu Predictive Coding Networks als potenziell biologisch plausiblere Alternative zu klassischem Backpropagation ausgelöst hat.
Zweitens gilt Predictive Coding als konzeptueller Vorläufer moderner selbstüberwachter Lernparadigmen und der aktuellen Debatte um Weltmodelle: Ein System lernt, indem es lernt vorherzusagen – kommende Bildausschnitte, maskierte Textteile, latente Zustände –, statt auf explizit gelabelten Daten trainiert zu werden. Yann LeCuns JEPA-Architektur (Joint Embedding Predictive Architecture) greift diese Grundidee auf, sagt aber, anders als klassisches Predictive Coding, keine rohen Sinnesdaten vorher, sondern abstrakte Repräsentationen fehlender oder zukünftiger Signalteile im latenten Raum. LeCun selbst grenzt JEPA ausdrücklich von einer direkten Implementierung der neurowissenschaftlichen Theorie ab – die Verbindung ist eine Prinzipien-Verwandtschaft, keine 1:1-Übernahme.
Kontroversen und Kritik
Während Predictive Coding im engeren Sinn als empirisch gut gestütztes Modell gilt, ist Fristons Free Energy Principle in seiner verallgemeinerten Form deutlich umstrittener. Kritiker werfen ihm vor, durch seine extreme mathematische Allgemeinheit kaum falsifizierbar zu sein – es lasse sich nachträglich auf praktisch jedes selbstorganisierende System anwenden, ohne spezifische, überprüfbare Vorhersagen zu liefern. Colombo und Wright legten 2021 eine systematische philosophische Kritik der theoretischen Fundierung vor, die eine Vermischung thermodynamischer und informationstheoretischer Begriffe sowie eine fragliche Anwendbarkeit auf Leben im Allgemeinen bemängelt. Selbst Befürworter des Prinzips räumen mitunter ein, es sei in seiner reinsten Form eine unfalsifizierbare Tautologie, die erst durch zusätzliche, spezifischere Annahmen – etwa konkrete Predictive-Coding-Implementierungen – empirische Vorhersagekraft gewinne.
Verwandte Begriffe
- Backpropagation – das Verfahren, zu dem Predictive-Coding-Netze eine biologisch plausiblere Alternative bieten
- World Models – die KI-Debatte, für die Predictive Coding eine konzeptuelle Vorstufe ist
- Philosophie des Geistes – das übergeordnete Feld, in dem die Theorie diskutiert wird
Quellenangaben
- Rao, Rajesh P. N. / Ballard, Dana H., 1999. Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects. Nature Neuroscience 2 (1), S. 79–87.
- Whittington, James C. R. / Bogacz, Rafal, 2017. An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity. Neural Computation 29 (5), S. 1229–1262.
- Clark, Andy, 2016. Surfing Uncertainty: Prediction, Action, and the Embodied Mind. Oxford: Oxford University Press.
- Colombo, Matteo / Wright, Cory, 2021. First Principles in the Life Sciences: The Free-Energy Principle, Organicism, and Mechanism. Synthese 198 (Suppl 14).