Distributed Representations

Distributed Representations (deutsch verteilte Repräsentationen) bezeichnen in der Kognitionswissenschaft und im maschinellen Lernen eine Form der internen Datenrepräsentation. Konzepte, Symbole oder Entitäten werden dabei nicht durch jeweils eine dedizierte Recheneinheit (ein „Symbol” oder „Neuron”) repräsentiert, sondern als Aktivierungsmuster über viele Einheiten hinweg kodiert.

Dabei ist jede einzelne Einheit zugleich an der Repräsentation vieler verschiedener Konzepte beteiligt.

Der Begriff wurde in seiner heute kanonischen Form 1986 von Geoffrey Hinton in dem Beitrag Distributed Representations (Hinton 1986, Carnegie Mellon University Technical Report CMU-CS-84-157; auch publiziert in Rumelhart/McClelland, Parallel Distributed Processing, MIT Press 1986, Kap. 3) eingeführt.

Distributed Representations sind die theoretische Grundlage moderner Word Embeddings, Sentence Embeddings und der internen Repräsentationen großer Sprachmodelle.

Zusammenfassung

Distributed Representations sind die zentrale theoretische Antwort des Konnektionismus auf das klassische Symbolische Repräsentationsmodell der frühen KI.

Während im symbolischen Paradigma (Newell/Simon 1976) jedes Konzept durch ein diskretes, atomares Symbol repräsentiert wird (etwa eine Variable in einem LISP-Programm), werden Konzepte in verteilten Repräsentationen durch Muster numerischer Aktivierungen über viele Einheiten hinweg kodiert.

Drei Eigenschaften sind dabei zentral. Erstens Bedeutungsähnlichkeit gleicht räumliche Nähe – semantisch ähnliche Konzepte haben ähnliche Aktivierungsmuster. Zweitens Generalisierungsfähigkeit – die Repräsentation eines neuen Konzepts kann aus den Repräsentationen ähnlicher Konzepte abgeleitet werden. Drittens Robustheit – Beschädigung einzelner Einheiten degradiert die Repräsentation graduell statt katastrophal.

Der Begriff ist die theoretische Wurzel der heute zentralen Word Embeddings (Mikolov u. a. 2013, word2vec; Pennington u. a. 2014, GloVe), der Sentence- und Document-Embeddings, und der internen Repräsentationen von Transformer-Architekturen.

Distributed Representations sind außerdem Gegenstand der heutigen Mechanistic Interpretability-Forschung, in der die Frage diskutiert wird, ob und wie sich diskrete Konzepte aus verteilten Repräsentationen wieder extrahieren lassen.

Theoretische Struktur

Lokale vs. verteilte Repräsentationen

Die klassische Differenzierung (Hinton 1986; Smolensky 1988) trennt zwei Repräsentationsformen:

Lokale Repräsentation (auch grandmother cell nach Jerry Lettvin): Jedes Konzept wird durch genau eine Recheneinheit repräsentiert. Bei n Konzepten und n Einheiten ist die Repräsentation eindeutig, aber wenig generalisierungsfähig und nicht robust gegenüber Beschädigungen.

Verteilte Repräsentation: Jedes Konzept wird als Muster über mehrere oder alle Einheiten kodiert; jede einzelne Einheit ist zugleich an der Repräsentation vieler Konzepte beteiligt. Die kombinatorische Kapazität ist exponentiell – k binäre Einheiten können bis zu 2^k unterschiedliche Konzepte repräsentieren.

Hinton (1986) betont, dass die theoretisch relevante Eigenschaft nicht die quantitative Verteilung, sondern die semantische Struktur der Verteilung ist: Ähnlichkeit zwischen Konzepten manifestiert sich als geometrische Ähnlichkeit der Aktivierungsmuster.

Beziehung zum Konnektionismus

Distributed Representations sind eine der zentralen theoretischen Behauptungen des Konnektionismus, wie er in den 1980er Jahren von der Parallel Distributed Processing Group (David Rumelhart, James McClelland, Geoffrey Hinton und andere an der University of California, San Diego) ausgearbeitet wurde.

Die zweibändige Sammlung Parallel Distributed Processing: Explorations in the Microstructure of Cognition (Rumelhart/McClelland 1986) gilt als programmatisches Hauptwerk dieser Tradition.

Begriffsgeschichte

Die Idee verteilter Repräsentationen reicht in Vorformen ins 19. Jahrhundert zurück – Karl Lashleys Hypothese der Gedächtnis-Equipotentialität (1929) ist eine frühe neurowissenschaftliche Version.

Die kognitionswissenschaftliche Operationalisierung beginnt mit den Arbeiten von Donald Hebb (The Organization of Behavior, 1949) und der Wiederentdeckung neuronaler Netze in den 1950er und 1960er Jahren (Frank Rosenblatts Perceptron 1958, James A. Andersons Brain-State-in-a-Box-Modell 1972, Teuvo Kohonens Self-Organizing Maps).

Hintons Aufsatz von 1986 ist die theoretisch konsolidierende Arbeit, die den Begriff in seine heute geläufige Form bringt.

Paul Smolenskys Tensor Product Representations (1990) prägten die theoretische Diskussion der späten 1980er und 1990er Jahre ebenso wie die Auseinandersetzung zwischen Jerry Fodor / Zenon Pylyshyn (Connectionism and Cognitive Architecture, 1988) und der konnektionistischen Tradition. Im Zentrum stand dabei die Frage, ob verteilte Repräsentationen die systematische Struktur menschlichen Denkens (Komposition, Produktivität) erfassen können.

Anwendung im maschinellen Lernen

Frühe Sprachmodellierung

Yoshua Bengios Aufsatz A Neural Probabilistic Language Model (Bengio, Ducharme, Vincent, Jauvin 2003, Journal of Machine Learning Research 3) gilt als die theoretisch grundlegende Arbeit der heutigen Anwendung verteilter Repräsentationen auf Sprache.

Bengio führte explizit distributed word representations als Mittel ein, um die Curse of Dimensionality der klassischen n-Gramm-Sprachmodelle zu überwinden. Statt Wörter als diskrete Symbole zu behandeln, bettet dieser Ansatz sie in einen niedrigdimensionalen Vektorraum ein, in dem semantisch ähnliche Wörter geometrisch benachbart liegen.

Word Embeddings

Die heute populärsten Operationalisierungen verteilter Repräsentationen für Sprache sind die Word Embeddings-Verfahren:

word2vec (Mikolov, Sutskever, Chen, Corrado, Dean 2013, Google) – entwickelt unter anderem mit Hintons Doktorand Ilya Sutskever – lernt Wort-Vektoren aus großen Textkorpora durch das Skip-Gram- oder CBOW-Verfahren. Das paradigmatische Ergebnis, dass arithmetische Operationen in Vektor-Räumen semantische Beziehungen abbilden (king − man + woman ≈ queen), gilt als der populärste Beleg der semantischen Struktur verteilter Repräsentationen.

GloVe (Pennington, Socher, Manning 2014, Stanford) leitet ähnliche Wort-Vektoren aus globalen Wort-Kookkurrenz-Matrizen ab.

FastText (Bojanowski, Grave, Joulin, Mikolov 2017, Facebook AI Research) erweitert word2vec um Subwort-Repräsentationen.

Transformer und kontextabhängige Repräsentationen

Mit der Transformer-Architektur (Vaswani u. a. 2017, Attention Is All You Need) und den darauf aufbauenden Sprachmodellen (BERT, GPT, T5, Claude, Gemini, Llama) sind verteilte Repräsentationen kontextabhängig geworden. Ein Wort wird dann nicht mehr durch einen einzigen Vektor repräsentiert, sondern durch einen Vektor, der von seinem Kontext abhängt.

Diese Verschiebung von kontextunabhängigen zu kontextabhängigen Embeddings gilt als eine der zentralen Innovationen der 2018–2020er Jahre.

Mechanistic Interpretability und Polysemantizität

Distributed Representations stellen die Mechanistic Interpretability-Forschung (Anthropic, Olah u. a. 2020, Distill; Anthropic Interpretability Team seit 2021) vor ein konstitutives Problem. Wenn jede Einheit an der Repräsentation vieler Konzepte beteiligt ist (Polysemantizität), lassen sich Konzepte nicht einfach an einzelnen Neuronen ablesen.

Anthropics Toy Models of Superposition (Elhage u. a. 2022) und die spätere Sparse Autoencoder-Forschung (Cunningham u. a. 2023; Templeton u. a. 2024, Scaling Monosemanticity) versuchen, aus polysemantischen verteilten Repräsentationen wieder einzelne interpretierbare features zu extrahieren.

Die Superposition-Hypothese – dass neuronale Netze mehr Konzepte repräsentieren als sie Dimensionen haben, durch nicht-orthogonale Einbettung – ist eine direkte theoretische Erweiterung der Hinton’schen verteilten Repräsentationen.

Die 2025 veröffentlichte Folgearbeit On the Biology of a Large Language Model (Lindsey u. a. 2025) erweitert diesen Ansatz von einzelnen Features auf ganze Berechnungspfade (Attribution Graphs). Sie rekonstruiert damit erstmals mehrschrittige Schlussfolgerungsprozesse innerhalb eines produktiven Sprachmodells (Claude 3.5 Haiku) – ein direkter Fortschritt gegenüber der reinen Feature-Extraktion der Sparse-Autoencoder-Forschung.

Kritik

Substantielle Kritik richtet sich auf drei Linien:

Systematische Strukturkritik (Fodor/Pylyshyn 1988): Aus der Tradition der klassischen kognitiven Architektur wird argumentiert, dass rein verteilte Repräsentationen die systematische Kompositionalität menschlichen Denkens (Produktivität, Systematizität, Inferenzieller Kohärenz) nicht zuverlässig erfassen können.

Diese Kritik hat zu einer Reihe von Hybridvorschlägen geführt (Smolenskys Tensor Product Representations 1990, Gallant 1991, Plate’s Holographic Reduced Representations 1995).

Interpretierbarkeitsproblem: Die Polysemantizität verteilter Repräsentationen erschwert die Interpretation und Auditierbarkeit von KI-Systemen – eine Kritik, die sowohl aus der Mechanistic-Interpretability-Forschung (als anzugehendes Problem) als auch aus der Critical-AI-Studies-Tradition (Gebru, Bender, Mitchell – als fundamentales Limit) kommt.

Symbolisch-Konnektionistische Synthese-Debatte: Aus der hybriden Tradition (Gary Marcus The Algebraic Mind, 2001; Neuro-Symbolic AI-Programme bei IBM, MIT-IBM Watson Lab) wird argumentiert, dass verteilte Repräsentationen für statistische Mustererkennung gut geeignet sind. Sie müssten aber durch symbolische Komponenten ergänzt werden, um robuste Reasoning-Fähigkeiten zu erlangen.

Einordnung

Distributed Representations sind die theoretische Brücke zwischen Backpropagation (Trainingsmethode) und den heutigen Word Embeddings, Transformer-basierten Architekturen und Large Language Models.

Der Begriff verbindet personell Geoffrey Hinton (Begriffsprägung 1986) und Yoshua Bengio (Anwendung auf Sprache 2003) mit der heutigen LLM-Diskussion, technisch Konnektionismus, Backpropagation, Word Embeddings und Transformer, und die Mechanistic Interpretability-Forschung als Versuch, diskrete Konzepte aus verteilten Repräsentationen wieder zu rekonstruieren.

Im weiteren Diskurs der Tech-Ideologiedebatte ist der Begriff Bezugspunkt der Diskussion um die kognitive Adäquatheit heutiger KI-Systeme (Stochastic Parrots, Symbol Grounding Problem, Chinese Room Argument).

Verwandte Begriffe

• word2vec / GloVe / FastText – konkrete Verfahren
• Transformer / Attention – heutige Architekturklasse
• Yoshua Bengio – Anwendung auf Sprache 2003
• Parallel Distributed Processing (PDP) – frühe Forschungsgemeinschaft
• Symbolische KI – historische Gegentradition

Quellenangaben

1. Bengio, Yoshua / Ducharme, Réjean / Vincent, Pascal / Jauvin, Christian, 2003. A Neural Probabilistic Language Model. In: Journal of Machine Learning Research 3, S. 1137–1155.
2. Bojanowski, Piotr / Grave, Edouard / Joulin, Armand / Mikolov, Tomas, 2017. Enriching Word Vectors with Subword Information. In: Transactions of the Association for Computational Linguistics 5, S. 135–146. DOI: 10.1162/tacl_a_00051.
3. Cunningham, Hoagy u. a., 2023. Sparse Autoencoders Find Highly Interpretable Features in Language Models. arXiv: 2309.08600.
4. Elhage, Nelson u. a., 2022. Toy Models of Superposition. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
5. Fodor, Jerry A. / Pylyshyn, Zenon W., 1988. Connectionism and Cognitive Architecture: A Critical Analysis. In: Cognition 28 (1–2), S. 3–71. DOI: 10.1016/0010-0277(88)90031-5.
6. Gallant, Stephen I., 1991. A Practical Approach for Representing Context and for Performing Word Sense Disambiguation Using Neural Networks. In: Neural Computation 3 (3), S. 293–309. DOI: 10.1162/neco.1991.3.3.293.
7. Hinton, Geoffrey E., 1986. Distributed Representations.
8. Lindsey, Jack / Gurnee, Wes / Ameisen, Emmanuel u. a., 2025. On the Biology of a Large Language Model. In: Transformer Circuits Thread, Anthropic, 27. März 2025.
9. Marcus, Gary F., 2001. The Algebraic Mind: Integrating Connectionism and Cognitive Science.
10. Mikolov, Tomas / Sutskever, Ilya / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Distributed Representations of Words and Phrases and Their Compositionality. In: Advances in Neural Information Processing Systems 26 (NeurIPS 2013). arXiv: 1310.4546.
11. Newell, Allen / Simon, Herbert A., 1976. Computer Science as Empirical Inquiry: Symbols and Search. In: Communications of the ACM 19 (3), S. 113–126. DOI: 10.1145/360018.360022.
12. Olah, Chris / Cammarata, Nick / Schubert, Ludwig u. a., 2020. Zoom In: An Introduction to Circuits. In: Distill 5 (3). DOI: 10.23915/distill.00024.001.
13. Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.
14. Plate, Tony A., 1995. Holographic Reduced Representations. In: IEEE Transactions on Neural Networks 6 (3), S. 623–641. DOI: 10.1109/72.377968.
15. Rumelhart, David E. / McClelland, James L. (Hrsg.), 1986. Parallel Distributed Processing: Explorations in the Microstructure of Cognition.
16. Smolensky, Paul, 1988. On the Proper Treatment of Connectionism. In: Behavioral and Brain Sciences 11 (1), S. 1–23. DOI: 10.1017/S0140525X00052432.
17. Smolensky, Paul, 1990. Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems. In: Artificial Intelligence 46 (1–2), S. 159–216. DOI: 10.1016/0004-3702(90)90007-M.
18. Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. In: Transformer Circuits Thread, Anthropic.
19. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht