Toy Models of Superposition ist der im September 2022 im Transformer Circuits Thread von Anthropic veröffentlichte Aufsatz, der das Phänomen der Superposition in neuronalen Netzen erstmals systematisch mit kontrollierten synthetischen Modellen untersuchte. Er gilt als Gründungsdokument der modernen mechanistischen Interpretierbarkeitsforschung.
Das Paper beschreibt nicht eine Lösung, sondern das Problem, das spätere Arbeiten wie Sparse Autoencoders erst zu lösen versuchen: dass sich die inneren Konzepte eines neuronalen Netzes nicht sauber einzelnen Neuronen zuordnen lassen.
Zusammenfassung
Neuronale Netze lernen häufig mehr Merkmale, als sie Neuronen zur Verfügung haben. Das wird möglich, wenn diese Merkmale selten gleichzeitig aktiv sind: Das Netz kodiert sie dann in überlagerten, nicht-orthogonalen Richtungen desselben Aktivierungsraums, weil die dadurch entstehende Interferenz zwischen kaum je gleichzeitig aktiven Merkmalen selten zum Problem wird und sich durch nichtlineare Filterung teilweise kompensieren lässt. Die direkte Konsequenz sind polysemantische Neuronen – ein einzelnes Neuron reagiert auf mehrere, semantisch unzusammenhängende Konzepte, weil es Teil mehrerer überlagerter Feature-Richtungen zugleich ist. Superposition ist damit eine Kompressionsstrategie: Das Netz spart Rechenkapazität, auf Kosten einer sauberen Eins-zu-eins-Zuordnung zwischen Neuron und Konzept.
Die Modelle selbst
Um das Phänomen zu isolieren, verzichteten die Autoren bewusst auf echte Sprachmodelle und arbeiteten stattdessen mit kleinen, vollständig kontrollierten synthetischen Modellen – einfachen Encoder-Decoder-Architekturen mit variabler Engpassdimension, trainiert auf künstlich erzeugten Merkmalen mit exakt bekannter, präzise einstellbarer Sparsity. Weil die tatsächliche Merkmalsstruktur damit anders als bei echten Modellen von vornherein bekannt ist, ließ sich beobachten, wie das Netz mit ihr umgeht.
Drei Befunde tragen den Aufsatz. Erstens: Wichtige oder häufige Merkmale erhalten bevorzugt einen eigenen, unabhängigen Platz; seltenere oder weniger wichtige Merkmale werden stattdessen mit anderen in Superposition gepackt. Zweitens zeigen sich entlang der Sparsity-Dimension scharfe Phasenübergänge – ab bestimmten Schwellenwerten wechselt die Kodierungsstrategie des Netzes abrupt, statt sich graduell zu verschieben. Drittens ordnen sich die überlagerten Merkmale nicht beliebig an, sondern in hochsymmetrischen geometrischen Konfigurationen – etwa als Dreiecke, Fünfecke oder Tetraeder im Aktivierungsraum. Die Autoren stellen zudem einen Zusammenhang zwischen Superposition und der Anfälligkeit von Modellen für adversarielle Störungen her.
Bedeutung für mechanistische Interpretierbarkeit
Der Aufsatz markiert den Ausgangspunkt einer Forschungslinie, die sich in mehreren Schritten fortsetzte: Toy Models of Superposition benennt 2022 das Problem, “Towards Monosemanticity” liefert im Oktober 2023 einen ersten praktischen Lösungsansatz über Sparse Autoencoders, “Scaling Monosemanticity” skaliert diesen Ansatz im Mai 2024 auf ein produktives Sprachmodell. Ohne die hier beschriebene Diagnose – dass Polysemantizität kein Trainingsfehler, sondern eine strukturelle Folge von Kompression unter Sparsity ist – wäre die spätere Suche nach interpretierbaren Merkmalsrichtungen kaum motiviert gewesen.
Kontroversen und Kritik
Der Aufsatz zählt zu den einflussreichsten und meistzitierten Arbeiten der mechanistischen Interpretierbarkeitsforschung und wird regelmäßig als Ausgangspunkt für nachfolgende Arbeiten referenziert, auch außerhalb von Anthropic. Diskutiert wurde in der Forschungsgemeinschaft vor allem eine methodische Grenze: Die synthetischen Merkmale in den Toy-Modellen sind unabhängig voneinander und mit exakt bekannter Sparsity konstruiert – reale Sprachmodelle verarbeiten dagegen stark korrelierte, in ihrer tatsächlichen Struktur unbekannte Merkmale. Ob sich die beobachtete Geometrie und die scharfen Phasenübergänge unverändert auf diese komplexere Realität übertragen lassen, blieb eine offene Frage, die die Forschung erst durch die nachfolgenden Arbeiten an echten Sprachmodellen zu beantworten begann.
Verwandte Begriffe
- Sparse Autoencoders – die spätere technische Antwort auf das hier beschriebene Problem
- Mechanistic Interpretability – das übergeordnete Forschungsfeld
- Chris Olah – Mitautor und führende Figur dieser Forschungslinie
Quellenangaben
- Elhage, Nelson u. a., 2022. Toy Models of Superposition. Transformer Circuits Thread, Anthropic, 14. September 2022. arXiv: 2209.10652.
- Anthropic Interpretability Team, 2023. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread, Oktober 2023.