Scaling Monosemanticity ist der im Mai 2024 von Anthropic im Transformer Circuits Thread veröffentlichte Aufsatz „Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”, der erstmals zeigte, dass sich Sparse Autoencoders nicht nur auf kleine Spielzeugmodelle, sondern auf ein produktives, im Einsatz befindliches großes Sprachmodell anwenden lassen.
Zusammenfassung
Der Aufsatz setzt die Forschungslinie fort, die mit Toy Models of Superposition (2022) das Problem benannte und mit „Towards Monosemanticity” (Oktober 2023) einen ersten Lösungsansatz über Sparse Autoencoders an einem kleinen Sprachmodell erprobte. Scaling Monosemanticity überträgt diesen Ansatz erstmals auf Claude 3 Sonnet, ein Modell in Produktionsgröße, und extrahiert dabei Millionen einzelner, weitgehend monosemantischer Merkmale – Aktivierungsrichtungen, die jeweils einem klar umrissenen, für Menschen nachvollziehbaren Konzept entsprechen, statt wie bei polysemantischen Neuronen mehrere unzusammenhängende Bedeutungen zugleich zu tragen. Der Sprung von einem Spielzeugmodell zu einem Modell, das tatsächlich im Einsatz ist, war der entscheidende Beleg dafür, dass mechanistische Interpretierbarkeit über Sparse Autoencoders auch jenseits kontrollierter Laborbedingungen tragfähig sein könnte.
Methodische Grundlagen
Ein Sparse Autoencoder wird auf die internen Aktivierungen einer mittleren Schicht von Claude 3 Sonnet trainiert. Die Grundidee, bereits in „Towards Monosemanticity” entwickelt: Der Autoencoder bildet die vergleichsweise niedrigdimensionalen Aktivierungen des Modells auf einen sehr viel höherdimensionalen, aber spärlich besetzten Raum ab. Weil in diesem höherdimensionalen Raum für jedes Konzept genügend Platz vorhanden ist, muss das Netz Merkmale nicht mehr in Superposition packen – der Effekt, den Toy Models of Superposition als Ursache polysemantischer Neuronen beschrieben hatte. Jede der resultierenden Dimensionen entspricht im Idealfall genau einem interpretierbaren Merkmal.
Neu gegenüber der Vorgängerarbeit ist vor allem der Maßstab: Statt eines kleinen Modells mit wenigen tausend Merkmalen kommt ein produktives Modell mit einer sehr viel größeren Anzahl extrahierter Merkmale zum Einsatz, was erhebliche technische Hürden bei Trainingsaufwand und Auswertung mit sich bringt. Die Autoren beschreiben zudem, wie sich die Bedeutung einzelner Merkmale systematisch prüfen lässt: durch Betrachtung der Textstellen, die ein Merkmal am stärksten aktivieren, und durch gezieltes Verstärken oder Unterdrücken einzelner Merkmale im laufenden Modell, um zu beobachten, wie sich das Verhalten des Modells dadurch verändert.
Zentrale Befunde
Unter den gefundenen Merkmalen befinden sich sowohl konkrete als auch abstrakte Konzepte: Merkmale, die auf bestimmte Personen, Orte oder Programmiersprachenkonstrukte reagieren, ebenso wie Merkmale für abstraktere Konzepte wie Sykophantie, Täuschungsbereitschaft oder sicherheitsrelevantes Verhalten. Besondere Aufmerksamkeit erhielten Merkmale, die mit potenziell schädlichem Modellverhalten in Zusammenhang stehen – etwa Merkmale, die mit der Erstellung von Schadcode, mit Voreingenommenheit oder mit manipulativer Sprache korrelieren. Die Autoren demonstrierten, dass sich das Verhalten des Modells gezielt verändern lässt, wenn einzelne dieser Merkmale im laufenden Betrieb künstlich verstärkt werden – ein direkter kausaler Nachweis dafür, dass die gefundenen Richtungen nicht nur statistisch mit bestimmten Konzepten korrelieren, sondern tatsächlich einen Kausalbeitrag zum Modellverhalten leisten. Öffentlich sichtbar wurde dieser Effekt Ende Mai 2024 mit „Golden Gate Claude”: Anthropic verstärkte ein einzelnes, auf die Golden Gate Bridge reagierendes Merkmal so stark, dass das Modell nahezu jede Antwort auf die Brücke lenkte, und stellte diese Version für 24 Stunden öffentlich zur Verfügung.
Bedeutung für die Sicherheitsforschung
Scaling Monosemanticity gilt als wichtiger Meilenstein der mechanistischen Interpretierbarkeit, weil er die Frage beantwortete, ob sich Erkenntnisse aus kontrollierten Toy-Modellen auf reale, produktive Systeme übertragen lassen. Für die KI-Sicherheitsforschung ist das insofern bedeutsam, als interpretierbare Merkmale perspektivisch dazu dienen könnten, unerwünschtes oder gefährliches Modellverhalten frühzeitig zu erkennen, bevor es sich in der Ausgabe eines Modells zeigt – ein Ansatz, der über reines Verhaltenstesten am fertigen Output hinausgeht und stattdessen die internen Repräsentationen des Modells selbst adressiert. Der Aufsatz wird häufig als Beleg dafür angeführt, dass mechanistische Interpretierbarkeit als Forschungsrichtung nicht auf akademische Spielzeugbeispiele beschränkt bleiben muss, sondern Werkzeuge für den Umgang mit Modellen liefern kann, die tatsächlich im Einsatz sind.
Kontroversen und Kritik
Trotz des methodischen Fortschritts benennen die Autoren selbst mehrere offene Probleme. Die gefundenen Merkmale erklären nur einen Teil der Modellaktivität; ein erheblicher Anteil der internen Repräsentationen bleibt uninterpretiert. Zudem ist unklar, ob die verwendeten Sparse Autoencoders tatsächlich die „wahren” zugrunde liegenden Merkmale eines Modells finden oder lediglich eine unter mehreren plausiblen Zerlegungen der Aktivierungen liefern. In der Forschungsgemeinschaft wurde außerdem diskutiert, wie gut sich der Ansatz auf noch größere Modelle und auf tiefere, umfassendere Analysen des gesamten Modells statt einzelner Schichten skalieren lässt – eine Frage, die spätere Arbeiten aus demselben Forschungsprogramm adressierten. Kritisiert wurde ferner der hohe Rechenaufwand des Verfahrens, der breite Anwendungen jenseits gut ausgestatteter Forschungslabore erschwert.
Verwandte Begriffe
- Mechanistic Interpretability – das übergeordnete Forschungsfeld
- Large Language Models – Modellklasse, die durch diese Methode interpretierbar wird
- Claude (Anthropic) – die Modellfamilie, an deren Sonnet-Variante die Untersuchung durchgeführt wurde
Quellenangaben
- Anthropic Interpretability Team, 2023. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread, Oktober 2023.
- Elhage, Nelson u. a., 2022. Toy Models of Superposition. Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
- Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Transformer Circuits Thread, Anthropic, Mai 2024.