Ein Sparse Autoencoder (SAE) ist ein unüberwachtes neuronales Netz, das die Aktivierungen eines Sprachmodells in einen deutlich breiteren, aber dünn besetzten Merkmalsraum überführt. Ziel ist, aus polysemantischen Neuronen einzelne, für Menschen verständliche Konzepte herauszulösen.
Zusammenfassung
Ein einzelnes Neuron in einem Sprachmodell kodiert selten nur ein Konzept. Weil Modelle mehr Merkmale lernen, als sie Dimensionen besitzen, überlagern sich mehrere unzusammenhängende Bedeutungen in derselben Aktivierung – ein Effekt, den mechanistische Interpretierbarkeit als Superposition bezeichnet.
Ein Neuron, das auf „Französisch” reagiert, feuert dann eben auch bei Programmcode-Fehlern oder bei bestimmten DNA-Sequenzen, ohne erkennbaren Zusammenhang.
Sparse Autoencoders lösen dieses Gemisch auf: Sie rekonstruieren die Aktivierung aus einem sehr viel größeren, aber überwiegend leeren Vektor, dessen einzelne Einträge – die Features – jeweils einem einzelnen, möglichst monosemantischen Konzept entsprechen sollen.
Begriffsgeschichte
Die Vorarbeit lieferte Anthropics „Toy Models of Superposition” (September 2022): An kleinen Spielzeugmodellen zeigte das Paper, wie Superposition entsteht und welche geometrischen Muster – Dreiecke, Fünfecke, Tetraeder – die überlagerten Merkmale im Aktivierungsraum bilden.
„Towards Monosemanticity: Decomposing Language Models With Dictionary Learning” (Oktober 2023) lieferte den ersten empirischen Beleg, dass ein SAE aus einem kleinen Ein-Schicht-Transformer deutlich verständlichere Merkmale extrahiert als die rohen Neuronen selbst.
„Scaling Monosemanticity” (Mai 2024) zeigte, dass sich das Verfahren auf ein produktionsreifes Modell übertragen lässt. Auf Claude 3 Sonnet trainierte Anthropic SAEs mit bis zu 34 Millionen Merkmalen, die mehrsprachig und multimodal reagierten. Ein Merkmal für „Golden Gate Bridge” ließ sich gezielt verstärken, um das Modell dazu zu bringen, sich selbst für die Brücke zu halten.
Kurz darauf zogen andere Labore nach: OpenAI veröffentlichte im Juni 2024 einen auf GPT-4 trainierten SAE mit 16 Millionen Merkmalen, Google DeepMind im August 2024 mit „Gemma Scope” eine offene SAE-Suite für alle Schichten von Gemma 2.
Methodische Grundlagen
Ein SAE besteht aus Encoder und Decoder. Der Encoder bildet den Aktivierungsvektor einer Modellschicht linear auf einen sehr viel breiteren Vektor ab, gefolgt von einer Nichtlinearität, die die meisten Einträge auf null setzt. Der Decoder rekonstruiert daraus die ursprüngliche Aktivierung.
Trainiert wird auf zwei gegenläufige Ziele: minimaler Rekonstruktionsfehler und maximale Sparsity, meist über eine L1-Strafe auf die aktiven Einträge. Neuere Varianten – Gated-, k-Sparse- oder JumpReLU-SAEs – kontrollieren die Sparsity direkter. Das Verfahren ist eine Form von Dictionary Learning: Jede Spalte des Decoders gilt als Wörterbucheintrag, eine Richtung im Aktivierungsraum, die einem einzelnen Konzept entsprechen soll.
Anwendungsfelder
SAE-Features dienen zunächst der Analyse: Welche Konzepte repräsentiert ein Modell intern, von konkreten Entitäten bis zu abstrakten Ideen wie Sarkasmus? Darauf aufbauend erlaubt Feature-Steering das gezielte Verstärken oder Unterdrücken einzelner Merkmale, etwa um die Ablehnungsrate bei schädlichen Anfragen zu erhöhen oder Jailbreaks zu erschweren – ein wachsender Anwendungszweig in der Sicherheitsforschung.
Kontroversen und Grenzen
SAEs gelten 2026 nicht als unumstritten. Feature Splitting und Absorption beschreiben, dass ein scheinbar allgemeines Merkmal bei größeren Wörterbüchern in mehrere spezifische Merkmale zerfällt oder von diesen verdeckt wird. Neuere Arbeiten stellen zudem infrage, ob gefundene Features tatsächlich kausale Mediatoren des Modellverhaltens sind oder nur eine unvollständige Annäherung an einen niedrigdimensionalen Unterraum liefern.
Als verwandte, teils konkurrierende Verfahren gelten Transcoder, die Ein- statt Ausgabeaktivierungen rekonstruieren, und Crosscoder, die mehrere Modelle gleichzeitig erfassen. Der Forschungsstand zeigt bislang kein vollständiges Ablösen der SAEs – eher eine Ausdifferenzierung parallel weiterentwickelter Dictionary-Learning-Verfahren.
Stand 2026
Die Forschung läuft in mehrere Richtungen weiter: verbesserte Architekturen wie Matryoshka-SAEs für mehrstufige Merkmale, offene vortrainierte SAE-Suiten nach dem Vorbild von Gemma Scope sowie theoretische Arbeiten zu den Grenzen des Verfahrens. SAE-gestütztes Steering hat sich parallel zu einem eigenständigen Werkzeug der Sicherheitsforschung entwickelt.
Verwandte Begriffe
- Chris Olah – prägte den Ansatz bei Anthropic
- Distributed Representations – das Phänomen, das SAEs entwirren sollen
- Anthropic – veröffentlichte die grundlegenden SAE-Studien
- Token-Embedding – verwandte Repräsentationsebene
Quellenangaben
- Elhage, Nelson u. a., 2022. Toy Models of Superposition. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
- Anthropic Interpretability Team, 2023. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread, Oktober 2023.
- Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. In: Transformer Circuits Thread, Anthropic.
- OpenAI, 2024. Extracting Concepts from GPT-4. openai.com, 6. Juni 2024.
- Lieberum, Tom / Rajamanoharan, Senthooran / Conmy, Arthur / Nanda, Neel u. a., 2024. Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2. Google DeepMind. arXiv: 2408.05147.