Mechanistic Interpretability

Mechanistic Interpretability (deutsch mechanistische Interpretierbarkeit, übliche Abkürzung MI) bezeichnet in der Forschung zu künstlicher Intelligenz und insbesondere zu großen Sprachmodellen jenen Zweig der Interpretierbarkeitsforschung, der versucht, die internen Berechnungen neuronaler Netze als konkrete algorithmische Mechanismen zu rekonstruieren.

Gemeint sind zerlegbare Verarbeitungsschritte mit identifizierbaren Features, Schaltkreisen und kausalen Beziehungen.

Das Ziel ist eine Form des Verstehens, die in der Sekundärliteratur typischerweise mit dem Reverse Engineering einer kompilierten Software verglichen wird: Aus den unlesbar wirkenden Gewichten und Aktivierungen eines trainierten Modells sollen verständliche algorithmische Strukturen rekonstruiert werden.

Mechanistic Interpretability hat sich als Teildisziplin etwa seit 2020 konsolidiert. Zentrale Beiträge stammen aus dem Umfeld von Chris Olah (zunächst OpenAI Clarity Team, ab 2021 Anthropic Interpretability Team), Neel Nanda (DeepMind, später unabhängig) und der akademischen Forschung an der University of Cambridge, am MIT und an der Harvard University.

Zusammenfassung

Während ältere Linien der KI-Interpretierbarkeitsforschung – Saliency Maps, LIME, SHAP, Concept Activation Vectors – primär den Zusammenhang zwischen Modelleingabe und Modellausgabe sichtbar machen, verfolgt Mechanistic Interpretability ein ambitionierteres Ziel: das Verständnis der internen algorithmischen Struktur neuronaler Netze.

Zentral sind vier miteinander verbundene Konzepte.

Erstens Features – gelernte Repräsentationen einzelner semantischer oder syntaktischer Konzepte in Aktivierungsräumen. Zweitens Circuits (Schaltkreise) – funktional zusammenwirkende Komponenten mehrerer Schichten, die spezifische Berechnungen ausführen.

Drittens Polysemanticity und Superposition – die Beobachtung, dass einzelne Neuronen typischerweise mehreren Konzepten zugleich entsprechen, weil das Modell mehr Features lernt, als es Dimensionen hat. Viertens Sparse Autoencoders (SAEs) – eine seit 2023 etablierte Hauptlinie, mit der Aktivierungen in interpretierbare, sparse-aktivierende Feature-Dimensionen zerlegt werden.

Die Disziplin hat eine ungewöhnliche institutionelle Konfiguration: Sie ist sowohl in den großen Frontier-Labs (Anthropic, OpenAI, DeepMind) als auch in der akademischen Forschung und in einer aktiven unabhängigen Community (Apollo Research, EleutherAI, ML Alignment & Theory Scholars Program) institutionalisiert.

Diese Doppelposition zwischen kommerzieller und sicherheitsorientierter Forschung verleiht ihr im TESCREAL-Komplex (Gebru/Torres 2024) eine methodisch eigenständige Stellung.

Begriffsgeschichte

Vorgeschichte: Interpretierbarkeitsforschung allgemein (2013–2019)

Die heute übliche Begriffsverwendung von Interpretability in der Machine-Learning-Forschung geht auf eine Reihe von Arbeiten der mittleren 2010er Jahre zurück.

Frühe einflussreiche Beiträge umfassen Visualizing and Understanding Convolutional Networks (Zeiler/Fergus 2014, ECCV), die LIME-Methode (Ribeiro/Singh/Guestrin 2016, KDD) und SHAP (Lundberg/Lee 2017, NeurIPS). Diese Arbeiten verfolgten allerdings primär post-hoc-Erklärungen einzelner Vorhersagen, nicht das Verständnis der internen Modellstruktur.

OpenAI Clarity Team und Distill.pub (2017–2020)

Eine eigenständige Linie begann mit dem von Chris Olah geleiteten Clarity Team bei OpenAI und der Online-Zeitschrift Distill.pub (gegründet 2016). In einer Reihe einflussreicher Aufsätze entwickelte Olah mit Kollegen Methoden, um Convolutional Neural Networks der Computer Vision so zu visualisieren, dass interne Repräsentationen als interpretierbare Konzepte sichtbar werden.

Wichtige Arbeiten dieser Phase umfassen Feature Visualization (Olah/Mordvintsev/Schubert 2017), The Building Blocks of Interpretability (Olah u. a. 2018) und Zoom In: An Introduction to Circuits (Olah/Cammarata/Schubert u. a. 2020).

Mit Zoom In etablierte sich das Programm einer circuit-basierten Interpretation: Statt einzelne Features isoliert zu untersuchen, werden funktional zusammenhängende Komponenten – Circuits – als kleinste Verständniseinheit definiert. Diese Programmatik prägt die Disziplin bis heute.

Übergang zu Anthropic und Transformer Circuits (2021–2022)

Im Verlauf des Jahres 2021 verließen Chris Olah und mehrere Kollegen OpenAI und wechselten zu Anthropic. Dort etablierten sie das Transformer Circuits Thread als laufende Forschungsserie zur mechanistischen Interpretation von Sprachmodellen.

Die erste größere Arbeit dieser Linie, A Mathematical Framework for Transformer Circuits (Elhage u. a. 2021), formulierte ein Vokabular für die Beschreibung der internen Berechnungen von Decoder-only-Transformern.

Eine besonders einflussreiche Folgeart war In-context Learning and Induction Heads (Olsson u. a. 2022), die Induction Heads als zentrale algorithmische Komponente von In-Context-Learning identifizierte (vgl. eigene Einträge zu In-Context Learning und Emergent Abilities).

Toy Models und Superposition (2022)

Eine zentrale Arbeit erschien im September 2022: Toy Models of Superposition (Elhage, Hume, Olsson u. a., Anthropic 2022).

Die Autoren zeigten an einfachen, kontrolliert konstruierten Modellen, dass neuronale Netze typischerweise mehr Features lernen, als sie Neuronen haben, und diese in Superposition repräsentieren – als überlagerte Aktivierungsmuster. Diese Beobachtung erklärt die in älterer Forschung dokumentierte Polysemanticity einzelner Neuronen und motivierte die spätere Hauptlinie der Sparse-Autoencoder-Forschung.

Sparse Autoencoders als methodische Hauptlinie (2023–2026)

Seit Herbst 2023 sind Sparse Autoencoders (SAEs) zur dominanten Linie der Mechanistic Interpretability geworden. Die Grundidee: Aktivierungen eines Transformer-Modells werden durch ein Autoencoder-Netz in eine sparse-aktivierende, hochdimensionale Feature-Repräsentation übersetzt, in der einzelne Dimensionen interpretierbar werden.

Anthropic publizierte im Oktober 2023 Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (Bricken, Templeton, Batson u. a.) und im Mai 2024 die Folgearbeit Scaling Monosemanticity (Templeton u. a.). Diese wandte das Verfahren auf das Frontier-Modell Claude 3 Sonnet an und identifizierte über 30 Millionen interpretierbare Features – darunter Konzepte wie „Golden Gate Bridge”, „innere Konflikte” und „Sicherheitslücken in Code”.

OpenAI veröffentlichte im Juni 2024 die parallele Arbeit Scaling and Evaluating Sparse Autoencoders (Gao, Goh, Sutskever u. a.). DeepMinds Gemma Scope-Initiative (Lieberum u. a. 2024) lieferte umfangreiche SAE-Sets für offene Gemma-Modelle.

Causal Interventions und Activation Patching (ab 2023)

Eine ergänzende Linie ist die Causal-Intervention-Forschung – Methoden, mit denen einzelne Komponenten neuronaler Netze gezielt verändert werden, um ihre kausale Rolle in spezifischen Berechnungen nachzuweisen.

Activation Patching (Wang u. a. 2023; Conmy u. a. 2023, Automated Circuit Discovery) und Causal Scrubbing (Chan u. a. 2022) gehören zu den wichtigen Beiträgen. Diese Verfahren etablieren Mechanistic Interpretability methodisch als empirische, hypothesenprüfende Wissenschaft mit kausalen Aussagen.

Anthropic Tracing-Linie und Cross-Layer Transcoders (2025)

Im März 2025 publizierte Anthropic die Arbeiten Circuit Tracing und Biology of a Large Language Model (Lindsey u. a., Anthropic 2025). Sie etablierten mit Cross-Layer Transcoders eine erweiterte Linie – die kausalen Pfade zwischen Schichten werden direkt rekonstruiert, nicht nur die Features innerhalb einzelner Schichten.

Öffentliche Anerkennung und Amodei-Essay (2025/2026)

Im April 2025 veröffentlichte Anthropic-CEO Dario Amodei den vielbeachteten Essay The Urgency of Interpretability, in dem er ein „Wettrennen zwischen Interpretierbarkeit und Modellintelligenz” konstatiert. Als Anthropic-Ziel formuliert er, bis 2027 eine Interpretierbarkeitsforschung zu erreichen, die die meisten Modellprobleme verlässlich erkennen kann.

Amodei verweist dabei auf den raschen methodischen Fortschritt: Innerhalb eines Jahres habe sich die Forschung von der Unfähigkeit, Modellgedanken nachzuvollziehen, zur Identifikation von über 30 Millionen Features in einem mittelgroßen kommerziellen Modell (Claude 3 Sonnet) entwickelt.

Im Januar 2026 wählte das MIT Technology Review Mechanistic Interpretability in seine jährliche Liste der 10 Breakthrough Technologies (Douglas Heaven, 12. Januar 2026).

Als Belege nennt der Beitrag die 2024 vorgestellte Feature-Identifikation an Claude (u. a. zu Konzepten wie Michael Jordan oder der Golden Gate Bridge) sowie die 2025 vorgestellte Circuit-Tracing-Methodik, mit der Anthropic vollständige Feature-Sequenzen vom Prompt bis zur Modellantwort nachzeichnen konnte.

Hinzu kommen vergleichbare Arbeiten bei OpenAI und Google DeepMind zur Aufklärung unerwarteter Modellverhaltensweisen – darunter mutmaßliche Täuschungsversuche – sowie zum Chain-of-Thought-Monitoring, mit dem OpenAI unter anderem Schummelverhalten bei Coding-Tests aufdeckte.

Methodische Hauptlinien

Feature Visualization und Concept Probes

Die ältere Hauptlinie der Disziplin verwendet Aktivierungs-Maximierung und vergleichbare Verfahren, um zu zeigen, welche Eingaben einzelne Neuronen, Schichten oder Schaltkreise maximal aktivieren. Diese Methode war für Convolutional Neural Networks der Computer Vision besonders wirksam und ist mit Sparse Autoencoders in den Sprachmodell-Kontext übertragen worden.

Circuits und Sub-Networks

Die Identifikation funktional zusammenhängender Komponenten – Circuits – ist die zentrale Verständniseinheit. Beispiele aus der Sekundärliteratur umfassen Induction Heads (Olsson u. a. 2022, im In-Context-Learning), Indirect Object Identification (Wang u. a. 2023, in GPT-2), Modular Arithmetic Circuits (Nanda u. a. 2023, in Grokking-Studien) und Successor Heads (Gould u. a. 2024).

Sparse Autoencoders

Sparse Autoencoders dominieren seit 2023. Die Hauptidee: Aktivierungen werden durch ein über-dimensioniertes lineares Encoder-Decoder-Netz mit Sparsity-Bestrafung neu codiert; einzelne Dimensionen der so erhaltenen Sparse-Aktivierung sollen interpretierbaren monosemantic features entsprechen.

Varianten umfassen Top-K-SAEs (Gao u. a. 2024), Gated SAEs (Rajamanoharan u. a. 2024), JumpReLU-SAEs (Rajamanoharan u. a. 2024) und Cross-Layer Transcoders (Lindsey u. a. 2025).

Causal Methods

Activation Patching, Path Patching, Attribution Patching und Causal Scrubbing etablieren Mechanistic Interpretability methodisch als kausal-empirische Disziplin. Diese Verfahren erlauben das Testen von Hypothesen über die Rolle spezifischer Modellkomponenten in spezifischen Verhaltensweisen.

Automated Circuit Discovery

Manuelle Schaltkreis-Identifikation ist arbeitsintensiv; Automated Circuit Discovery (Conmy u. a. 2023, NeurIPS) und Edge Attribution Patching sind algorithmische Versuche, Circuits automatisch zu finden. Diese Verfahren stehen im Spannungsfeld zwischen Skalierbarkeit und Erklärbarkeit.

Anwendungen

KI-Sicherheit und Alignment

Die wichtigste Anwendung ist die Adressierung von Sicherheits- und Alignment-Fragen.

Mehrere konkrete Anwendungslinien sind etabliert: die Detektion von Deceptive Alignment durch mechanistische Marker und die Identifikation gefährlicher Fähigkeiten in Frontier-Modellen vor deren Deployment. Hinzu kommt die Untersuchung von Chain-of-Thought Faithfulness (Anthropic 2025, Reasoning Models Don’t Always Say What They Think) durch Vergleich von verbalisierten Reasoning-Spuren mit den tatsächlichen internen Berechnungen.

Halluzinations- und Bias-Forschung

Mechanistic Interpretability liefert Werkzeuge für die Untersuchung von Halluzinationen und algorithmischer Verzerrung. Arbeiten zu Refusal Directions (Arditi u. a. 2024) und zu Sycophancy-Schaltkreisen (Anthropic 2023) sind paradigmatische Beispiele.

Feature Steering und Aktivierungs-Intervention

Identifizierte Features können gezielt aktiviert oder deaktiviert werden, um Modellverhalten zu modifizieren. Anthropic demonstrierte dies öffentlich im Mai 2024 mit dem temporären Test-Modell Golden Gate Claude, in dem ein einzelnes SAE-Feature dauerhaft hochaktiviert wurde – das Modell sprach in allen Antworten obsessiv über die Golden Gate Bridge. Diese Demonstration veranschaulichte die Möglichkeiten und Grenzen von Feature Steering.

Wissenschaftliche Anwendungen

Eine zunehmende Linie nutzt MI als Werkzeug, um zu untersuchen, was Modelle gelernt haben – etwa welche mathematischen Algorithmen sie intern implementieren (Nanda u. a. 2023 zu Modular Arithmetic) und welche linguistischen Strukturen sie repräsentieren (Hewitt u. a.). Dazu zählt auch die Frage, welche Weltmodelle sie aufbauen (Li u. a. 2023 zu Othello-GPT, Vafa u. a. 2024 zu World Models).

Einordnung

Mechanistic Interpretability steht an zentraler Stelle:

AI-Alignment-Komplex: MI ist die methodische Hauptlinie, mit der Alignment-Fragen empirisch adressiert werden. Sie verbindet die theoretischen Einträge zu AI Alignment, Inner Alignment, Outer Alignment, Deceptive Alignment, Mesa-Optimization, Goal Misgeneralization und Corrigibility mit konkreten empirisch-experimentellen Forschungsprogrammen.

Anthropic-Forschungslinie: Mit den Arbeiten von Chris Olah, Catherine Olsson, Nelson Elhage, Neel Nanda (zeitweise), Trenton Bricken und Adam Templeton ist Anthropic das institutionell wichtigste Zentrum mechanistischer Interpretierbarkeit. Diese Linie steht in engem Zusammenhang mit Anthropic, Constitutional AI, der Responsible Scaling Policy und Dario Amodei.

TESCREAL-Anschluss: MI ist innerhalb des TESCREAL-Komplexes (Gebru/Torres 2024) eine eigenständige Position. Sie teilt zwar die Annahme, dass Alignment-Risiken durch Frontier-Modelle real und adressierbar sind, ist aber methodisch deutlich empirischer und weniger spekulativ als die LessWrong/MIRI-Tradition.

In der TESCREAL-kritischen Sekundärliteratur wird MI teils als methodisch ernsthafte Sicherheitsforschung gewürdigt, teils als Legitimationsstrategie für die fortgesetzte Skalierung kommerzieller Frontier-Modelle diskutiert.

Brücke: MI ist eine der wenigen Sub-Disziplinen, die in vergleichbarem Maß in Frontier-Labs (Anthropic, OpenAI, DeepMind) und in unabhängiger akademischer Forschung (Cambridge, MIT, Harvard, Apollo Research, EleutherAI) institutionalisiert ist. Diese Doppelposition verleiht ihr methodische und politische Eigenständigkeit.

Anschluss an die mechanistische Hinton-Linie: Über die Identifikation von Induction Heads (Olsson u. a. 2022) ist MI mit der Hinton-Werk-Reihe verbunden. Geoffrey Hintons frühe Arbeiten zu verteilten Repräsentationen sind Vorläufer der heutigen Feature-Konzepte in der MI.

Anschluss an die Sprachmodell-Debatte: MI ist präsent in Transformer, Attention-Mechanismus, Token Embedding, In-Context Learning, Emergent Abilities, Halluzination und Reasoning Models präsent – sie liefert die mechanistische Erklärung vieler dort beschriebener Phänomene.

Kontroversen und Kritik

Substantielle Kritik betrifft mehrere Linien:

Skalierbarkeitsproblem: Mechanistische Analysen einzelner Schaltkreise sind arbeitsintensiv und schwer auf Frontier-Modelle mit hunderten Milliarden Parametern zu skalieren. In der Sekundärliteratur (Saphra/Wiegreffe 2024) wird argumentiert, dass die Disziplin bislang nur einen kleinen Bruchteil moderner Frontier-Modelle mechanistisch beschrieben hat und es offen ist, ob vollständige Beschreibung erreichbar ist.

Interpretation der Sparse Autoencoders: Die mit SAEs identifizierten monosemantic features sind nicht durchgehend so interpretierbar, wie die Hauptarbeiten suggerieren.

Empirische Untersuchungen (Anthropic Sparse Autoencoders: A Skeptical Perspective 2024; Engels u. a. 2024) zeigen, dass viele identifizierte Features schwer eindeutig zu interpretieren sind und dass die Wahl der Trainings-Hyperparameter erheblichen Einfluss auf die identifizierten Features hat.

Faithfulness-Frage: Eine Grundfrage betrifft, ob die mechanistisch identifizierten Strukturen tatsächlich die kausalen Berechnungen des Modells abbilden oder nur Korrelationen darstellen. Causal-Intervention-Verfahren adressieren diese Frage, lösen sie aber nicht vollständig.

Sicherheits-Versprechen und Realität: Die Erwartung, dass MI Alignment-Probleme grundlegend lösen könne, wird in der Sekundärliteratur (Hubinger 2024; Apollo Research 2024) als zu optimistisch kritisiert. Mechanistic Interpretability liefert Werkzeuge für die Untersuchung von Modellverhalten, aber die Verbindung zu konkreten Alignment-Garantien ist nicht etabliert.

Asymmetrie zwischen Labor-Bedingungen und Frontier-Modellen: Viele Erfolge der MI wurden an kleinen, kontrolliert konstruierten Toy-Modellen erzielt. Ob die identifizierten Strukturen auf große Frontier-Modelle übertragbar sind, ist nicht durchgehend etabliert.

Verhältnis zu akademischer Forschung: Die institutionelle Dominanz von Frontier-Labs (insbesondere Anthropic) in der MI-Forschung wird in der Sekundärliteratur (Cremer/Kemp 2021; Whittaker 2021) als methodisch problematisch diskutiert – die Rahmensetzung der wichtigsten Forschungsfragen erfolgt in kommerziellen Kontexten.

Stand 2025/2026

Das MIT Technology Review führte Mechanistic Interpretability im Januar 2026 als eine der zehn Breakthrough Technologies des Jahres – eine Anerkennung, die den Übergang des Feldes von einer Nischenmethode der Alignment-Forschung zu einem breiter wahrgenommenen Werkzeug markiert.

Die Konsolidierung von Sparse Autoencoders als Kernwerkzeug hat sich seit Scaling Monosemanticity (Anthropic 2024) fortgesetzt. Varianten (Gated, k-Sparse, L0-regularisierte, Switch-SAEs) verbessern die Extraktion interpretierbarer Features, während vortrainierte Feature-Wörterbücher wie Gemma Scope (Google DeepMind) die Methode auch außerhalb der Herstellerlabore zugänglich machen.

Ungelöst bleibt jedoch das Skalierungsproblem: Je größer die untersuchten Modelle, desto schwerer lassen sich die gewonnenen Features vollständig in menschenverständliche Konzepte übersetzen. Anthropic selbst benennt diesen Engpass als zentrale technische Hürde auf dem Weg zu einer vollständigen mechanistischen „Übersetzung” heutiger Frontier-Modelle.

Quellenangaben

Amodei, Dario, 2025. The Urgency of Interpretability. darioamodei.com, April 2025.
Arditi, Andy u. a., 2024. Refusal in Language Models Is Mediated by a Single Direction. In: Advances in Neural Information Processing Systems 37 (NeurIPS 2024). arXiv: 2406.11717.
Bricken, Trenton / Templeton, Adly / Batson, Joshua u. a., 2023. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread, Anthropic.
Chan, Lawrence / Garriga-Alonso, Adrià / Goldowsky-Dill, Nicholas / Greenblatt, Ryan u. a., 2022. Causal Scrubbing: A Method for Rigorously Testing Interpretability Hypotheses. AI Alignment Forum / Redwood Research, 3. Dezember 2022.
Conmy, Arthur / Mavor-Parker, Augustine N. / Lynch, Aengus / Heimersheim, Stefan / Garriga-Alonso, Adrià, 2023. Towards Automated Circuit Discovery for Mechanistic Interpretability. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.14997.
Cremer, Carla Zoe / Kemp, Luke, 2021. Democratising Risk: In Search of a Methodology to Study Existential Risk. SSRN preprint.
Douglas Heaven, Will, 2026. Mechanistic Interpretability: 10 Breakthrough Technologies 2026. MIT Technology Review, 12. Januar 2026.
Elhage, Nelson u. a., 2021. A Mathematical Framework for Transformer Circuits. In: Transformer Circuits Thread, Anthropic.
Elhage, Nelson u. a., 2022. Toy Models of Superposition. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
Engels, Joshua u. a., 2024. Not All Language Model Features Are Linear. arXiv: 2405.14860.
Gao, Leo / la Tour, Tom Dupré / Tillman, Henk u. a., 2024. Scaling and Evaluating Sparse Autoencoders. OpenAI. arXiv: 2406.04093.
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
Gould, Rhys / Ong, Euan / Ogden, George / Conmy, Arthur, 2024. Successor Heads: Recurring, Interpretable Attention Heads In The Wild. arXiv: 2312.09230.
Hubinger, Evan, 2024. Mechanistic Interpretability and Alignment: What is the Connection?
Lieberum, Tom / Rajamanoharan, Senthooran / Conmy, Arthur / Nanda, Neel u. a., 2024. Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2. Google DeepMind. arXiv: 2408.05147.
Lindsey, Jack u. a., 2025. Circuit Tracing: Revealing Computational Graphs in Language Models und On the Biology of a Large Language Model. Transformer Circuits Thread, Anthropic.
Lundberg, Scott M. / Lee, Su-In, 2017. A Unified Approach to Interpreting Model Predictions. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4765–4774.
Nanda, Neel / Chan, Lawrence / Lieberum, Tom / Smith, Jess / Steinhardt, Jacob, 2023. Progress Measures for Grokking via Mechanistic Interpretability. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2301.05217.
Olah, Chris / Mordvintsev, Alexander / Schubert, Ludwig (2017): Feature Visualization. In: Distill 2 (11). DOI: 10.23915/distill.00007.
Olah, Chris / Cammarata, Nick / Schubert, Ludwig u. a., 2020. Zoom In: An Introduction to Circuits. In: Distill 5 (3). DOI: 10.23915/distill.00024.001.
Olah, Chris / Satyanarayan, Arvind / Johnson, Ian / Carter, Shan u. a., 2018. The Building Blocks of Interpretability. In: Distill 3 (3). DOI: 10.23915/distill.00010.
Olsson, Catherine u. a., 2022. In-context Learning and Induction Heads. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.11895.
Rajamanoharan, Senthooran u. a., 2024. Improving Sparse Decomposition of Language Model Activations with Gated Sparse Autoencoders. DeepMind. arXiv: 2404.16014.
Ribeiro, Marco Tulio / Singh, Sameer / Guestrin, Carlos, 2016. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), S. 1135–1144. arXiv: 1602.04938.
Saphra, Naomi / Wiegreffe, Sarah, 2024. Mechanistic? In: Proceedings of the 7th BlackboxNLP Workshop (EMNLP 2024). arXiv: 2410.09087.
Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. In: Transformer Circuits Thread, Anthropic.
Wang, Kevin / Variengien, Alexandre / Conmy, Arthur / Shlegeris, Buck / Steinhardt, Jacob, 2023. Interpretability in the Wild: A Circuit for Indirect Object Identification in GPT-2 Small. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2211.00593.
Whittaker, Meredith, 2021. The Steep Cost of Capture. In: Interactions 28 (6), S. 50–55. DOI: 10.1145/3488666.
Zeiler, Matthew D. / Fergus, Rob, 2014. Visualizing and Understanding Convolutional Networks. In: European Conference on Computer Vision (ECCV), S. 818–833. arXiv: 1311.2901.

← Zurück zur Lexikon-Übersicht