Chris Olah

Christopher Olah ist ein kanadischer Forscher und Mitgründer von Anthropic. Er gilt als eine der prägenden Figuren der mechanistischen Interpretierbarkeit – des Versuchs, die Verarbeitung neuronaler Netze bis auf die Ebene einzelner Bestandteile zurückzuverfolgen.

Zusammenfassung

Olahs Arbeit verfolgt eine Grundannahme: Ein neuronales Netz ist kein undurchdringlicher Vorgang, sondern ein Programm, das sich lesen ließe – wenn man die richtige Sprache dafür fände.

Bekannt wurde er zunächst durch Visualisierungen, die zeigen, worauf einzelne Einheiten in Bildnetzen reagieren. Aus dieser Arbeit entstand die Circuits-Linie: die Untersuchung von Schaltungen, also Verbänden mehrerer Einheiten, die gemeinsam eine benennbare Funktion ausführen.

2016 gründete er mit anderen die Fachzeitschrift Distill, die erklärende, interaktive Darstellungen veröffentlichte. Sie stellte 2021 den Betrieb ein – mit der Begründung, dass die Herstellung solcher Beiträge einen Aufwand erfordert, den die akademischen Anreize nicht tragen.

Bei Anthropic leitet er die Interpretierbarkeitsforschung, aus der unter anderem der Fund der Induction Heads und die Arbeiten zur Merkmalszerlegung mit spärlichen Autoencodern stammen.

Werdegang

Olah kam ohne abgeschlossenes Studium in die Forschung – ein in diesem Feld ungewöhnlicher Weg. Er arbeitete zunächst bei Google Brain, wo die Visualisierungsarbeiten zu Bildnetzen entstanden.

2016 gründete er gemeinsam mit Shan Carter Distill, eine Zeitschrift mit dem erklärten Ziel, Forschungsergebnisse verständlich statt bloß korrekt darzustellen. Interaktive Darstellungen waren dort nicht Beiwerk, sondern Träger des Arguments.

Anschließend wechselte er zu OpenAI und leitete dort die Interpretierbarkeitsforschung. 2021 verließ er das Unternehmen gemeinsam mit einer Gruppe um Dario und Daniela Amodei und gründete mit ihnen Anthropic.

Dort erschienen ab 2021 die Beiträge des Transformer Circuits Thread – ein Veröffentlichungsformat außerhalb der üblichen Konferenzen, das die Distill-Idee fortsetzt.

Methodische Grundlagen

Merkmale als Bausteine. Die Grundannahme: Netze lernen Merkmale, die sich benennen lassen – eine Kante, eine Krümmung, ein Hundeschnauzendetektor. Diese Merkmale sind die Einheiten, aus denen sich eine Erklärung bauen ließe.

Schaltungen statt Einzelteile. Ein einzelnes Merkmal erklärt wenig. Interessant wird es, wenn sich zeigen lässt, wie mehrere Einheiten über die Gewichte zwischen ihnen eine Funktion ausführen.

Universalität. Eine wiederkehrende Beobachtung: Dieselben Merkmale entstehen in verschiedenen Netzen unabhängig voneinander. Das legt nahe, dass sie nicht willkürlich sind, sondern der Struktur der Daten folgen.

Überlagerung. Das zentrale Hindernis: Netze speichern mehr Merkmale, als sie Einheiten haben, indem sie diese überlagern. Eine einzelne Einheit reagiert daher auf mehrere unzusammenhängende Dinge.

Spärliche Autoencoder. Der von Olahs Gruppe verfolgte Ausweg. Ein zusätzliches Netz zerlegt die überlagerte Darstellung in eine größere Zahl von Merkmalen, von denen jeweils nur wenige zugleich aktiv sind.

Anwendungsfelder

Sicherheitsforschung. Die erklärte Begründung des Programms: Wer prüfen will, ob ein Modell etwas Bestimmtes tut, muss den zuständigen Teil finden können. Verhaltensprüfung allein zeigt nur, was ein Modell tut, wenn es beobachtet wird.

Steuerung über Merkmale. Werden Merkmale identifiziert, lassen sie sich gezielt verstärken oder unterdrücken – ein Weg, Modellverhalten zu verändern, ohne neu zu trainieren.

Prüfung von Behauptungen. Ob ein Modell eine bestimmte Fähigkeit besitzt oder nur ein Muster reproduziert, lässt sich über die beteiligten Bestandteile genauer beantworten als über Ausgaben.

Wissenschaftskommunikation. Die Distill-Linie hat die Darstellungsformen des Fachs beeinflusst, auch über die Zeitschrift hinaus.

Kontroversen und Kritik

Skalierbarkeit. Der grundlegende Einwand: Was an kleinen Netzen gelingt, lässt sich auf Modelle mit Hunderten Milliarden Gewichten nicht übertragen. Die vollständige Zerlegung eines großen Modells ist mit heutigen Verfahren nicht in Sicht.

Auswahl der Erfolgsfälle. Die veröffentlichten Ergebnisse betreffen Mechanismen, die sich benennen ließen. Wie groß der Anteil des Nichtbenennbaren ist, lässt sich aus ihnen nicht ablesen.

Interessenlage. Die Forschung findet überwiegend bei Unternehmen statt, die dieselben Modelle entwickeln und verkaufen. Kritiker sehen darin ein Risiko: Interpretierbarkeit könne als Beleg für Beherrschbarkeit dienen, ohne sie herzustellen.

Verhältnis zur Verhaltensprüfung. Vertreter empirischer Sicherheitsforschung halten die mechanistische Linie für aufwendig im Verhältnis zum Ertrag und verweisen darauf, dass die praktisch wirksamen Verfahren bislang aus der Verhaltensprüfung stammen.

Das Ende von Distill. Die Einstellung 2021 wird in der Fachdiskussion als Beleg dafür angeführt, dass gute Darstellung im Wissenschaftsbetrieb nicht belohnt wird – ein Befund, der über die Zeitschrift hinausweist.

Die Wette auf Lesbarkeit

Olahs Programm beruht auf einer Annahme, die weder bewiesen noch widerlegt ist: dass ein trainiertes Netz eine Struktur hat, die sich in menschlichen Begriffen ausdrücken lässt.

Diese Annahme ist nicht selbstverständlich. Ein Netz wird nicht entworfen, sondern durch Optimierung gefunden; nichts zwingt die gefundene Lösung dazu, aus Teilen zu bestehen, die einzeln etwas bedeuten.

Für die Annahme spricht der Befund der Universalität – dass dieselben Merkmale unabhängig voneinander entstehen. Das legt nahe, dass sie nicht der Willkür des Trainings folgen, sondern der Struktur der Daten.

Gegen sie spricht die Überlagerung. Wenn ein Netz systematisch mehr Merkmale speichert, als es Einheiten hat, dann ist die Zuordnung von Bestandteil zu Bedeutung nicht das Normale, sondern der Sonderfall.

Was das Feld deshalb betreibt, ist eine Wette: dass sich diese Überlagerung auflösen lässt und darunter eine lesbare Struktur liegt. Die spärlichen Autoencoder sind der Einsatz. Ob die Wette aufgeht, entscheidet sich daran, ob die so gewonnenen Merkmale bei wachsender Modellgröße benennbar bleiben – und das ist Stand 2026 offen.

Quellenangaben

Bricken, Trenton / Templeton, Adly / Batson, Joshua u. a., 2023. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread, Anthropic.
Elhage, Nelson u. a., 2021. A Mathematical Framework for Transformer Circuits. In: Transformer Circuits Thread, Anthropic.
Olah, Chris / Cammarata, Nick / Schubert, Ludwig u. a., 2020. Zoom In: An Introduction to Circuits. In: Distill 5 (3). DOI: 10.23915/distill.00024.001.
Olah, Chris / Mordvintsev, Alexander / Schubert, Ludwig (2017): Feature Visualization. In: Distill 2 (11). DOI: 10.23915/distill.00007.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.