Induction Heads

Induction Heads (deutsch etwa Fortsetzungsköpfe) sind Aufmerksamkeitsköpfe in Transformer-Modellen, die eine einfache, aber folgenreiche Regel ausführen: Sie suchen im bisherigen Text nach einem früheren Vorkommen der aktuellen Einheit und sagen vorher, was dort darauf folgte.

Zusammenfassung

Der Fund stammt aus der Interpretierbarkeitsforschung bei Anthropic und wurde 2022 veröffentlicht. Er gilt als eines der wenigen Beispiele, in denen sich ein Verhalten großer Modelle auf einen benennbaren Mechanismus zurückführen ließ.

Die Regel lautet: Steht im Text die Folge A B und taucht A erneut auf, sage B vorher. Sie erfordert zwei zusammenwirkende Köpfe in aufeinanderfolgenden Schichten – einer merkt sich die Vorgängerposition, der andere sucht die Übereinstimmung.

Bemerkenswert ist der zeitliche Verlauf. Diese Köpfe entstehen im Training nicht allmählich, sondern in einem engen Fenster – und genau in diesem Fenster verbessert sich die Fähigkeit des Modells, aus Beispielen im Kontext zu lernen.

Die Autoren schließen daraus, dass Induction Heads einen wesentlichen Teil des In-Context-Lernens tragen. Die Belegkette ist bei kleinen Modellen dicht und bei großen deutlich schwächer.

Begriffsgeschichte

Die Vorarbeit erschien 2021 unter dem Titel A Mathematical Framework for Transformer Circuits. Sie beschrieb, wie sich sehr kleine Transformer – mit einer oder zwei Aufmerksamkeitsschichten und ohne Zwischenschichten – vollständig auseinandernehmen lassen.

In dieser vereinfachten Umgebung wurde der Mechanismus zuerst sichtbar. Er entsteht erst bei zwei Schichten: Ein einzelner Aufmerksamkeitsschritt kann die Regel nicht ausführen, weil er nicht zugleich suchen und den Nachfolger nachschlagen kann.

Die Arbeit von 2022 übertrug den Befund auf größere Modelle und verband ihn mit einer Beobachtung des Trainingsverlaufs: einem kurzen Knick in der Fehlerkurve, der zeitlich mit dem Auftreten dieser Köpfe zusammenfällt.

Der Fund wurde breit rezipiert und gilt als Beleg dafür, dass die mechanistische Interpretierbarkeit mehr liefern kann als Beschreibungen – nämlich Erklärungen mit Vorhersagekraft.

Methodische Grundlagen

Das Zusammenspiel zweier Köpfe. Ein Kopf der früheren Schicht schreibt in jede Position, welche Einheit ihr vorausging. Ein Kopf der späteren Schicht sucht Positionen, deren Vorgänger der aktuellen Einheit entspricht, und übernimmt von dort den Nachfolger.

Prüfung an künstlichen Folgen. Der Nachweis erfolgt an zufälligen Zeichenfolgen, die sich wiederholen. Ein Modell ohne diesen Mechanismus kann die Wiederholung nicht nutzen; eines mit ihm sagt den zweiten Durchgang zuverlässig vorher.

Der Knick in der Fehlerkurve. Während des Trainings zeigt die Fehlerkurve eine kurze Unregelmäßigkeit. Vor ihr fehlt die Fähigkeit zum In-Context-Lernen weitgehend, danach ist sie vorhanden.

Nachweis durch Eingriff. Über die Beobachtung hinaus wurden die Köpfe gezielt ausgeschaltet. Fällt die Fähigkeit dabei aus, ist der Zusammenhang nicht nur zeitlich, sondern ursächlich.

Verallgemeinerte Formen. In größeren Modellen finden sich Köpfe, die nicht auf wörtliche Übereinstimmung reagieren, sondern auf inhaltliche Ähnlichkeit. Ob es sich um denselben Mechanismus handelt, ist nicht abschließend geklärt.

Anwendungsfelder

Erklärung des In-Context-Lernens. Der wichtigste Anwendungsfall: eine mechanistische Antwort auf die Frage, warum Modelle aus Beispielen in der Eingabe lernen können, ohne dass sich Gewichte ändern.

Untersuchung des Trainingsverlaufs. Der Knick ist ein Beispiel dafür, dass sich Fähigkeiten sprunghaft und nicht gleichmäßig ausbilden – ein Bezugspunkt der Debatte um emergente Fähigkeiten.

Vorbild. Das Vorgehen – kleines Modell vollständig zerlegen, Mechanismus benennen, im großen Modell wiederfinden, durch Eingriff bestätigen – ist zum Muster für Arbeiten der Interpretierbarkeitsforschung geworden.

Bezug zur Sicherheitsforschung. Wer wissen will, ob ein Modell etwas Bestimmtes tut, muss den zuständigen Teil finden können. Der Fund gilt als Beleg, dass das grundsätzlich möglich ist.

Kontroversen und Kritik

Von klein auf groß geschlossen. Der vollständige Nachweis gelang an Modellen mit zwei Schichten. In Modellen mit Dutzenden Schichten wurden ähnliche Köpfe gefunden, aber die Belegkette ist dort erheblich lockerer.

Ein Mechanismus unter vielen. Dass Induction Heads zum In-Context-Lernen beitragen, ist gezeigt. Dass sie es hinreichend erklären, ist es nicht. Spätere Arbeiten weisen weitere beteiligte Mechanismen nach.

Fortsetzung ist nicht Verstehen. Die Regel ist eine Kopierregel. Sie erklärt, wie ein Modell ein Muster fortsetzt, das im Kontext steht – nicht, wie es eine neuartige Aufgabe löst, für die kein Muster vorliegt.

Uneinheitliche Begriffsverwendung. Was genau als Induction Head zählt, wird in der Literatur unterschiedlich gehandhabt. Zählungen verschiedener Arbeiten sind deshalb nur eingeschränkt vergleichbar.

Grenzen des Verfahrens. Der Erfolg beruht darauf, dass die Regel einfach genug war, um benannt zu werden. Für die meisten Verhaltensweisen großer Modelle liegt ein entsprechender Fund nicht vor – und es ist offen, ob er möglich ist.

Warum der Fund als Durchbruch gilt

Die Bedeutung liegt weniger im Mechanismus als in der Form der Erklärung.

Die Interpretierbarkeitsforschung hatte bis dahin überwiegend Beschreibungen geliefert: Dieser Teil des Netzes reagiert auf jenes Merkmal. Solche Aussagen sind schwer zu widerlegen und tragen wenig Vorhersage – sie sagen, was zusammen auftritt, nicht was wovon abhängt.

Der Befund zu den Induction Heads hat eine andere Bauart. Er benennt einen Mechanismus, sagt eine Beobachtung vorher, die niemand gesucht hatte – den Knick in der Fehlerkurve –, und lässt sich durch Eingriff prüfen: Schaltet man die Köpfe ab, verschwindet die Fähigkeit.

Damit erfüllt er die Bedingungen, die man an eine Erklärung stellt, und nicht nur die an eine Beschreibung. Genau darin liegt der Anspruch der mechanistischen Interpretierbarkeit gegenüber älteren Verfahren.

Die unbequeme Kehrseite: Der Fund gelang an einem Mechanismus, der einfach genug war, um in Worten ausgedrückt zu werden. Ob sich die Verarbeitung großer Modelle überwiegend aus solchen benennbaren Teilen zusammensetzt oder ob dieser Fall die Ausnahme bleibt, ist die offene Frage des Feldes – und der Fund allein beantwortet sie nicht.

Verwandte Begriffe

• Mechanistic Interpretability – Forschungsfeld des Fundes
• Multi-Head Attention – Rechenschritt, in dem die Köpfe sitzen
• In-Context-Learning – Fähigkeit, die sie erklären sollen
• Transformer – Architektur, in der sie auftreten
• Emergent Abilities – Debatte, zu der der Trainingsknick beiträgt
• Anthropic – Forschungsgruppe des Fundes
• Chris Olah – Leiter der zugehörigen Forschungslinie

Quellenangaben

1. Elhage, Nelson u. a., 2021. A Mathematical Framework for Transformer Circuits. In: Transformer Circuits Thread, Anthropic.
2. Olsson, Catherine u. a., 2022. In-context Learning and Induction Heads. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.11895.
3. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.