Mamba

Mamba ist eine Architektur für Sequenzmodelle, die Albert Gu (Carnegie Mellon University) und Tri Dao (Princeton University) im Dezember 2023 vorstellten. Sie baut auf strukturierten State-Space-Modellen auf und verspricht lineare Laufzeit in der Sequenzlänge – im Gegensatz zum quadratischen Aufwand der Self-Attention im Transformer.

Zusammenfassung

Mamba geht von einer älteren Beobachtung aus. Der Transformer verarbeitet lange Folgen ineffizient, weil jede Position jede andere beachtet; sein Aufwand wächst quadratisch mit der Länge.

Frühere subquadratische Ansätze – lineare Attention, Faltungen, rekurrente Netze, strukturierte State-Space-Modelle – blieben jedoch auf Sprache hinter der Attention zurück. Gu und Dao machten eine Schwäche dafür verantwortlich: Solche Modelle können nicht inhaltsbezogen entscheiden, was sie weitergeben und was sie vergessen.

Ihre Lösung ist ein selektives State-Space-Modell, dessen Parameter vom jeweiligen Eingabe-Token abhängen. Ein hardwarenaher Algorithmus hält das Verfahren trotz dieser Abhängigkeit schnell. Ein Mamba-3B-Modell schlug den Transformer gleicher Größe und hielt mit dem doppelten Schritt; der Durchsatz lag vier- bis fünfmal höher. Die Frage, ob Mamba den Transformer ersetzt, ist Stand 2026 offen.

Begriffsgeschichte

Mamba steht am Ende einer längeren Linie. State-Space-Modelle verbinden kontinuierliche, rekurrente und faltende Beschreibungsweisen einer Sequenz. Albert Gu hatte mit HiPPO (2020) und dem Modell S4 (Gu u. a. 2021/2022) gezeigt, dass solche Modelle lange Abhängigkeiten effizient erfassen können. S4 blieb aber zeitinvariant – seine Parameter hingen nicht vom Inhalt ab. Damit fehlte ihm gerade die Fähigkeit, je nach Eingabe auszuwählen, was wichtig ist.

Mamba änderte genau das. Der Aufsatz vom Dezember 2023 (Gu u. a. 2023) führte die Selektivität ein und bettete sie in eine vereinfachte Blockarchitektur ein. Die erste Konferenzfassung erschien 2024 auf der Conference on Language Modeling (COLM).

Noch im selben Jahr legten Dao und Gu mit Mamba-2 nach und stellten eine Verbindung zwischen State-Space-Modellen und der Attention her – die Arbeit trug den Titel Transformers are SSMs. Seitdem entstand eine schnell wachsende Familie von Varianten, von Hybriden wie Jamba bis zu MoE-Mamba, das Mamba-Schichten mit einer Mixture of Experts verbindet.

Methodische Grundlagen

Ein State-Space-Modell hält für jede Position einen verborgenen Zustand bereit und aktualisiert ihn Schritt für Schritt. In seiner linearen, strukturierten Form lässt es sich zugleich als Faltung schreiben – und damit auf einer Grafikkarte parallel trainieren.

Darin lag sein Vorteil gegenüber klassischen Recurrent Neural Networks, die nacheinander rechnen müssen, und gegenüber dem Long Short-Term Memory, dessen sequenzielle Auswertung ebenfalls bremst.

Der Nachteil der klassischen State-Space-Modelle war ihre Zeitinvarianz. Dieselben Parameter bestimmten für jedes Token, wie viel vergessen und wie viel behalten wird. Ein Inhaltssignal fehlte.

Mamba macht die Übergangsparameter zu einer Funktion des jeweiligen Tokens: Das Modell kann je nach Eingabe wählen, was weitergegeben wird. Dieser Schritt entfernt die Faltungsform, die ein paralleles Training ermöglichte.

An ihre Stelle tritt ein hardwarenaher paralleler Scan, der Zustände nicht vollständig im Speicher hält, sondern wiederverwendet – ein Algorithmus, der die Speicherbandbreite der Grafikkarte ausnutzt.

Der Mamba-Block verzichtet auf Attention und auf das Mehrschichten-Perzeptron klassischer Transformer. Selektives SSM und Gating übernehmen deren Rollen. Dadurch entsteht eine einheitliche, wiederholte Struktur, die auf Sprache, Audio und Genomdaten anwendbar ist.

Anwendungsfelder

Mamba wurde als allgemeiner Rückgrat für Sequenzdaten entworfen. Die ersten Ergebnisse betrafen Sprache, Audio und Genomik; später kamen Anwendungen im Sehen hinzu, wo sehr lange Pixel- oder Tokenfolgen den Transformer teuer machen.

Lange Kontexte sind der natürliche Einsatzort der Architektur, weil ihr Aufwand mit der Länge nur linear wächst. Skalierungsgesetze für State-Space-Modelle sind Gegenstand laufender Forschung; ob sie den gleichen Vorhersagewert haben wie die Gesetze des Transformers, ist noch nicht entschieden.

Kontroversen und Kritik

Die Aufnahme war von Überschätzung und Gegenreaktion geprägt. Manche Kommentare sahen in Mamba das Ende des Transformers; spätere Auswertungen relativierten das. Auf vielen Aufgaben, besonders bei komplexer inhaltlicher Suche in langen Texten, blieb die Attention überlegen.

Inzwischen gelten hybride Bauweisen, die beide Elemente verbinden, als aussichtsreicher als eine reine Ersetzung. Die Behauptung einer klaren Vorherrschaft lässt sich nach Stand 2026 nicht halten.

Stand 2025/2026

Der Transformer dominiert die Frontier-Modelle weiterhin. Mamba und seine Varianten haben sich statt dessen in Nischen und in Mischformen etabliert. Die Forschung zu State-Space-Modellen ist lebendig; ihre dauerhafte Stelle neben oder im Transformer ist jedoch noch nicht entschieden.

Quellenangaben

Dao, Tri / Gu, Albert, 2024. Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2405.21060.
Gu, Albert / Goel, Karan / Ré, Christopher, 2021/2022. Efficiently Modeling Long Sequences with Structured State Spaces. In: Proceedings of the International Conference on Learning Representations (ICLR 2022), Outstanding Paper Honorable Mention. arXiv: 2111.00396.
Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
Gu, Albert / Goel, Karan / Ré, Christopher, 2022. Efficiently Modeling Long Sequences with Structured State Spaces. In: International Conference on Learning Representations (ICLR 2022). arXiv: 2111.00396.

← Zurück zur Lexikon-Übersicht