State Space Models (SSMs) sind eine Klasse von Architekturen für Sequenzdaten, die eine Folge über einen kontinuierlichen inneren Zustandsvektor verarbeiten, statt jedes Element mit jedem anderen zu vergleichen. Ihr Rechenaufwand wächst linear statt quadratisch mit der Sequenzlänge.
Zusammenfassung
Ein State Space Model beschreibt ein System über eine Zustandsgleichung, die angibt, wie sich ein innerer Zustand mit jedem neuen Eingabewert verändert, und eine Ausgabegleichung, die daraus die sichtbare Ausgabe berechnet. Für die Sequenzmodellierung nutzbar wurde dieses jahrzehntealte Konzept erst, als es sich effizient parallelisieren und für sehr lange Abhängigkeiten stabil trainieren ließ.
Der entscheidende Durchbruch gelang 2021 mit S4, das auf dem Transformer-dominierten Benchmark „Long Range Arena” erstmals alle Konkurrenzverfahren deutlich übertraf. Bis zur Sprachmodellierung auf Transformer-Niveau blieb es jedoch bei Sprache im engeren Sinn zunächst zurück – diese Lücke schloss erst die 2023 vorgestellte, selektive Variante Mamba.
Begriffsgeschichte
Die mathematische Form reicht bis in die Regelungstechnik der 1960er Jahre zurück, namentlich auf die Kalman-Filter-Tradition: ein System, dessen Zustand sich kontinuierlich entwickelt und aus dem sich Beobachtungen ableiten lassen.
Für tiefes Lernen brauchbar wurde das Konzept erst mit dem HiPPO-Framework (Gu u. a. 2020), das eine mathematisch fundierte Methode lieferte, einen begrenzten Zustandsvektor so zu initialisieren, dass er eine möglichst lange Historie der Eingabe verlustarm komprimiert.
Darauf aufbauend stellten Gu, Goel und Ré im November 2021 S4 vor (Efficiently Modeling Long Sequences with Structured State Spaces): eine strukturierte Parametrisierung, die sowohl eine parallelisierbare Faltungsform fürs Training als auch eine sparsame rekurrente Form für die Inferenz erlaubt. S4 erzielte auf dem Long-Range-Arena-Benchmark einen Durchschnittswert von rund 80 Prozent (Gu/Goel/Ré 2021), wo frühere Verfahren scheiterten. Eine 2022 verfeinerte HiPPO-Initialisierung steigerte diesen Wert auf etwa 86 Prozent (Gu/Johnson/Timalsina 2022).
Mehrere Varianten folgten – S4D, DSS, S5 – bevor Albert Gu und Tri Dao im Dezember 2023 mit Mamba den entscheidenden Schritt nachlegten. Ihr selektives State Space Model macht Parameter vom jeweiligen Eingabe-Token abhängig, was die Ausdruckskraft auf Sprachaufgaben erstmals an den Transformer heranführte.
Methodische Grundlagen
Formal beschreibt ein zeitkontinuierliches State Space Model einen Zustandsvektor x(t), dessen Änderung von einer Matrix A und der Eingabe u(t) über eine Matrix B abhängt; die Ausgabe y(t) ergibt sich aus x(t) über eine Matrix C. Für digitale Sequenzen wird dieses kontinuierliche System diskretisiert – in feste Zeitschritte umgerechnet.
Der praktische Vorteil liegt in einer doppelten Darstellbarkeit. Als Faltung lässt sich das Modell während des Trainings parallel über die ganze Sequenz berechnen; als Rekurrenz lässt es sich während der Inferenz mit konstantem Speicherbedarf auswerten, ohne wie bei Self-Attention die gesamte bisherige Sequenz vorzuhalten.
Die Wahl der Matrix A entscheidet über die Fähigkeit, weit zurückliegende Eingaben im Zustand zu bewahren. Eine zufällige Initialisierung verschlechtert die Ergebnisse deutlich gegenüber der aus HiPPO abgeleiteten, mathematisch begründeten Struktur.
Anwendungsfelder
State Space Models eignen sich besonders dort, wo Sequenzen sehr lang sind und die quadratische Laufzeit der Self-Attention zum limitierenden Faktor wird: Audiosignale, Genomsequenzen, hochauflösende Zeitreihen und Bilder, die als lange Pixelfolgen behandelt werden.
Für Sprachmodellierung im engeren Sinn setzte sich erst die selektive Variante Mamba durch, die inhaltsbezogen entscheiden kann, welche Information der Zustand behält. Mehrere aktuelle Architekturen kombinieren State-Space-Schichten mit einzelnen Attention-Schichten zu Hybridmodellen, um die lineare Effizienz der einen mit der Ausdruckskraft der anderen zu verbinden.
Kontroversen und Kritik
Vor Mamba lagen State Space Models auf Sprachaufgaben trotz ihres Effizienzvorteils regelmäßig hinter dem Transformer zurück – ihnen fehlte die Fähigkeit, Information inhaltsabhängig zu filtern statt sie starr weiterzureichen. Ob reine State-Space-Architekturen den Transformer auf Dauer verdrängen oder ob sich Hybridmodelle durchsetzen, ist Stand 2026 weiterhin offen.
Kritisiert wird zudem, dass die In-Context-Lernfähigkeit reiner State-Space-Modelle – die Fähigkeit, aus Beispielen im Prompt zu lernen, ohne die Gewichte zu verändern – empirisch hinter der von Transformern zurückbleibt, was gerade für Anwendungen mit langen, instruktionsreichen Prompts relevant ist.
Verwandte Begriffe
- World Models – ebenfalls auf effiziente Verarbeitung langer Sequenzen ausgerichtete Architekturfamilie
Quellenangaben
- Gu, Albert / Goel, Karan / Ré, Christopher, 2021. Efficiently Modeling Long Sequences with Structured State Spaces. arXiv: 2111.00396.
- Gu, Albert / Dao, Tri / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2020. HiPPO: Recurrent Memory with Optimal Polynomial Projections. NeurIPS 2020. arXiv: 2008.07669.
- Gu, Albert / Johnson, Isys / Timalsina, Aman u. a., 2022. How to Train Your HiPPO: State Space Models with Generalized Orthogonal Basis Projections. arXiv: 2206.12037.
- Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.