RWKV

RWKV (Receptance Weighted Key Value) ist eine Modellarchitektur für Sprachmodelle, die das parallele Training von Transformern mit dem konstanten Speicherbedarf rekurrenter neuronaler Netze verbindet. Bo Peng und Kollegen stellten sie 2023 als Alternative zur Transformer-Architektur vor, deren Rechenaufwand mit der Kontextlänge quadratisch wächst.

Zusammenfassung

Transformer-Modelle verdanken ihre Stärke dem Aufmerksamkeitsmechanismus, der jedes Token mit jedem anderen Token im Kontext vergleicht. Das macht paralleles Training möglich, lässt den Rechen- und Speicherbedarf aber quadratisch mit der Kontextlänge wachsen – ein Text doppelter Länge kostet nicht doppelt, sondern vierfach so viel.

Rekurrente neuronale Netze (RNN) haben dieses Problem nicht: Sie verarbeiten Text Wort für Wort und halten dabei nur einen kompakten, gleichbleibend großen internen Zustand – der Speicherbedarf wächst nicht mit der Textlänge. Dafür lassen sie sich nicht parallelisieren, weil jeder Schritt vom vorherigen abhängt, was ihr Training auf großen Datenmengen unpraktikabel langsam macht.

RWKV löst dieses Dilemma, indem es sich als lineares Aufmerksamkeitsmodell formulieren lässt, das während des Trainings parallel wie ein Transformer berechnet werden kann, bei der Anwendung aber wie ein RNN läuft – mit konstantem, nicht wachsendem Speicherbedarf pro erzeugtem Token.

Begriffsgeschichte

RWKV entstand als Open-Source-Projekt, das Bo Peng ab 2021 initiierte. Die grundlegende Beobachtung: Lineare Aufmerksamkeitsmechanismen – eine seit einigen Jahren untersuchte Vereinfachung der klassischen quadratischen Aufmerksamkeit – lassen sich mathematisch sowohl als paralleler Transformer als auch als sequenzielles RNN ausdrücken, je nachdem, wie man die Berechnung anordnet.

Die 2023 veröffentlichte Arbeit RWKV: Reinventing RNNs for the Transformer Era systematisierte diesen Ansatz und skalierte ihn auf bis zu 14 Milliarden Parameter – nach Angaben der Autoren das größte je trainierte dichte RNN (Peng u. a. 2023). Die Ergebnisse zeigten, dass RWKV-Modelle bei vergleichbarer Größe ähnliche Leistung wie Transformer erreichten, bei deutlich geringerem Speicherbedarf während der Anwendung.

Der Name setzt sich aus den vier zentralen Größen der Zeitmischungs-Formeln des Modells zusammen: Receptance, Weight, Key und Value – eine Erweiterung des aus Transformern bekannten Key-Value-Prinzips um einen zusätzlichen Steuerungsmechanismus.

Als Community-getriebenes Projekt ohne den Ressourcenaufwand eines großen Labors blieb RWKV zunächst ein Nischenphänomen. Mit wachsendem Interesse an speichereffizienten Alternativen zur Transformer-Architektur – parallel zu Ansätzen wie Mamba und anderen linearen Aufmerksamkeitsmodellen – gewann es ab 2023 breitere Aufmerksamkeit in der Forschung zu effizienten Sprachmodellen.

Methodische Grundlagen

Lineare Aufmerksamkeit. Statt jedes Token mit jedem anderen zu vergleichen, verarbeitet RWKV Information über einen gewichteten, sich fortlaufend aktualisierenden Zustand – mathematisch äquivalent zu einer vereinfachten, linearisierten Form der Transformer-Aufmerksamkeit.

Zeitmischung (Time-Mixing). Ein RWKV-Block kombiniert den aktuellen Token mit einem exponentiell gewichteten Gedächtnis vorheriger Token. Diese Formel lässt sich sowohl parallel über eine ganze Sequenz berechnen (fürs Training) als auch schrittweise fortschreiben (für die Anwendung).

Kanalmischung (Channel-Mixing). Ergänzend zur Zeitmischung verarbeitet eine zweite Komponente Information innerhalb eines einzelnen Zeitschritts, ähnlich der Feed-Forward-Schicht in einem Transformer.

Konstanter Inferenzspeicher. Weil RWKV bei der Textgenerierung keinen wachsenden Verlauf vergangener Token vorhalten muss, sondern nur den kompakten internen Zustand, bleibt der Speicherbedarf pro erzeugtem Token unabhängig von der bereits erzeugten Textlänge konstant – ein Vorteil gegenüber Transformern bei sehr langen Sequenzen.

Anwendungsfelder

Ressourcenbeschränkte Anwendungen. Der konstante Speicherbedarf macht RWKV attraktiv für den Einsatz auf Geräten mit begrenztem Arbeitsspeicher, etwa in mobilen oder eingebetteten Systemen.

Verarbeitung langer Sequenzen. Anwendungen mit sehr langen Eingaben – lange Dokumente, ausgedehnte Gesprächsverläufe – profitieren von der Unabhängigkeit des Speicherbedarfs von der Kontextlänge, wo Transformer an ihre quadratischen Grenzen stoßen.

Forschung zu effizienten Architekturen. RWKV dient als eine von mehreren Referenzarchitekturen in der laufenden Suche nach Alternativen zur Transformer-Dominanz, neben verwandten Ansätzen wie strukturierten Zustandsraummodellen.

Kontroversen und Kritik

Begrenzte industrielle Adoption. Trotz technischer Vorteile hat kein großes kommerzielles Frontier-Modell RWKV als Basisarchitektur übernommen – die etablierte Transformer-Infrastruktur und das gesammelte Erfahrungswissen im Umgang mit ihr wiegen schwer.

Vergessens-Eigenschaften. Wie bei rekurrenten Architekturen üblich, wird diskutiert, ob der komprimierte, gleichbleibend große Zustand bei sehr langen Sequenzen Information ebenso zuverlässig erhält wie der vollständige, wachsende Verlauf eines Transformers.

Vergleichbarkeit der Skalierungsergebnisse. Da RWKV bislang nicht in demselben Umfang wie führende Transformer-Modelle skaliert und untersucht wurde, bleibt offen, ob die Parität bei kleineren Modellgrößen auch bei den größten heute eingesetzten Modellgrößen erhalten bliebe.

Stand 2025/2026

RWKV bleibt Stand 2025/2026 eine von mehreren Alternativarchitekturen zur Transformer-Dominanz, ohne diese verdrängt zu haben. Sein praktischer Wert zeigt sich vor allem dort, wo Speichereffizienz bei langen Sequenzen wichtiger ist als der Zugang zum größten verfügbaren Ökosystem an Werkzeugen und vortrainierten Modellen.

Quellenangaben

Peng, Bo / Alcaide, Eric / Anthony, Quentin u. a., 2023. RWKV: Reinventing RNNs for the Transformer Era. In: Findings of the Association for Computational Linguistics: EMNLP 2023. DOI: 10.18653/v1/2023.findings-emnlp.936. arXiv: 2305.13048.

← Zurück zur Lexikon-Übersicht