Speculative Decoding ist ein Verfahren zur Beschleunigung der Textgenerierung von Sprachmodellen: Ein kleines, schnelles Modell schlägt mehrere Tokens im Voraus vor, ein größeres Modell prüft sie in einem einzigen parallelen Durchlauf und übernimmt nur die zutreffenden.
Zusammenfassung
Sprachmodelle erzeugen Text normalerweise Token für Token, wobei jeder Schritt einen vollständigen Durchlauf durch das gesamte Modell erfordert. Speculative Decoding durchbricht dieses Tempo, indem ein kleines Entwurfsmodell mehrere Tokens vorab rät und das große Zielmodell sie anschließend gebündelt statt einzeln prüft.
Leviathan und Kolleg:innen bei Google sowie unabhängig davon Chen und Kolleg:innen bei DeepMind stellten das Verfahren 2023 vor. In der Praxis erreicht es Beschleunigungen um das Zwei- bis Dreifache, allerdings deutlich weniger zuverlässig, als frühe theoretische Arbeiten nahelegten.
Begriffsgeschichte
Die Grundidee entstand aus einer Beobachtung: Ein Sprachmodell braucht für jeden einzelnen Token denselben Rechenaufwand wie für die Prüfung mehrerer Tokens gleichzeitig, weil moderne Hardware ohnehin auf parallele Berechnung ausgelegt ist. Die eigentliche Engstelle ist damit nicht die Rechenleistung, sondern die Anzahl der nacheinander nötigen Modell-Durchläufe.
Sowohl Leviathan u. a. (Fast Inference from Transformers via Speculative Decoding, 2023) als auch Chen u. a. (Accelerating Large Language Model Decoding with Speculative Sampling, 2023) veröffentlichten praktisch zeitgleich Verfahren, die dieselbe Grundidee formalisierten: Ein Entwurfsmodell generiert mehrere Tokens, das Zielmodell verifiziert sie in einem einzigen parallelen Durchlauf.
Methodische Grundlagen
Im Entwurfsschritt erzeugt ein kleines, deutlich schnelleres Modell eine Folge von Kandidaten-Tokens. Im Verifikationsschritt bewertet das große Zielmodell alle diese Tokens in einem einzigen parallelen Durchlauf und entscheidet über ein Stichprobenverfahren, welche davon akzeptiert werden.
Entscheidend ist die mathematische Eigenschaft dieses Stichprobenverfahrens: Es garantiert dieselbe Wahrscheinlichkeitsverteilung über die Ausgabe, die das Zielmodell auch ohne Entwurfsmodell erzeugt hätte. Das Verfahren ist damit verlustfrei – anders als etwa Knowledge Distillation, das ein kleineres, tatsächlich anderes Modell erzeugt.
Die tatsächliche Beschleunigung hängt von der Akzeptanzrate ab: dem Anteil der Entwurfs-Tokens, die das Zielmodell tatsächlich bestätigt. In der Praxis liegt sie meist zwischen 60 und 80 Prozent, nicht bei den nahezu 100 Prozent mancher theoretischer Annahmen (Tianpan.co 2026). Unterhalb von etwa 50 Prozent kehrt sich der Vorteil um: Der Prüfaufwand übersteigt den Zeitgewinn, und das Verfahren wird langsamer als gewöhnliche Generierung (Tianpan.co 2026).
Anwendungsfelder
Der Nutzen ist stark aufgabenabhängig. Vorhersehbare Aufgaben wie Zusammenfassungen oder das Vervollständigen strukturierter Muster erzielen hohe Akzeptanzraten, weil das kleine Entwurfsmodell den naheliegenden nächsten Token oft richtig errät. Offene, kreative oder mehrsprachige Textgenerierung erzielt dagegen niedrigere Raten, weil die Vorhersage schwerer fällt.
Praktisch wird das Verfahren vor allem dort eingesetzt, wo einzelne Anfragen mit geringer Nutzerzahl möglichst schnell beantwortet werden sollen – etwa in interaktiven Chat-Anwendungen. Bei hoher gleichzeitiger Auslastung mit vielen parallelen Anfragen verpufft der Vorteil dagegen häufig.
Kontroversen und Kritik
Speculative Decoding verlangt, zwei Modelle gleichzeitig im Speicher zu halten – für das Entwurfsmodell allein können auf einer einzelnen GPU zusätzlich zehn bis zwanzig Gigabyte anfallen. Bei ohnehin knappem Speicher relativiert dieser Mehrbedarf den Geschwindigkeitsgewinn.
Bei Mixture-of-Experts-Architekturen versagt die Grundannahme des Verfahrens teilweise: Entwurfs- und Zielmodell aktivieren für denselben Token oft unterschiedliche Experten-Teilnetze, was die Übereinstimmung zwischen beiden Modellen und damit die Akzeptanzrate weiter senkt. Speculative Decoding schneidet auf solchen Architekturen mitunter schlechter ab als der einfache, unbeschleunigte Ansatz.
Bei hoher Parallelität – vielen gleichzeitig bearbeiteten Anfragen – akzeptieren verschiedene Anfragen unterschiedlich viele Entwurfs-Tokens, was zu ungleichmäßig gefüllten Rechenblöcken führt, die sich auf paralleler Hardware schlecht ausnutzen lassen. Produktionsleitfäden raten deshalb häufig davon ab, das Verfahren bei sehr vielen gleichzeitigen Anfragen einzusetzen.
Verwandte Begriffe
- Knowledge Distillation – erzeugt ein tatsächlich kleineres, eigenständiges Modell, im Unterschied zum verlustfreien Entwurf-Verifikations-Prinzip hier
- Transformer – die Architektur, deren parallele Rechenfähigkeit die Methode ausnutzt
Quellenangaben
- Leviathan, Yaniv / Kalman, Matan / Matias, Yossi, 2023. Fast Inference from Transformers via Speculative Decoding. ICML 2023. arXiv: 2211.17192.
- Chen, Charlie / Borgeaud, Sebastian / Irving, Geoffrey u. a., 2023. Accelerating Large Language Model Decoding with Speculative Sampling. arXiv: 2302.01318.
- Tianpan.co, 2026. Speculative Decoding in Production: Free Tokens and Hidden Traps.