Sequence to Sequence Learning

Sequence to Sequence Learning with Neural Networks ist die 2014 von Ilya Sutskever, Oriol Vinyals und Quoc V. Le bei Google veröffentlichte Arbeit, die das Encoder-Decoder-Schema für neuronale Netze etablierte: Ein LSTM-Netz liest eine Eingabesequenz vollständig ein und komprimiert sie in einen Vektor fester Länge, ein zweites LSTM erzeugt daraus Schritt für Schritt die Ausgabesequenz.

Zusammenfassung

Vor dieser Arbeit verarbeiteten neuronale Übersetzungsverfahren Sequenzen meist eingeschränkt: feste Fenstergrößen oder eine enge Kopplung an klassische statistische Übersetzungssysteme. Sutskever, Vinyals und Le zeigten, dass zwei mehrschichtige LSTMs – ein Encoder, ein Decoder – ohne solche Einschränkungen auskommen und Sätze beliebiger Länge verarbeiten können.

Der Encoder liest die Quellsequenz Wort für Wort und hält am Ende einen einzigen Vektor, der die gesamte Eingabe zusammenfasst. Der Decoder beginnt bei diesem Vektor und erzeugt die Zielsequenz, wobei jedes erzeugte Wort in die Vorhersage des nächsten einfließt.

Auf der WMT-2014-Übersetzungsaufgabe Englisch-Französisch erreichte das Modell einen BLEU-Wert nahe am damaligen State of the Art rein statistischer Systeme – ein Ergebnis, das zeigte, dass ein Ende-zu-Ende trainiertes neuronales Netz mit etablierten, jahrzehntelang verfeinerten Pipelines konkurrieren kann.

Ein praktischer Kunstgriff trug wesentlich zum Erfolg bei: Die Autoren kehrten die Reihenfolge der Eingabewörter um, bevor sie sie dem Encoder zuführten. Das verkürzte die durchschnittliche Distanz zwischen zusammengehörigen Wörtern in Quell- und Zielsatz und erleichterte dem Netz das Lernen langreichweitiger Abhängigkeiten.

Begriffsgeschichte

Rekurrente Netze galten seit Längerem als naheliegendes Werkzeug für Sequenzen, scheiterten aber praktisch am Vanishing-Gradient-Problem bei langen Abhängigkeiten. Die 1997 vorgestellte LSTM-Architektur (Hochreiter/Schmidhuber) löste dieses Problem für einzelne Sequenzen, doch die Übertragung auf die Abbildung einer Sequenz auf eine andere – wie sie Übersetzung erfordert – war 2014 noch nicht etabliert.

Sutskever, Vinyals und Le stellten die Arbeit im September 2014 auf arXiv und im Dezember 2014 auf der NeurIPS-Konferenz vor. Parallel veröffentlichten Kyunghyun Cho und Kollegen eine eng verwandte Encoder-Decoder-Architektur mit einer neuartigen Gating-Einheit, aus der später die Gated Recurrent Unit hervorging – beide Arbeiten zusammen begründeten das Encoder-Decoder-Paradigma, das die folgenden Jahre der maschinellen Übersetzung prägte.

Die zentrale Schwäche des Ansatzes – der gesamte Quellsatz muss durch einen einzigen Vektor fester Größe – wurde bereits 2014/2015 von Dzmitry Bahdanau, Cho und Yoshua Bengio adressiert. Sie führten mit dem ersten Attention-Mechanismus eine Erweiterung ein, die dem Decoder erlaubte, bei jedem Ausgabeschritt auf alle Encoder-Zustände zuzugreifen, statt sich auf einen einzigen Engpassvektor zu verlassen.

Das Encoder-Decoder-Schema mit Attention blieb bis 2017 die dominierende Architektur für Sequenzaufgaben, bevor Attention Is All You Need zeigte, dass sich die Rekurrenz vollständig durch Self-Attention ersetzen lässt.

Methodische Grundlagen

Fester Zwischenvektor. Der gesamte Bedeutungsgehalt der Eingabesequenz wird auf einen Vektor fester Dimensionalität komprimiert – unabhängig davon, ob die Eingabe fünf oder fünfzig Wörter umfasst. Das ist zugleich die Stärke des Ansatzes (er verarbeitet beliebig lange Eingaben mit einer festen Netzgröße) und seine zentrale Schwäche (Informationsverlust bei langen Sequenzen).

Mehrschichtige LSTMs. Die Autoren verwendeten vierschichtige LSTM-Stapel für Encoder und Decoder – tiefer als bei den meisten bis dahin veröffentlichten rekurrenten Modellen, was die Modellierungskapazität erhöhte, ohne die grundlegende Trainingsmethode zu verändern.

Umkehrung der Eingabereihenfolge. Das Umdrehen der Quellsequenz vor der Kodierung verringerte die minimale Zeitspanne, über die das Netz Abhängigkeiten zwischen entsprechenden Wörtern lernen musste, und verbesserte die Übersetzungsleistung empirisch deutlich, ohne die Architektur selbst zu ändern.

Beam Search bei der Decodierung. Statt bei jedem Schritt nur das wahrscheinlichste nächste Wort zu wählen, hielt der Decoder mehrere plausible Teilsequenzen parallel und wählte am Ende die insgesamt wahrscheinlichste vollständige Übersetzung – ein Standardverfahren, das seither in praktisch jedem autoregressiven Sequenzmodell verwendet wird.

Anwendungsfelder

Maschinelle Übersetzung. Die unmittelbare Zielanwendung der Arbeit; das Encoder-Decoder-Schema mit LSTMs wurde rasch von Forschungsgruppen und später von Produktivsystemen übernommen, bevor es durch Transformer-basierte Systeme abgelöst wurde.

Textzusammenfassung und Dialogsysteme. Jede Aufgabe, die eine Eingabesequenz auf eine strukturell andersartige Ausgabesequenz abbildet, ließ sich mit demselben Schema formulieren – von automatischer Zusammenfassung bis zu frühen Chatbot-Prototypen.

Sprach- und Bildbeschriftung. Varianten des Schemas, bei denen der Encoder statt Text Audio- oder Bilddaten verarbeitet, wurden für Spracherkennung und automatische Bildunterschriften eingesetzt.

Kontroversen und Kritik

Der Informationsengpass. Die Komprimierung beliebig langer Eingaben auf einen einzigen Vektor fester Größe wurde rasch als Hauptschwäche erkannt – bei langen Sätzen sank die Übersetzungsqualität merklich, was direkt zur Entwicklung des Attention-Mechanismus führte.

Sequentielle Verarbeitung als Trainingsengpass. Weil jeder Zeitschritt vom vorherigen abhängt, lässt sich das Training nicht über die Sequenzlänge parallelisieren – ein struktureller Nachteil gegenüber der später entwickelten Transformer-Architektur, der bei wachsenden Datenmengen und Modellgrößen zunehmend ins Gewicht fiel.

Exposure Bias. Weil das Modell beim Training stets die korrekten vorherigen Wörter als Kontext erhält, beim Einsatz jedoch seine eigenen – möglicherweise fehlerhaften – Vorhersagen weiterverwendet, können sich frühe Fehler in der erzeugten Sequenz verstärken.

Stand 2025/2026

Als eigenständige Architektur ist das reine LSTM-Encoder-Decoder-Schema durch Transformer-basierte Modelle vollständig abgelöst. Als Konzept lebt es fort: Jedes moderne Sprachmodell, das eine Eingabesequenz in eine Ausgabesequenz überführt, folgt in abstrahierter Form demselben Grundgedanken, den Sutskever, Vinyals und Le 2014 erstmals systematisch demonstrierten.

Quellenangaben

Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.

← Zurück zur Lexikon-Übersicht