Encoder-Decoder-Architektur

Die Encoder-Decoder-Architektur ist eine Bauform neuronaler Netze, die die Verarbeitung in zwei Teile trennt: Ein Kodierer überführt die Eingabe in eine innere Darstellung, ein Dekodierer erzeugt daraus die Ausgabe. Sie entstand für die maschinelle Übersetzung und liegt der ursprünglichen Transformer-Arbeit zugrunde.

Zusammenfassung

Die Trennung folgt der Aufgabe. Bei einer Übersetzung liegt der Ausgangssatz vollständig vor und darf in beide Richtungen gelesen werden; der Zielsatz entsteht Wort für Wort und darf nur auf bereits Erzeugtes zurückgreifen.

Diese Asymmetrie in einer Architektur abzubilden, war die Leistung des Entwurfs von 2014. Ilya Sutskever, Oriol Vinyals und Quoc Le zeigten, dass sich Übersetzung als Abbildung einer Folge auf eine andere behandeln lässt, ohne sprachspezifische Regeln.

Der Transformer von 2017 übernahm die Zweiteilung und ersetzte lediglich die rekurrenten Netze durch Aufmerksamkeit. Die Verbindung zwischen beiden Teilen leistet die Kreuzaufmerksamkeit.

Bemerkenswert ist, was danach geschah: Die großen Sprachmodelle verwenden die Zweiteilung überwiegend nicht mehr. Sie bestehen nur aus dem erzeugenden Teil – und lösen Übersetzungsaufgaben trotzdem.

Begriffsgeschichte

Die Vorgeschichte liegt in der statistischen Übersetzung, die Sätze in Bausteine zerlegte und deren Übersetzungswahrscheinlichkeiten aus zweisprachigen Texten schätzte. Das Verfahren war wirksam, aber vielteilig.

2014 legten zwei Gruppen unabhängig voneinander den neuronalen Gegenentwurf vor. Ein Netz liest den Ausgangssatz und verdichtet ihn zu einem Vektor; ein zweites erzeugt daraus den Zielsatz.

Die Schwäche zeigte sich rasch: Ein Vektor fester Länge kann einen langen Satz nicht tragen. Die Übersetzungsqualität fiel mit der Satzlänge deutlich ab.

Die Antwort war die Aufmerksamkeit. Statt eines einzigen Vektors bleibt die gesamte kodierte Eingabe verfügbar, und der Dekodierer greift bei jedem Wort auf die erheblichen Stellen zu.

2017 verallgemeinerte der Transformer diesen Ansatz. Ein Jahr später begann die Aufspaltung in drei Zweige: BERT verwendete nur den Kodierer, die GPT-Reihe nur den Dekodierer, Modelle wie T5 behielten beides.

Methodische Grundlagen

Der Kodierer. Er liest die gesamte Eingabe und darf dabei in beide Richtungen blicken. Jede Position sieht alle anderen, was ein Verständnis liefert, das nicht von der Leserichtung abhängt.

Der Dekodierer. Er erzeugt Schritt für Schritt und darf nur auf bereits Erzeugtes zugreifen. Diese Einschränkung wird durch eine Maske in der Aufmerksamkeitsrechnung erzwungen.

Kreuzaufmerksamkeit. Die Verbindung beider Teile. Die Anfragen stammen aus dem Dekodierer, Schlüssel und Werte aus dem Kodierer – der erzeugende Teil fragt den verstehenden ab.

Drei Bauformen. Reine Kodierer eignen sich für Aufgaben, die ein Urteil über einen vorliegenden Text verlangen. Reine Dekodierer erzeugen Text. Die Zweiteilung eignet sich für Aufgaben, die aus einer Eingabe eine andersartige Ausgabe machen.

Erzeugung Schritt für Schritt. Beide erzeugenden Formen teilen eine Eigenschaft: Jedes Element wird einzeln vorhergesagt und fließt in die Vorhersage des nächsten ein. Das ist der Grund, warum das Erzeugen langsamer ist als das Lesen.

Anwendungsfelder

Maschinelle Übersetzung. Der ursprüngliche Anwendungsfall, bei dem die Zweiteilung ihre Begründung hat.

Zusammenfassung und Umformulierung. Aufgaben, bei denen eine vorliegende Eingabe in eine kürzere oder anders geartete Ausgabe überführt wird.

Spracherkennung und Sprachsynthese. Der Wechsel zwischen Ton und Schrift ist ein Abbildungsproblem zwischen Folgen unterschiedlicher Art.

Bild zu Text. Bildbeschreibung und Belegerkennung verwenden einen Bildkodierer mit einem Textdekodierer – die Zweiteilung überlebt dort, wo die beiden Seiten wirklich verschieden sind.

Kontroversen und Kritik

Der Kodierer ist entbehrlich geworden. Der stärkste Einwand ist empirisch: Reine Dekodierer lösen Übersetzungsaufgaben ohne eigenen Kodierer, indem sie die Eingabe als Anfang der Folge behandeln. Was die Zweiteilung leistete, leistet die Anweisung.

Aufwand ohne entsprechenden Ertrag. Die Zweiteilung verdoppelt Teile der Architektur und erfordert Trainingsdaten in Paaren. Reine Dekodierer lernen aus unbeschriftetem Text – eine Datenmenge, die um Größenordnungen größer ist.

Gegenposition. Vertreter der Zweiteilung verweisen darauf, dass sie bei gleichem Rechenbudget auf Übersetzungs- und Zusammenfassungsaufgaben weiterhin vorn liegt. Der Vorsprung der Dekodierer stamme aus der Datenmenge, nicht aus der Bauform.

Vermengung zweier Fragen. Die Debatte vermischt die Architektur mit dem Trainingsziel. Ob ein Modell in beide Richtungen blicken darf und ob es auf Vorhersage des nächsten Elements trainiert wird, sind getrennte Entscheidungen, die in der Praxis gekoppelt auftreten.

Kosten der Erzeugung. Alle erzeugenden Formen erben die schrittweise Ausgabe. Verfahren, die mehrere Elemente gleichzeitig vorhersagen, sind Gegenstand der Forschung, haben sich aber nicht durchgesetzt.

Warum die einfachere Form gewann

Dass sich die reine Dekodierer-Form durchsetzte, ist ein Lehrstück über das Verhältnis von Entwurf und Datenmenge.

Die Zweiteilung ist die sachlich angemessenere Lösung. Sie bildet ab, was an der Aufgabe verschieden ist: Die Eingabe liegt vor, die Ausgabe entsteht. Wer eine Architektur nach der Struktur des Problems entwirft, kommt zu ihr.

Ihr Nachteil ist der Trainingsstoff. Sie verlangt Paare – Ausgangstext und Zieltext –, und solche Paare muss jemand hergestellt haben. Der reine Dekodierer verlangt nur Text, und Text gibt es in unvergleichlich größerer Menge.

Damit entschied nicht die bessere Passung, sondern die größere Datenmenge. Ein Modell, das aus Milliarden ungeordneter Texte gelernt hat, übersetzt besser als eines, das aus Millionen sauberer Paare gelernt hat – obwohl es für die Aufgabe schlechter gebaut ist.

Diese Beobachtung wiederholt sich im Feld: Der Entwurf, der zur Aufgabe passt, unterliegt regelmäßig dem Entwurf, der zu den verfügbaren Daten passt.

Verwandte Begriffe

• Transformer – Architektur, die die Zweiteilung übernahm
• BERT – reiner Kodierer
• GPT – reiner Dekodierer
• Multi-Head Attention – Rechenschritt beider Teile
• Positional Encoding – notwendige Ergänzung
• Large Language Models – Modellklasse, die die Zweiteilung verdrängte
• Natural Language Processing – Fachgebiet der Entstehung

Quellenangaben

1. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
2. Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
3. Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.
4. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.