Byte Pair Encoding (BPE)

Byte Pair Encoding (BPE) ist ein Verfahren der Tokenisierung, das Text in Einheiten unterhalb der Wortebene zerlegt. Es beginnt bei einzelnen Zeichen und fügt wiederholt das häufigste benachbarte Paar zu einer neuen Einheit zusammen, bis eine festgelegte Vokabulargröße erreicht ist.

Zusammenfassung

Das Verfahren löst einen Zielkonflikt der Sprachverarbeitung. Ein Vokabular aus ganzen Wörtern ist handlich, scheitert aber an jedem Wort, das im Training nicht vorkam. Ein Vokabular aus Einzelzeichen kennt dieses Problem nicht, erzeugt dafür sehr lange Folgen.

BPE liegt dazwischen: Häufige Wörter erhalten ein eigenes Zeichen, seltene werden in bekannte Bestandteile zerlegt. Ein unbekanntes Wort ist damit nicht mehr unbekannt, sondern nur länger.

Der Ursprung liegt in der Datenkompression. Philip Gage beschrieb den Algorithmus 1994 als Kompressionsverfahren; Rico Sennrich, Barry Haddow und Alexandra Birch übertrugen ihn 2015 auf die maschinelle Übersetzung.

Seither ist BPE in einer auf Bytes statt auf Zeichen aufsetzenden Variante die Grundlage praktisch aller großen Sprachmodelle – mit Folgen, die von der Rechnung über Kosten bis zur sprachlichen Gerechtigkeit reichen.

Begriffsgeschichte

Gage veröffentlichte das Verfahren 1994 in einer Programmierzeitschrift als Kompressionsalgorithmus. Die Idee: Wiederkehrende Bytepaare werden durch ein unbenutztes Byte ersetzt, die Ersetzungstabelle wird mitgeliefert.

In der Sprachverarbeitung stellte sich zwei Jahrzehnte später ein verwandtes Problem. Neuronale Übersetzungssysteme arbeiteten mit festen Wortvokabularen und behandelten alles Übrige als ein einziges Sonderzeichen für Unbekanntes – mit sichtbar schlechten Ergebnissen bei Namen, Fachwörtern und Komposita.

Sennrich, Haddow und Birch schlugen 2015 vor, den Kompressionsalgorithmus umzudeuten. Nicht die Datenmenge wird verkleinert, sondern das Vokabular auf eine feste Größe gebracht, indem häufige Zeichenfolgen zusammengefasst werden.

Der Ansatz setzte sich rasch durch, weil er ohne sprachspezifisches Wissen auskommt. Wo ältere Verfahren Wörterbücher, Regeln zur Wortzerlegung oder morphologische Analysen brauchten, genügt hier eine Häufigkeitsauszählung.

Mit der GPT-Reihe wurde ab 2019 die Variante auf Byte-Ebene üblich, die auch das letzte Restrisiko unbekannter Zeichen ausschließt.

Methodische Grundlagen

Das Training des Vokabulars. Der Text wird zunächst in Einzelzeichen zerlegt. Dann wird wiederholt gezählt, welches benachbarte Paar am häufigsten vorkommt, und dieses Paar zu einer Einheit verschmolzen. Jede Verschmelzung wird als Regel festgehalten.

Die Anwendung. Bei neuem Text werden die gelernten Regeln in derselben Reihenfolge angewendet. Das Ergebnis ist eindeutig und schnell berechenbar, weil keine Suche stattfindet, sondern nur eine Abfolge von Ersetzungen.

Byte-Ebene statt Zeichenebene. Setzt das Verfahren nicht auf Zeichen, sondern auf Bytes auf, umfasst das Grundalphabet 256 Elemente und deckt damit jede mögliche Eingabe ab. Ein unbekanntes Zeichen kann es nicht mehr geben.

Vokabulargröße als Stellschraube. Sie bestimmt, wie fein zerlegt wird. Große Vokabulare erzeugen kurze Folgen, kosten aber Speicher in der Ausgabeschicht; kleine Vokabulare sparen dort und verlängern dafür jede Eingabe.

Vorzerlegung. In der Praxis wird der Text vor der Anwendung an Wortgrenzen und Satzzeichen aufgeteilt, damit keine Einheiten über Wortgrenzen hinweg entstehen. Diese Vorstufe ist sprachabhängig und eine stille Quelle von Ungleichbehandlung.

Anwendungsfelder

Große Sprachmodelle. Die GPT-Reihe und zahlreiche offene Modelle verwenden BPE auf Byte-Ebene. Die Kontextlänge, die Abrechnung und die Geschwindigkeit hängen unmittelbar davon ab, wie sparsam ein Text zerlegt wird.

Maschinelle Übersetzung. Der ursprüngliche Anwendungsfall. Zusammengesetzte Wörter und Flexionsformen werden in Bestandteile zerlegt, die das System aus anderen Zusammenhängen kennt.

Programmcode. Bezeichner folgen eigenen Bildungsmustern. Modelle für Code verwenden deshalb Vokabulare, die auf Quelltext trainiert wurden, statt auf Prosa.

Abgrenzung zu verwandten Verfahren. WordPiece und Unigram-Modelle verfolgen dasselbe Ziel mit anderem Auswahlkriterium – nicht die Häufigkeit entscheidet, sondern der Beitrag zur Wahrscheinlichkeit des Textes.

Kontroversen und Kritik

Ungleiche Behandlung der Sprachen. Wird das Vokabular überwiegend auf englischem Text trainiert, benötigen andere Sprachen mehr Einheiten für denselben Inhalt. Bei Sprachen mit nichtlateinischer Schrift kann der Faktor mehrere Einheiten je Zeichen betragen.

Die Folge ist doppelt: Der Text kostet mehr, und er füllt das Kontextfenster schneller. Damit wird eine Entwurfsentscheidung der Vorverarbeitung zu einer Frage des Zugangs.

Zerlegte Zahlen. Ziffernfolgen werden nach Häufigkeit zerlegt, nicht nach Stellenwert. Dieselbe Zahl kann je nach Umgebung unterschiedlich aufgeteilt werden – eine der Erklärungen für Rechenfehler großer Modelle.

Blindheit für Buchstaben. Weil das Modell Einheiten und keine Zeichen sieht, sind Aufgaben schwierig, die auf die Schreibung zielen: Buchstaben zählen, Wörter rückwärts schreiben, Reime prüfen.

Willkür der Grenzen. Die Zerlegung folgt der Häufigkeit im Trainingskorpus, nicht der Bedeutung. Wortbestandteile mit gleicher Funktion können unterschiedlich behandelt werden, je nachdem wie oft sie zufällig vorkamen.

Festgelegtheit. Das Vokabular wird vor dem Training bestimmt und ist danach unveränderlich. Verschiebt sich der Sprachgebrauch, veraltet es – ohne dass sich das ohne neues Training beheben ließe.

Warum ein Kompressionsverfahren

Dass ausgerechnet ein Algorithmus aus der Datenkompression zur Grundlage der Sprachmodellierung wurde, ist kein Zufall, sondern verweist auf eine Verwandtschaft der Aufgaben.

Kompression sucht wiederkehrende Muster, um sie kürzer darzustellen. Sprachmodellierung sucht wiederkehrende Muster, um das Nächste vorherzusagen. Beide Verfahren fragen: Was kommt hier oft zusammen vor?

Daraus folgt eine Beobachtung, die in der Praxis selten ausgesprochen wird: Die Zerlegung ist bereits eine Modellentscheidung. Was als eine Einheit gilt, bestimmt, worüber das Modell überhaupt Wahrscheinlichkeiten bilden kann.

Ein Modell, dessen Vokabular Zahlen nach Häufigkeit zerlegt, kann Stellenwerte nur mühsam rekonstruieren. Eines, dessen Vokabular eine Sprache in Einzelzeichen zerlegt, muss deren Struktur aus deutlich längeren Folgen erschließen. Die Grenzen der Zerlegung sind damit Grenzen des Modells – festgelegt, bevor das erste Gewicht gelernt wurde.

Verwandte Begriffe

• Tokenisierung – übergeordneter Vorgang
• Subwort-Modelle – Verfahrensfamilie, zu der BPE gehört
• GPT – Modellreihe, die die Byte-Variante verbreitete
• BERT – Modell mit dem verwandten WordPiece-Verfahren
• Embedding-Modell – nachgelagerter Schritt zur Vektordarstellung
• Kontextfenster – Größe, deren Verbrauch von der Zerlegung abhängt
• Halluzination – Fehlerbild, zu dem zerlegte Zahlen beitragen

Quellenangaben

1. Gage, Philip, 1994. A New Algorithm for Data Compression. In: The C Users Journal 12 (2), S. 23–38.
2. Kudo, Taku / Richardson, John, 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2018), S. 66–71. DOI: 10.18653/v1/D18-2012.
3. Sennrich, Rico / Haddow, Barry / Birch, Alexandra, 2016. Neural Machine Translation of Rare Words with Subword Units. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), S. 1715–1725. DOI: 10.18653/v1/P16-1162.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.