Subwort-Modelle

Subwort-Modelle sind Verfahren der Tokenisierung, die Text in Einheiten zwischen dem einzelnen Zeichen und dem ganzen Wort zerlegen. Sie bilden den heute üblichen Kompromiss zwischen einem handlichen Vokabular und der Fähigkeit, beliebige Zeichenfolgen darzustellen.

Zusammenfassung

Die Verfahrensfamilie beantwortet eine Frage, die vor jedem Sprachmodell steht: Was ist die kleinste Einheit, über die das Modell Wahrscheinlichkeiten bildet?

Drei Verfahren haben sich durchgesetzt. Byte Pair Encoding verschmilzt wiederholt das häufigste benachbarte Paar. WordPiece wählt stattdessen die Verschmelzung, die die Wahrscheinlichkeit des Textes am stärksten erhöht. Das Unigram-Verfahren geht umgekehrt vor: Es beginnt mit einem großen Vokabular und entfernt schrittweise die Einheiten, deren Wegfall am wenigsten kostet.

Praktisch unterscheiden sich die Ergebnisse weniger, als die theoretischen Unterschiede erwarten lassen. Die Wahl des Verfahrens wirkt sich schwächer aus als die Wahl der Vokabulargröße und der Zusammensetzung des Trainingskorpus.

Gemeinsam ist allen Verfahren eine Eigenschaft, die selten mitbedacht wird: Sie sind statistisch begründet und nicht sprachwissenschaftlich. Die Grenzen folgen der Häufigkeit, nicht der Bedeutung.

Begriffsgeschichte

Bis in die 2010er Jahre arbeitete die Sprachverarbeitung überwiegend mit Wortvokabularen. Wörter außerhalb des Vokabulars erhielten ein Sonderzeichen – ein Verfahren, das bei Namen, Fachbegriffen und flektierten Formen sichtbar versagte.

Sprachen mit reicher Formenbildung verschärften das Problem. Im Deutschen entstehen Komposita frei, im Finnischen oder Türkischen tragen Wörter Endungsketten, die eine ganze Satzstruktur ersetzen. Ein festes Wortvokabular kann das nicht abbilden.

Die Alternative, auf Zeichenebene zu arbeiten, war lange unattraktiv: Die Folgen werden vier- bis fünfmal länger, was Rechenaufwand und Lernschwierigkeit erhöht.

Zwischen 2015 und 2018 entstanden die drei heute üblichen Verfahren. BPE kam 2015 aus der maschinellen Übersetzung, WordPiece war zuvor bei der Spracherkennung entwickelt worden und wurde 2018 mit BERT bekannt, das Unigram-Verfahren schlug Taku Kudo 2018 vor.

Mit SentencePiece erschien im selben Jahr eine Umsetzung, die den Text als reine Zeichenfolge behandelt – einschließlich der Leerzeichen. Damit entfiel die sprachabhängige Vorzerlegung, die zuvor stillschweigend vorausgesetzt worden war.

Methodische Grundlagen

Aufbauend gegen abbauend. BPE und WordPiece bauen das Vokabular von unten auf, indem sie verschmelzen. Das Unigram-Verfahren baut es von oben ab, indem es aus einer Übermenge streicht. Der Unterschied wirkt sich darauf aus, wie eindeutig die spätere Zerlegung ausfällt.

Häufigkeit gegen Wahrscheinlichkeitsgewinn. BPE wählt das häufigste Paar. WordPiece wählt jenes, dessen Verschmelzung die Wahrscheinlichkeit des Korpus am stärksten steigert – ein Kriterium, das seltene, aber charakteristische Verbindungen bevorzugt.

Mehrdeutige Zerlegung. Beim Unigram-Verfahren gibt es für dieselbe Zeichenfolge mehrere zulässige Zerlegungen mit unterschiedlicher Wahrscheinlichkeit. Das erlaubt eine Form der Datenanreicherung: Beim Training wird zufällig zwischen ihnen gewählt, was das Modell gegenüber der Zerlegung unempfindlicher macht.

Umgang mit Leerzeichen. Ob das Leerzeichen Teil einer Einheit sein darf, ist eine Entwurfsentscheidung mit Folgen. Wird es einbezogen, lässt sich der ursprüngliche Text verlustfrei wiederherstellen – bei Sprachen ohne Wortzwischenräume ist das die einzige gangbare Lösung.

Vokabulargröße. Übliche Werte liegen zwischen 30.000 und 250.000 Einheiten. Größere Vokabulare verkürzen die Folgen und verbessern die Behandlung nicht-englischer Sprachen, vergrößern aber die Ausgabeschicht des Modells erheblich.

Anwendungsfelder

Vortraining großer Modelle. Jedes Sprachmodell legt vor dem Training ein Vokabular fest. Diese Entscheidung ist danach unveränderlich und bestimmt die Kosten jeder späteren Nutzung mit.

Mehrsprachige Systeme. Ein gemeinsames Vokabular für viele Sprachen erlaubt Übertragung zwischen ihnen, verteilt den Platz aber ungleich – zugunsten der Sprachen, die im Korpus überwiegen.

Fachsprachen. In Medizin, Recht und Programmierung werden eigene Vokabulare trainiert, weil die Fachbegriffe in allgemeinen Korpora zu selten vorkommen, um eigene Einheiten zu erhalten.

Abgleich zwischen Modellen. Unterschiedliche Vokabulare erschweren den Vergleich: Dieselbe Textmenge ergibt je nach Modell verschieden viele Einheiten, was Angaben zu Kontextlänge und Kosten schwer vergleichbar macht.

Kontroversen und Kritik

Fehlende sprachliche Begründung. Die Grenzen folgen der Häufigkeit. Ein Wortstamm, der zufällig selten vorkommt, wird zerschnitten; eine häufige, aber bedeutungslose Zeichenfolge erhält eine eigene Einheit. Morphologisch begründete Verfahren schnitten in Vergleichen nicht durchgängig besser ab, weshalb der statistische Ansatz sich hielt.

Verzerrung zwischen Sprachen. Die Ungleichverteilung des Vokabulars ist gut dokumentiert und wirkt unmittelbar auf Kosten und Kontextlänge. Sie ist keine Nebenwirkung, sondern eine Folge der Korpuszusammensetzung.

Unveränderlichkeit. Das Vokabular altert mit dem Sprachgebrauch. Neue Begriffe werden zerlegt statt erkannt, und eine Anpassung erfordert ein neues Vortraining.

Vorverarbeitung als blinder Fleck. Was vor der eigentlichen Zerlegung geschieht – Normalisierung, Behandlung von Groß- und Kleinschreibung, Aufteilung an Satzzeichen –, wird selten dokumentiert, wirkt aber auf das Ergebnis.

Grundsätzlicher Einwand. Ein wiederkehrender Vorschlag ist, die Zerlegung ganz aufzugeben und Modelle unmittelbar auf Bytes arbeiten zu lassen. Entsprechende Arbeiten zeigen Machbarkeit, haben sich wegen des höheren Rechenaufwands aber nicht durchgesetzt.

Die Entscheidung vor dem Lernen

Subwort-Verfahren gelten als Vorverarbeitung und werden entsprechend beiläufig behandelt. Sie legen jedoch fest, worüber ein Modell überhaupt Aussagen bilden kann.

Ein Modell sieht keine Buchstaben, sondern Einheiten. Was innerhalb einer Einheit liegt, ist für es nicht auflösbar – deshalb fallen Aufgaben schwer, die auf die Schreibung zielen, und deshalb hängen Rechenfehler an der Zerlegung von Ziffernfolgen.

Das ist keine Schwäche der Umsetzung, sondern eine Eigenschaft des Aufbaus. Zwischen dem Text und dem Modell steht eine Übersetzungsschicht, die Information verwirft – und zwar nach einem Kriterium, das mit der Aufgabe des Modells nichts zu tun hat.

Warum sich diese Schicht dennoch hält, ist eine Frage der Rechnung: Sie verkürzt jede Eingabe um ein Vielfaches. Solange Rechenzeit die knappe Größe ist, überwiegt dieser Vorteil die Kosten – ein Kompromiss, der bei anderen Verhältnissen anders ausfallen könnte.

Quellenangaben

Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Kudo, Taku, 2018. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), S. 66–75. DOI: 10.18653/v1/P18-1007.
Kudo, Taku / Richardson, John, 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2018), S. 66–71. DOI: 10.18653/v1/D18-2012.
Sennrich, Rico / Haddow, Barry / Birch, Alexandra, 2016. Neural Machine Translation of Rare Words with Subword Units. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), S. 1715–1725. DOI: 10.18653/v1/P16-1162.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.