Vokabular bezeichnet in der Sprachverarbeitung die endliche Menge von Symbolen, die ein Modell überhaupt darstellen kann. Jedes dieser Symbole – ein Token – trägt eine feste Nummer; das Vokabular ist die Zuordnungstabelle zwischen diesen Nummern und den Zeichenfolgen, aus denen Text besteht. Alles, was ein Sprachmodell liest oder schreibt, muss zuvor in Elemente dieser Menge zerlegt werden.
Zusammenfassung
Das Vokabular ist die unscheinbarste und zugleich folgenreichste Festlegung im Aufbau eines Sprachmodells.
Es wird vor dem Training einmal bestimmt und ist danach unveränderlich: Was nicht darstellbar ist, existiert für das Modell nicht. Seine Größe – bei heutigen Modellen typischerweise zwischen 32.000 und mehreren hunderttausend Einträgen – bestimmt zugleich die Länge der Eingabesequenzen, die Größe zweier der teuersten Gewichtsmatrizen und die Kosten je verarbeitetem Zeichen.
Weil das Vokabular aus einem Textkorpus gelernt wird, erbt es dessen Zusammensetzung: Sprachen, die im Korpus unterrepräsentiert sind, werden in mehr und kürzere Stücke zerlegt und sind dadurch teurer und schlechter modellierbar. Diese Ungleichheit ist keine Absicht, sondern eine Nebenwirkung der Konstruktion – und sie lässt sich ohne Neutraining nicht beheben.
Aufbau und Bestimmung
Ein Vokabular wird nicht von Hand geschrieben, sondern aus einem Textkorpus gelernt. Das verbreitetste Verfahren, Byte Pair Encoding, beginnt mit den einzelnen Zeichen und fügt schrittweise das jeweils häufigste benachbarte Paar als neue Einheit hinzu, bis die gewünschte Größe erreicht ist. Häufige Wörter erhalten dadurch am Ende einen eigenen Eintrag, seltene zerfallen in mehrere Teilstücke.
Aus diesem Vorgehen folgt eine Eigenschaft, die für das Verständnis wesentlich ist: Die Einträge sind keine sprachlichen Einheiten. Sie entsprechen weder Wörtern noch Silben noch Morphemen, sondern häufigen Zeichenfolgen. Ein Vokabulareintrag kann ein vollständiges Wort sein, ein Wortanfang mit vorangestelltem Leerzeichen, eine Endung, ein Satzzeichen oder ein Fragment ohne jede Bedeutung.
Neben den gelernten Einträgen enthält jedes Vokabular eine kleine Zahl von Sondertoken, die keine Textstelle bezeichnen, sondern Struktur markieren: Anfang und Ende einer Sequenz, Auffüllung auf gleiche Länge, Trennung zwischen Rollen im Dialog, in neueren Modellen auch Markierungen für Werkzeugaufrufe oder für den Beginn einer Gedankenkette. Ihre Zahl ist klein, ihre Wirkung groß – sie tragen die gesamte Gesprächsstruktur.
Größe als Abwägung
Die Wahl der Vokabulargröße ist ein Tauschgeschäft zwischen Sequenzlänge und Modellgröße.
| Größeres Vokabular | Kleineres Vokabular |
|---|---|
| kürzere Sequenzen, weniger Rechenschritte je Text | längere Sequenzen |
| größere Embedding- und Ausgabematrix | kompaktere Matrizen |
| bessere Abdeckung seltener Sprachen und Fachbegriffe | mehr Zerlegung, mehr Fragmente |
| seltene Einträge werden kaum trainiert | jeder Eintrag sieht viele Beispiele |
Die Ausgabeschicht muss für jeden Schritt eine Wahrscheinlichkeit über sämtliche Einträge berechnen. Diese Berechnung wächst linear mit der Vokabulargröße und gehört bei kleinen Modellen zu den teuersten Anteilen.
Bei sehr großen Modellen kehrt sich das Verhältnis um: Dort fällt die Ausgabeschicht kaum ins Gewicht, während kürzere Sequenzen unmittelbar Rechenzeit sparen. Entsprechend sind die Vokabulare über die Modellgenerationen gewachsen – von rund 32.000 Einträgen bei frühen Modellen auf 128.000 und mehr bei jüngeren.
Mehrsprachigkeit
Wird ein Vokabular überwiegend aus englischem Text gelernt, erhalten englische Wörter eigene Einträge, während Wörter anderer Sprachen in Teilstücke zerfallen. Der gleiche Satzinhalt braucht dann je nach Sprache sehr unterschiedlich viele Token.
Die Folgen sind unmittelbar praktischer Natur. Da Anbieter nach Token abrechnen und das Kontextfenster in Token bemessen ist, zahlen Sprecher benachteiligter Sprachen mehr für dieselbe Auskunft und können weniger Text in einer Anfrage unterbringen. Hinzu kommt ein Qualitätseffekt: Ein in viele Fragmente zerlegtes Wort verteilt seine Bedeutung über mehrere Verarbeitungsschritte und ist dadurch schwerer zu modellieren als eines mit eigenem Eintrag.
Besonders deutlich tritt das bei Schriftsystemen ohne Leerzeichen und bei stark flektierenden Sprachen hervor. Deutsche Komposita etwa zerfallen regelmäßig in mehrere Stücke, während ihre englischen Entsprechungen aus mehreren kurzen Wörtern mit je eigenem Eintrag bestehen.
Was sich nicht mehr ändern lässt
Das Vokabular wird vor dem Vortraining festgelegt und ist danach Teil der Modellarchitektur. Eine nachträgliche Erweiterung ist technisch möglich – neue Zeilen in der Embedding-Matrix –, aber die neuen Einträge sind untrainiert und müssen in einem eigenen Durchgang nachgeholt werden. In der Praxis bedeutet ein anderes Vokabular deshalb ein neues Modell.
Daraus folgt eine Eigenheit, die als untrainierte Token bekannt geworden ist. Weil Vokabular und Trainingskorpus nicht identisch sind, können Einträge existieren, die im eigentlichen Training kaum oder gar nicht vorkamen – etwa Zeichenfolgen, die im Korpus zur Vokabularbestimmung häufig waren, im späteren, gefilterten Trainingskorpus aber fehlten.
Solche Einträge tragen im Modell zufällige Vektoren. Werden sie eingegeben, reagieren Modelle unvorhersehbar: mit unpassenden Antworten, mit Ausweichen oder mit Wiederholungen.
Der Befund gilt als anschauliches Beispiel dafür, dass die Grenzen des Modellverhaltens teilweise in Entscheidungen liegen, die lange vor dem Training getroffen wurden.
Bedeutung
Die praktische Tragweite des Vokabulars wird regelmäßig unterschätzt, weil es keine sichtbare Komponente ist. Es erklärt jedoch eine ganze Klasse beobachteter Schwächen: warum Modelle beim Buchstabieren und beim Zählen von Zeichen scheitern, obwohl sie anspruchsvolle Texte verfassen; warum sie mit Zahlen ungleichmäßig umgehen, je nachdem wie diese zerlegt werden; warum sich Kosten und Qualität zwischen Sprachen unterscheiden.
In all diesen Fällen liegt die Ursache nicht im Modell, sondern eine Stufe davor: Das Modell sieht nie Buchstaben, sondern nur die Nummern der Einträge, in die sein Vokabular den Text zerlegt hat.
Verwandte Begriffe
- Token – einzelnes Element des Vokabulars
- Tokenisierung – Vorgang der Zerlegung
- Byte Pair Encoding – verbreitetstes Verfahren zur Bestimmung
- Token Embedding – Abbildung der Einträge auf Vektoren
- Transformer – Architektur, die auf dieser Zerlegung aufsetzt
- Large Language Models – Modellklasse
- Compute – Kostengröße, die unmittelbar von der Sequenzlänge abhängt
Quellenangaben
- Gage, Philip, 1994. A New Algorithm for Data Compression. In: The C Users Journal 12 (2), S. 23–38.
- Kudo, Taku / Richardson, John, 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2018), S. 66–71. DOI: 10.18653/v1/D18-2012.
- Petrov, Aleksandar / La Malfa, Emanuele / Torr, Philip H. S. / Bibi, Adel, 2023. Language Model Tokenizers Introduce Unfairness Between Languages. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.15425.
- Sennrich, Rico / Haddow, Barry / Birch, Alexandra, 2016. Neural Machine Translation of Rare Words with Subword Units. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), S. 1715–1725. DOI: 10.18653/v1/P16-1162.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.