Tokenisierung

Tokenisierung (englisch tokenization) bezeichnet im maschinellen Lernen und in der Computerlinguistik den Vorverarbeitungsschritt, in dem ein Eingabetext oder ein anderer kontinuierlicher Datenstrom in eine Folge diskreter Einheiten – Tokens – zerlegt wird, die anschließend durch ein numerisches Modell verarbeitet werden können.

In der natürlichen Sprachverarbeitung umfasst Tokenisierung historisch die Aufteilung von Text in Sätze, Wörter, Subwörter oder einzelne Zeichen. In modernen großen Sprachmodellen dominiert dagegen die Subwort-Tokenisierung mit Verfahren wie Byte Pair Encoding (BPE, Sennrich, Haddow, Birch 2016), WordPiece (Schuster, Nakajima 2012; Wu u. a. 2016) und SentencePiece (Kudo, Richardson 2018).

Tokenisierung ist nicht semantisch neutral: Die gewählte Zerlegung beeinflusst Modellleistung, Trainingsdaten-Effizienz, sprachliche Fairness, Kontextlängen und ökonomische Aspekte (LLM-Anbieter rechnen nach Token ab).

Zusammenfassung

Vor der Verarbeitung durch ein neuronales Netz muss kontinuierlicher Text in eine endliche Sequenz von Symbolen aus einem festen Vokabular umgewandelt werden.

Die historisch früheste Form ist die Wort-Tokenisierung (Aufteilung an Leerzeichen und Satzzeichen), die in vielen Sprachen praktisch umsetzbar, aber in agglutinierenden Sprachen (Türkisch, Finnisch) und in solchen ohne explizite Worttrenner (Chinesisch, Japanisch, Thai) problematisch ist.

Die Zeichen-Tokenisierung arbeitet auf Buchstabenebene und vermeidet das Out-of-Vocabulary-Problem, produziert aber sehr lange Sequenzen und verliert lexikalische Information.

Die heute dominierende Subwort-Tokenisierung ist ein Kompromiss: Häufige Wörter bleiben als ganze Tokens, seltene Wörter werden in häufigere Subwort-Einheiten zerlegt, sodass jeder beliebige Eingabetext mit einem festen Vokabular (typisch 30.000–250.000 Einträge, vgl. Devlin u. a. 2019) dargestellt werden kann.

Die drei in modernen Sprachmodellen praktisch dominierenden Algorithmen sind Byte Pair Encoding (BPE), WordPiece (für BERT verwendet) und Unigram Language Model (Kudo 2018, in SentencePiece implementiert). BPE stammt ursprünglich aus der Datenkompression von Philip Gage 1994 und wurde durch Sennrich u. a. 2016 für die neuronale Übersetzung adaptiert.

Spezialvarianten wie Byte-Level BPE (GPT-2, GPT-3, Llama, Claude) arbeiten direkt auf der Byte-Ebene und können damit jeden Unicode-Text ohne Out-of-Vocabulary-Probleme verarbeiten.

Begriffsgeschichte

Klassische Computerlinguistik

Tokenisierung als Begriff hat zwei Wurzeln. Im Compilerbau bezeichnet Tokenization (oder Lexikalische Analyse, Scanning) seit den 1960er Jahren die Zerlegung eines Quellcodes in Schlüsselworte, Bezeichner, Operatoren und Literale; dies ist Gegenstand der frühen Lehrbuchliteratur von Alfred V. Aho, Ravi Sethi und Jeffrey D. Ullman (Compilers: Principles, Techniques, and Tools, 1986, „Dragon Book”).

In der Computerlinguistik etablierte sich Tokenisierung als Vorverarbeitungsschritt der natürlichen Sprachverarbeitung mit den ersten korpus-basierten statistischen Verfahren der 1980er Jahre – die Brown-Korpus-Tokenisierung (Francis/Kučera 1979/1982) und die Penn-Treebank-Konventionen (Marcus, Santorini, Marcinkiewicz 1993) prägten die frühen Standards.

Statistische und neuronale Sprachverarbeitung (bis 2015)

In den klassischen Pipelines der statistischen Sprachverarbeitung (Manning/Schütze, Foundations of Statistical Natural Language Processing, 1999; Jurafsky/Martin, Speech and Language Processing, 2000) wurde überwiegend Wort-Tokenisierung verwendet, ergänzt um Stemming (Reduktion auf Wortstämme) und Lemmatization (morphologische Normalisierung).

Das Out-of-Vocabulary-Problem – seltene oder neue Wörter, die das Modell nicht kennt – wurde durch UNK-Tokens (unknown token) oder durch Wortform-Generalisierung adressiert.

Byte Pair Encoding für neuronale Übersetzung (2016)

Die entscheidende Wende zur Subwort-Tokenisierung erfolgte 2016 durch Rico Sennrich, Barry Haddow und Alexandra Birch an der University of Edinburgh.

In ihrer Arbeit Neural Machine Translation of Rare Words with Subword Units (ACL 2016) adaptierten sie das ursprünglich von Philip Gage 1994 für die Datenkompression entwickelte Byte Pair Encoding (BPE) für die neuronale Übersetzung. Statt UNK-Tokens für seltene Wörter zu setzen, zerlegt BPE jeden Text in eine Folge von Subwort-Einheiten, die durch wiederholtes Verschmelzen häufiger Zeichenpaare aus dem Trainingskorpus gewonnen wurden.

Diese Subwort-Tokenisierung erlaubt es, jede beliebige Wortform – einschließlich neuer, im Training nicht gesehener Wörter – als Kombination bekannter Subworte darzustellen.

WordPiece, SentencePiece und Unigram (2012–2018)

Parallel und teilweise vorgängig zur BPE-Wende entwickelten Mike Schuster und Kaisuke Nakajima bei Google 2012 das WordPiece-Verfahren ursprünglich für japanische und koreanische Spracherkennung (Japanese and Korean Voice Search, ICASSP 2012). Yonghui Wu und Kollegen verwendeten 2016 WordPiece für Google’s Neural Machine Translation System (GNMT). 2018 verwendete BERT (Devlin u. a.) WordPiece und etablierte den Algorithmus in der breiten NLP-Forschung.

Taku Kudo und John Richardson publizierten 2018 das SentencePiece-Toolkit (EMNLP 2018, Systemdemonstration) – eine Implementierung, die direkt auf Rohtext arbeitet (ohne vorherige Wort-Tokenisierung) und die beiden Algorithmen BPE und Unigram Language Model (Kudo, ACL 2018) unterstützt. SentencePiece ist die heute verbreitetste Tokenizer-Bibliothek; sie wird unter anderem in T5, ALBERT, XLNet, Llama und vielen mehrsprachigen Modellen verwendet.

Byte-Level BPE und der GPT-Strang (ab 2019)

Mit GPT-2 (Radford u. a. 2019) führte OpenAI eine Variante ein, die direkt auf der UTF-8-Byte-Ebene operiert: Byte-Level BPE. Diese Variante kann jeden Unicode-Text – auch Emojis, seltene Schriftzeichen, Whitespace-Sequenzen – ohne Out-of-Vocabulary-Probleme verarbeiten, weil das Grundalphabet aus 256 Bytes besteht und die Subwort-Mergings darauf operieren.

Byte-Level BPE wurde von GPT-3, GPT-4, Llama, Mistral, Claude (in Variante) und vielen weiteren Frontier-Modellen übernommen. OpenAI veröffentlichte 2022 das offene Tokenizer-Tool tiktoken, das den Tokenizer der GPT-Modellfamilie zugänglich macht.

Verfahren

Wort-Tokenisierung

Die klassische Form trennt Text an Leerzeichen und Satzzeichen. Sie funktioniert in europäischen Sprachen mit Leerzeichen-Worttrennung in einfachen Fällen gut, stößt aber an Grenzen bei: Komposita (Deutsch: Donaudampfschifffahrtsgesellschaftskapitän), Klitika (Englisch: don’t → do n’t; Französisch: l’ami → l’ami) und agglutinierenden Sprachen (Türkisch: evlerinizden = von Ihren Häusern).

Weitere Grenzfälle sind Sprachen ohne Worttrenner (Chinesisch, Japanisch, Thai) und mehrsprachige Korpora. Die Vokabulargröße ist zudem potenziell unbegrenzt – jede Wortform ist ein eigener Eintrag.

Zeichen-Tokenisierung

Jedes Zeichen wird zum Token. Vokabular klein (für Englisch etwa 256 ASCII-Zeichen oder bis zu 150.000 Unicode-Codepoints), keine Out-of-Vocabulary-Probleme, aber sehr lange Sequenzen und Verlust lexikalischer Information. In modernen Architekturen praktisch nur in Spezialfällen verwendet (etwa für Code mit besonderen Zeichenfolgen).

Byte Pair Encoding (BPE)

BPE startet mit einem Vokabular aus einzelnen Zeichen (oder Bytes) und vergrößert es iterativ: In jedem Schritt wird das im Trainingskorpus häufigste angrenzende Token-Paar zu einem neuen Token verschmolzen, das ins Vokabular aufgenommen wird.

Der Prozess wird fortgesetzt, bis eine vorgegebene Vokabulargröße (typisch 30.000 bis 100.000, vgl. Sennrich u. a. 2016) erreicht ist. Die so gewonnenen Merge-Regeln werden während der Anwendung deterministisch in derselben Reihenfolge angewendet.

WordPiece

WordPiece (Schuster/Nakajima 2012) ist BPE strukturell ähnlich, wählt aber bei jedem Merge-Schritt das Paar, das die Wahrscheinlichkeit des Trainingskorpus am stärksten erhöht – ein likelihood-basiertes Kriterium statt eines reinen Häufigkeitskriteriums. WordPiece markiert Subwort-Tokens, die nicht am Wortanfang stehen, typisch mit einem Präfix ##.

Unigram Language Model

Kudos Unigram Language Model (2018) geht den umgekehrten Weg: Es startet mit einem großen Kandidatenvokabular und entfernt iterativ jene Tokens, deren Entfernung die Log-Likelihood des Trainingskorpus am wenigsten verringert. Eine probabilistische Tokenisierung jedes Eingabesatzes erlaubt mehrere mögliche Zerlegungen, was als Datenanreicherungseffekt während des Trainings genutzt werden kann.

SentencePiece-Implementierung

SentencePiece (Kudo/Richardson 2018) ist nicht ein eigener Algorithmus, sondern eine Bibliothek, die BPE und Unigram-Tokenisierung mit einer wichtigen praktischen Verfeinerung implementiert: Sie arbeitet direkt auf Rohtext, ohne vorherige Wort-Tokenisierung, und behandelt Leerzeichen als reguläres Zeichen (typisch durch einen Unterstrich ▁ kodiert).

Diese Eigenschaft macht SentencePiece sprachunabhängig – auch für Sprachen ohne Worttrenner direkt einsetzbar.

Byte-Level BPE

Byte-Level BPE (Radford u. a. 2019, GPT-2) operiert auf der UTF-8-Byte-Ebene statt auf Unicode-Codepoints. Das Grundalphabet hat damit immer 256 Tokens; jeder beliebige Unicode-Text – auch Emojis, Glyphen außerhalb des Basic Multilingual Plane, seltene Schriftzeichen – wird ohne Out-of-Vocabulary-Probleme verarbeitet.

Der Nachteil ist, dass Tokens in komplexen Skripten (CJK, indische Sprachen, arabische Schrift) deutlich kürzer ausfallen als in lateinischer Schrift, was zu längeren Sequenzen führt.

Tokenizer in der Praxis

In modernen LLM-Architekturen ist der Tokenizer ein separater Vorverarbeitungsschritt, der gemeinsam mit dem Sprachmodell trainiert und ausgeliefert wird – Tokenizer und Modell sind aneinander gebunden, weil das Modell-Vokabular und die Token-Embedding-Tabelle aus dem Tokenizer abgeleitet sind.

Übliche Vokabulargrößen liegen zwischen 30.000 (BERT-Base, Devlin u. a. 2019) und 250.000 (Llama 3, multimehrsprachig). Größere Vokabulare erlauben effizientere Repräsentation häufiger Wörter, blähen aber die Embedding-Tabelle und die Output-Schicht des Modells auf.

Bekannte Tokenizer-Bibliotheken sind Hugging Face Tokenizers (Rust-basiert), SentencePiece (Google), tiktoken (OpenAI), Anthropic Tokenizer Counter und integrierte Implementierungen in PyTorch und TensorFlow.

Kritik und Probleme

Substantielle Kritik richtet sich auf mehrere Linien:

Sprachliche Ungleichbehandlung: Tokenizer, die auf überwiegend englischen Trainingsdaten kalibriert sind, produzieren in nicht-englischen Sprachen – insbesondere in Sprachen mit nicht-lateinischen Schriften – deutlich längere Tokensequenzen für äquivalente Inhalte (Petrov u. a. 2023, Language Model Tokenizers Introduce Unfairness Between Languages, NeurIPS 2023).

Sprecher solcher Sprachen zahlen bei kommerziellen LLM-Diensten effektiv mehr für die gleiche Information und stoßen früher an Kontextlängen-Grenzen.

Numerische und mathematische Tokenisierung: Übliche Tokenizer zerlegen Zahlen oft inkonsistent (etwa 1234 als ein Token, 12345 als 123 + 45, 123456 als 123456), was die Rechenfähigkeiten von Sprachmodellen empirisch beeinträchtigt. Llama 3 und einige andere neuere Modelle verwenden daher ziffernweise Tokenisierung für Zahlen.

Token-Glitches: In der GPT-Tokenizer-Diskussion wurden seit 2023 sogenannte glitch tokens dokumentiert (Rumbelow/Watkins 2023) – Tokens, die im Trainingsvokabular präsent, aber im Trainingstext praktisch nicht vertreten sind und im Modell undefiniertes Verhalten erzeugen, etwa SolidGoldMagikarp. Solche Tokens entstehen, wenn der Tokenizer auf einem anderen Korpus trainiert wurde als das Sprachmodell.

Semantische Atomarität: Subwort-Tokens entsprechen keinen klar definierten linguistischen oder semantischen Einheiten. Aus computerlinguistischer Perspektive wird kritisiert, dass die Tokenisierung damit eine theoretisch unmotivierte, primär ingenieurtechnische Zerlegung darstellt.

Robustheit gegen Eingabeperturbation: Kleine Eingabevariationen – Tippfehler, Whitespace-Änderungen, alternative Unicode-Schreibungen – können die Tokenisierung und damit die Modellausgabe substantiell verändern. Diese Sensitivität ist sowohl Robustheits- als auch Sicherheitsthema.

Token-basierte Kostenmodelle

Kommerzielle LLM-Anbieter (OpenAI, Anthropic, Google, Cohere, Mistral) rechnen typischerweise nach Token ab – sowohl Input-Tokens (vom Nutzer eingespeist) als auch Output-Tokens (vom Modell erzeugt).

Die ökonomische Konsequenz der oben beschriebenen Sprachasymmetrie ist, dass Nutzende in nicht-englischen Sprachen substantiell mehr zahlen für dieselbe semantische Leistung. Anthropic und OpenAI stellen Online-Tools zur Verfügung, mit denen die Tokenanzahl eines gegebenen Textes vorab geschätzt werden kann.

Stand 2025/2026

Tokenisierung bleibt im Verlauf der 2020er Jahre der dominante Vorverarbeitungsschritt großer Sprachmodelle. Die jüngere Forschung untersucht tokenizer-freie Architekturen – etwa ByT5 (Xue u. a. 2021), das direkt auf Bytes operiert ohne separates Tokenizer-Vokabular, und MEGABYTE (Yu u. a. 2023), das hierarchische Byte-Verarbeitung implementiert.

Der bislang wirkungsmächtigste Ansatz dieser Linie ist der Byte Latent Transformer (BLT, Pagnoni u. a., Meta FAIR, ACL 2025): Er gruppiert Bytes dynamisch zu Patches, deren Größe sich an der lokalen Vorhersage-Entropie orientiert.

Damit erreicht er bei vergleichbarer Rechenlast eine mit tokenbasierten Modellen wie Llama 3 konkurrenzfähige Leistung, bei verbesserter Robustheit gegenüber verrauschten Eingaben und laut Pagnoni u. a. (2025) bis zu 50 % geringerem Inferenzaufwand. Mamba und andere State-Space-Architekturen erlauben grundsätzlich ebenfalls Token-freie Verarbeitung.

Diese Ansätze zeigen vielversprechende Ergebnisse, haben die Subwort-Tokenisierung bis Mitte 2026 aber weiterhin nicht breit verdrängt. Parallel intensivieren sich Arbeiten zu fairen multilingualen Tokenizern und zu Tokenizer-Architekturen für spezialisierte Domänen (Code, Mathematik, Strukturbiologie).

Quellenangaben

Aho, Alfred V. / Sethi, Ravi / Ullman, Jeffrey D., 1986. Compilers: Principles, Techniques, and Tools.
Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Francis, W. Nelson / Kučera, Henry, 1979. Brown Corpus Manual: Manual of Information to Accompany a Standard Corpus of Present-Day Edited American English for Use with Digital Computers. Brown University.
Francis, W. Nelson / Kučera, Henry, 1982. Frequency Analysis of English Usage: Lexicon and Grammar. Houghton Mifflin.
Gage, Philip, 1994. A New Algorithm for Data Compression. In: The C Users Journal 12 (2), S. 23–38.
Jurafsky, Daniel / Martin, James H., 2023. Speech and Language Processing. 3. Auflage (Entwurf). Pearson.
Kudo, Taku, 2018. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), S. 66–75. DOI: 10.18653/v1/P18-1007.
Kudo, Taku / Richardson, John, 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2018), S. 66–71. DOI: 10.18653/v1/D18-2012.
Manning, Christopher D. / Schütze, Hinrich, 1999. Foundations of Statistical Natural Language Processing.
Marcus, Mitchell P. / Santorini, Beatrice / Marcinkiewicz, Mary Ann, 1993. Building a Large Annotated Corpus of English: The Penn Treebank. In: Computational Linguistics 19 (2), S. 313–330.
Pagnoni, Artidoro / Pasunuru, Ram / Rodriguez, Pedro / Nguyen, John / Muller, Benjamin / Li, Margaret / Zhou, Chunting / Yu, Lili / Weston, Jason / Zettlemoyer, Luke / Ghosh, Gargi / Lewis, Mike / Holtzman, Ari / Iyer, Srinivasan, 2025. Byte Latent Transformer: Patches Scale Better Than Tokens. In: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), Volume 1: Long Papers. arXiv: 2412.09871.
Petrov, Aleksandar / La Malfa, Emanuele / Torr, Philip H. S. / Bibi, Adel, 2023. Language Model Tokenizers Introduce Unfairness Between Languages. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.15425.
Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
Rumbelow, Jessica / Watkins, Matthew, 2023. SolidGoldMagikarp (plus, prompt generation). LessWrong / AI Alignment Forum, 5. Februar 2023.
Schuster, Mike / Nakajima, Kaisuke, 2012. Japanese and Korean Voice Search. In: Proceedings of the 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2012), S. 5149–5152. DOI: 10.1109/ICASSP.2012.6289079.
Sennrich, Rico / Haddow, Barry / Birch, Alexandra, 2016. Neural Machine Translation of Rare Words with Subword Units. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), S. 1715–1725. DOI: 10.18653/v1/P16-1162.
Wu, Yonghui u. a., 2016. Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv: 1609.08144.
Xue, Linting u. a., 2022. ByT5: Towards a Token-Free Future with Pre-Trained Byte-to-Byte Models. In: Transactions of the Association for Computational Linguistics 10, S. 291–306. DOI: 10.1162/tacl_a_00461.
Xue, Linting / Barua, Aditya / Constant, Noah / Al-Rfou, Rami / Narang, Sharan / Kale, Mihir / Roberts, Adam / Raffel, Colin, 2021. ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. In: Transactions of the Association for Computational Linguistics 10, S. 291–306. arXiv: 2105.13626.
Yu, Lili u. a., 2023. MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.07185.

← Zurück zur Lexikon-Übersicht