Token (Maschinelles Lernen)

Token bezeichnet im maschinellen Lernen und in der natürlichen Sprachverarbeitung die kleinste diskrete Verarbeitungseinheit, in die eine Eingabesequenz vor der numerischen Weiterverarbeitung zerlegt wird. Das einzelne Token entspricht einem Element aus einem festgelegten Vokabular und wird durch eine ganzzahlige Identifikationsnummer (Token-ID) repräsentiert, die wiederum auf einen dichten Vektorraum abgebildet wird.

In großen Sprachmodellen sind Tokens typischerweise Subwort-Einheiten – kürzer als Wörter, länger als einzelne Zeichen –, in multimodalen Modellen kann ein Token auch einen Bild-Patch, einen Audio-Frame oder ein anderes diskretisiertes Eingabeelement bezeichnen.

Zusammenfassung

Das Token ist die grundlegende Recheneinheit moderner Sprach- und Multimodalitätsmodelle: Eingabesequenzen werden durch einen Tokenizer in eine Folge von Tokens zerlegt, die das Modell anschließend Schritt für Schritt verarbeitet.

Welche Einheiten als Tokens gewählt werden, ist nicht durch die natürliche Sprache vorgegeben, sondern eine technische Wahl mit weitreichenden Folgen für Modellleistung, Kontextlänge, Recheneffizienz, sprachliche Fairness und ökonomische Aspekte.

In der heutigen Praxis dominieren Subwort-Tokens: Häufige Wörter (englisch the, and, is) erscheinen als ein einzelnes Token, seltenere Wörter (Stochastizität, Tokenisierungsalgorithmus) werden in mehrere Subwort-Tokens zerlegt.

Tokens unterscheiden sich konzeptuell von linguistischen Einheiten wie Wort, Morphem oder Silbe – sie sind ingenieurtechnische, korpus-statistisch optimierte Einheiten ohne notwendige semantische oder grammatische Atomarität.

In multimodalen Modellen wird der Token-Begriff über Text hinaus erweitert: Bilder werden in visuelle Tokens (Patches) zerlegt, Audio in Audio-Frames, Code in spezialisierte Code-Tokens, Proteine in Aminosäure-Tokens und so weiter.

Eine zentrale Faustregel der Praxis lautet, dass im Englischen etwa drei bis vier Zeichen oder eine dreiviertel Wort einem Token entsprechen; in vielen anderen Sprachen – insbesondere mit nicht-lateinischen Schriften – kann das Verhältnis erheblich abweichen.

Konzeptuelle Bestimmung

Token als algorithmische Einheit

Ein Token ist nicht primär durch seine linguistische, semantische oder kognitive Funktion bestimmt, sondern durch seine Stellung im Vokabular eines konkreten Sprachmodells.

Jedes Modell besitzt ein eigenes, fest definiertes Vokabular von typisch 30.000 bis 250.000 Einträgen; jedem Eintrag entspricht eine eindeutige Token-ID (typisch ein 32-Bit-Integer). Ein gegebener Textabschnitt wird durch den Tokenizer in eine eindeutige Sequenz solcher IDs übersetzt. Zwei Modelle mit unterschiedlichen Tokenizern erzeugen für denselben Text unterschiedliche Token-Sequenzen.

Token ≠ Wort

Im allgemeinen Sprachgebrauch wird Token häufig mit Wort gleichgesetzt – diese Identifikation ist inkorrekt. Ein häufig zitierte Faustregel besagt, dass ein englischsprachiger Eingabetext etwa 0,75 Tokens pro Wort umfasst (OpenAI-Dokumentation). In der Praxis variieren diese Verhältnisse jedoch stark: Code, Mathematik, Eigennamen, Tabellen und nicht-englische Sprachen produzieren oft deutlich abweichende Token/Wort-Quotienten.

Spezialtokens

Zusätzlich zu den aus dem Trainingskorpus abgeleiteten Subwort-Tokens enthält das Vokabular eines Sprachmodells typisch mehrere Spezialtokens, die strukturelle oder funktionale Rollen übernehmen. Übliche Beispiele:

[BOS] / <|begin_of_text|> – markiert den Anfang einer Sequenz.

[EOS] / <|end_of_text|> – markiert das Ende einer Sequenz und ist häufig das Signal an autoregressive Modelle, die Generierung zu beenden.

[PAD] – füllt kürzere Sequenzen auf eine einheitliche Länge auf, damit Batch-Verarbeitung möglich ist.

[SEP] / [CLS] – in BERT und verwandten Modellen verwendet, um Sequenzgrenzen und Klassifikationspunkte zu markieren.

[MASK] – in BERT und Masked-Language-Models verwendet, um zu vorhersagende Positionen zu kennzeichnen.

<|system|>, <|user|>, <|assistant|> – in Chat-Modellen verwendet, um Sprecherrollen zu markieren (Chat-Templates, ChatML-Format und Varianten).

Tokenisierungsmodi

Wort-Tokens

In klassischen statistischen NLP-Modellen (bis etwa 2015) waren Wort-Tokens die übliche Form. Ein Token entsprach genau einer Wortform; das Vokabular umfasste die häufigsten Wörter des Trainingskorpus, mit einem UNK-Token für seltene oder neue Wörter. Diese Form ist heute überwiegend ersetzt.

Subwort-Tokens

Heute dominante Form. Subwort-Tokens sind Einheiten unterhalb der Wortebene, die durch Algorithmen wie Byte Pair Encoding, WordPiece oder Unigram Language Model aus dem Trainingskorpus gewonnen werden.

Häufige Wörter wie the oder and bilden eigene Tokens, seltene Wörter werden in mehrere Subwort-Tokens zerlegt (Stochastizität könnte etwa als Stoch–ast–izität erscheinen). Diese Form vermeidet das Out-of-Vocabulary-Problem: Jeder beliebige Text kann als Folge bekannter Subwörter dargestellt werden.

Zeichen- und Byte-Tokens

Zeichen-Tokens (jedes Token ist genau ein Zeichen) und Byte-Tokens (jedes Token ist genau ein Byte) sind einfacher, produzieren aber sehr lange Sequenzen. Byte-Level-Tokenisierung wird in modernen Sprachmodellen oft als Fallback-Schicht unter der Subwort-Schicht eingesetzt – Byte-Level BPE (GPT-2, GPT-3, Llama, Claude) kombiniert die Vorteile beider Ebenen.

Visuelle und multimodale Tokens

In Vision-Transformer-Architekturen (Dosovitskiy u. a. 2021) werden Bilder in nicht-überlappende Patches (typisch 16×16 Pixel) zerlegt, die jeweils als visuelles Token behandelt werden.

In multimodalen Modellen wie GPT-4o, Claude 3 Opus mit Vision und Gemini werden Text-Tokens und visuelle Tokens in einem gemeinsamen Sequenzraum verarbeitet. Modelle wie DALL·E (Ramesh u. a. 2021) und Parti (Yu u. a. 2022) verwenden diskrete Visual Tokens aus Vektorquantisierungs-Verfahren (VQ-VAE, van den Oord, Vinyals, Kavukcuoglu 2017).

Audio-Tokens

Audiosignale werden in modernen Modellen (Whisper, AudioLM, MusicLM) durch diskrete Audio-Tokens repräsentiert, typischerweise gewonnen durch Neural Audio Codecs wie EnCodec (Défossez u. a. 2022, Meta) oder SoundStream (Zeghidour u. a. 2021, Google).

Spezialisierte Tokens

In Code-Modellen werden zusätzlich Code-spezifische Tokens verwendet – etwa für Einrückungen, Klammern, Syntax-Konstrukte. In Strukturbiologie-Modellen wie ESM (Rives u. a. 2021, ProteinNet) repräsentieren Tokens einzelne Aminosäuren. In Mathematik-orientierten Modellen werden Zahlen oft ziffernweise tokenisiert.

Token-Anzahl und Kontextlänge

Kontextfenster

Jedes Sprachmodell besitzt eine maximale Sequenzlänge – das Kontextfenster –, innerhalb derer es Tokens verarbeiten kann. Typische Werte (Stand 2025/2026):

GPT-3 (2020): 2.048 Tokens (Brown u. a. 2020). GPT-3.5: 4.096 Tokens. GPT-4 (2023): 8.192 / 32.768 Tokens. GPT-4 Turbo: 128.000 Tokens. GPT-5 (August 2025) und GPT-5.5 (April 2026): bis zu 1.000.000 Tokens über die API (OpenAI 2026). Claude 2 (2023): 100.000 Tokens. Claude 3 bis Claude Opus 4.5 (2024–2025): standardmäßig 200.000 Tokens (Anthropic 2025).

Gemini 1.5 Pro (2024): 1.000.000 Tokens, in spezifischen Konfigurationen bis zu 2.000.000. Gemini 3 Pro (November 2025): ebenfalls im Bereich von 1.000.000 Tokens. Llama 3.1 (2024): 128.000 Tokens. Llama 4 Scout (Meta, April 2025): bis zu 10.000.000 Tokens – das mit Abstand größte Kontextfenster eines veröffentlichten Frontier-Modells (Stand August 2026).

Die genauen Werte werden von Anbietern regelmäßig angepasst.

Token-zu-Text-Verhältnis

Die Anzahl der Tokens, die ein gegebener Text produziert, hängt von Sprache, Schrift und Tokenizer ab. Für gängige Tokenizer (Tiktoken cl100k, OpenAI):

Englisch: etwa 4 Zeichen oder 0,75 Wörter pro Token.

Deutsch: etwa 3 Zeichen oder 0,5–0,6 Wörter pro Token – Komposita und morphologisch reiche Formen erzeugen mehr Tokens.

Mandarin: 1–2 Zeichen pro Token, aber semantisch sind chinesische Zeichen weniger informationsdicht als lateinische Wörter, sodass dieselbe Information mehr Tokens benötigt.

Arabisch, Hindi, Thai: meist 1–2 Bytes pro Token bei Byte-Level-Tokenisierung; deutlich mehr Tokens für äquivalente Inhalte als im Englischen.

Code: stark sprach- und tokenizerabhängig; Python und JavaScript typisch ähnlich wie Englisch, weniger gängige Sprachen oder ungewöhnliche Formatierungen können erhebliche Abweichungen erzeugen.

Tokens als ökonomische Einheit

Kommerzielle LLM-Anbieter rechnen Dienstleistungen typischerweise nach Token ab – sowohl Input-Tokens (vom Nutzer eingespeist) als auch Output-Tokens (vom Modell erzeugt). Die Preise unterscheiden sich nach Modell und Token-Typ; Output-Tokens sind typischerweise teurer als Input-Tokens (etwa Faktor 3–5).

Beispielhafte Preisstrukturen (Stand 2025/2026, ohne Anspruch auf Aktualität): Claude Opus, GPT-4 und Gemini Pro liegen typisch im Bereich von wenigen US-Dollar pro Million Input-Tokens und höheren Beträgen für Output-Tokens. Kleinere und ältere Modelle sind deutlich günstiger. Die Token-Kosten sind ein zentraler ökonomischer Parameter sowohl für Endkunden als auch für Produkte, die auf LLM-APIs aufsetzen.

Die in der Tokenisierung-Diskussion erwähnte sprachliche Ungleichbehandlung (Petrov u. a. 2023, Language Model Tokenizers Introduce Unfairness Between Languages) hat direkte ökonomische Folgen: Sprecher nicht-englischer Sprachen zahlen für äquivalente Inhalte oft das Zwei- bis Fünffache.

Tokens in autoregressiver Generierung

In autoregressiven Sprachmodellen (GPT, Claude, Llama) wird die Antwort Token für Token erzeugt: Das Modell sagt jeweils das nächste Token vorher (Wahrscheinlichkeitsverteilung über das gesamte Vokabular), aus der durch ein Sampling-Verfahren (greedy, top-k, top-p/nucleus, temperatur-skaliert) ein konkretes Token gewählt wird.

Dieses Token wird an die Eingabesequenz angehängt, und der Prozess wiederholt sich, bis ein EOS-Token (oder eine Längenbegrenzung) erreicht ist.

Pro Token entstehen damit Rechenkosten in Form einer Forward-Pass-Berechnung durch das gesamte Modell – bei großen Modellen mehrere Hundert Milliarden Multiplikationen je Token. Die durchschnittliche Token-Generierungsrate (typisch 30–200 Tokens pro Sekunde bei Frontier-Modellen, Stand 2025/2026) ist eine zentrale Leistungskennzahl.

Kritik und Probleme

Substantielle Kritik richtet sich auf mehrere Linien:

Semantische Atomarität: Tokens entsprechen keinen klar definierten linguistischen, semantischen oder kognitiven Einheiten. Ein einziges semantisches Konzept kann auf mehrere Tokens verteilt sein, ein einzelnes Token kann zwischen Bedeutungen wechseln. Aus computerlinguistischer Perspektive wird dies als theoretisch unmotivierte, primär ingenieurtechnische Zerlegung kritisiert.

Numerische Anomalien: Tokens für Zahlen sind in vielen Tokenizern inkonsistent; Llama 3 und einige neuere Modelle verwenden daher ziffernweise Tokenisierung.

Sprachliche Ungleichbehandlung: Petrov u. a. 2023 haben quantitativ gezeigt, dass nicht-englische Sprachen substantiell mehr Tokens für äquivalente Inhalte benötigen – mit direkten ökonomischen und kontextlängenbezogenen Folgen.

Glitch-Tokens: Im GPT-Tokenizer wurden seit 2023 glitch tokens dokumentiert (etwa SolidGoldMagikarp) – Tokens, die im Vokabular existieren, aber im Trainingstext nicht hinreichend vertreten waren und undefiniertes Modellverhalten erzeugen.

Robustheitsprobleme: Kleine Eingabevariationen – Tippfehler, alternative Unicode-Schreibungen, Whitespace-Änderungen – können die Tokenisierung und damit die Modellausgabe substantiell verändern.

Begriffliche Verwirrung: In der populären Diskussion wird Token häufig mit Wort gleichgesetzt, was zu falschen Erwartungen über Kontextlängen, Kosten und Modellverhalten führt.

Stand 2025/2026

Tokens bleiben die zentrale Recheneinheit moderner Sprach- und Multimodalitätsmodelle. Die jüngere Forschung untersucht alternative Repräsentationen – Token-freie Architekturen wie ByT5 (Xue u. a. 2022) und MEGABYTE (Yu u. a. 2023), hierarchische und mehrebige Token-Verarbeitung, lernbare Tokenizer und multimodale Token-Räume.

Mit der Skalierung der Kontextfenster (bis zu mehreren Millionen Tokens) verschiebt sich die praktische Relevanz von Token-Knappheit zu Token-Verarbeitungseffizienz. Eine offene Forschungsfrage ist, ob Frontier-Modelle der nächsten Generation den Token-Begriff in seiner heutigen Form beibehalten oder durch flexiblere Repräsentationen ersetzen werden.

Verwandte Begriffe

• Token Embedding – anschließende Vektorabbildung
• Subwort-Modelle – heute dominante Token-Klasse
• Attention-Mechanismus – Verarbeitung von Token-Sequenzen in Transformern

Quellenangaben

1. Anthropic, 2025. Introducing Claude Opus 4.5. Anthropic, 24. November 2025. https://www.anthropic.com/news/claude-opus-4-5
2. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
3. Défossez, Alexandre / Copet, Jade / Synnaeve, Gabriel / Adi, Yossi, 2023. High Fidelity Neural Audio Compression. In: Transactions on Machine Learning Research. arXiv: 2210.13438.
4. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
5. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
6. Défossez, Alexandre / Copet, Jade / Synnaeve, Gabriel / Adi, Yossi, 2022. High Fidelity Neural Audio Compression. Meta AI. arXiv: 2210.13438.
7. Holtzman, Ari / Buys, Jan / Du, Li / Forbes, Maxwell / Choi, Yejin, 2020. The Curious Case of Neural Text Degeneration. In: Proceedings of the International Conference on Learning Representations (ICLR 2020). arXiv: 1904.09751.
8. Meta AI, 2025. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation. Meta AI Blog, 5. April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
9. OpenAI, 2026. Introducing GPT-5.5. OpenAI, 23. April 2026. https://openai.com/index/introducing-gpt-5-5/
10. Petrov, Aleksandar / La Malfa, Emanuele / Torr, Philip H. S. / Bibi, Adel, 2023. Language Model Tokenizers Introduce Unfairness Between Languages. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.15425.
11. Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
12. Ramesh, Aditya / Pavlov, Mikhail / Goh, Gabriel / Gray, Scott / Voss, Chelsea / Radford, Alec / Chen, Mark / Sutskever, Ilya, 2021. Zero-Shot Text-to-Image Generation. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2102.12092.
13. Rives, Alexander u. a., 2021. Biological Structure and Function Emerge from Scaling Unsupervised Learning to 250 Million Protein Sequences. In: Proceedings of the National Academy of Sciences 118 (15). DOI: 10.1073/pnas.2016239118.
14. Sennrich, Rico / Haddow, Barry / Birch, Alexandra, 2016. Neural Machine Translation of Rare Words with Subword Units. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), S. 1715–1725. DOI: 10.18653/v1/P16-1162.
15. van den Oord, Aäron / Vinyals, Oriol / Kavukcuoglu, Koray, 2017. Neural Discrete Representation Learning. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017). arXiv: 1711.00937. (VQ-VAE).
16. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
17. Xue, Linting u. a., 2022. ByT5: Towards a Token-Free Future with Pre-Trained Byte-to-Byte Models. In: Transactions of the Association for Computational Linguistics 10, S. 291–306. DOI: 10.1162/tacl_a_00461.
18. Yao, Shunyu / Zhao, Jeffrey / Yu, Dian u. a. (2022): ReAct: Synergizing Reasoning and Acting in Language Models. arXiv: 2210.03629.
19. Yu, Lili u. a., 2023. MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.07185.
20. Zeghidour, Neil u. a., 2022. SoundStream: An End-to-End Neural Audio Codec. In: IEEE/ACM Transactions on Audio, Speech, and Language Processing 30, S. 495–507. DOI: 10.1109/TASLP.2021.3129994.

← Zurück zur Lexikon-Übersicht