Token Embedding

Token Embedding (auch Token-Einbettung, input embedding) bezeichnet in neuronalen Sprachmodellen die Abbildung diskreter Tokens auf dichte numerische Vektoren in einem festen Vektorraum, die als Eingabe für die nachfolgenden Verarbeitungsschichten dient.

Token Embeddings sind die erste lernbare Schicht praktisch aller heutigen Transformer-basierten Architekturen und werden während des Trainings gemeinsam mit dem gesamten Modell durch Gradientenabstieg angepasst.

Konzeptuell stehen sie in der Tradition der Distributed Representations (Hinton 1986) und der Word Embeddings (Bengio u. a. 2003; Mikolov u. a. 2013, word2vec; Pennington, Socher, Manning 2014, GloVe). Von diesen unterscheiden sie sich aber durch ihre integrierte Trainingsweise innerhalb eines größeren Modells.

Zusammenfassung

Token Embeddings lösen ein grundlegendes Problem der numerischen Sprachverarbeitung: Sprache besteht aus diskreten Symbolen, neuronale Netze operieren auf kontinuierlichen Vektoren.

Die naive One-Hot-Kodierung – jedes Token als Vektor mit einer Eins an genau einer Position und Nullen sonst – ist hochdimensional, dünnbesetzt und kodiert keine Beziehung zwischen verschiedenen Tokens. Token Embeddings ersetzen diese Repräsentation durch dichte, niedrigdimensionale Vektoren (typisch 512 bis 12.288 Dimensionen, je nach Modellgröße), in denen semantisch oder syntaktisch ähnliche Tokens benachbarte Vektoren erhalten.

Technisch handelt es sich um eine Embedding-Tabelle – eine lernbare Matrix der Größe V × d (mit V als Vokabulargröße und d als Embedding-Dimension), die bei jeder Eingabe als Lookup-Operation funktioniert: Das i-te Token wird zum i-ten Zeilenvektor der Matrix.

Die Embedding-Tabelle ist typischerweise einer der größten Parameterblöcke eines Sprachmodells; bei Vokabulargröße 100.000 und Embedding-Dimension 12.288 umfasst sie etwa 1,2 Milliarden Parameter.

Token Embeddings sind nicht statisch – sie werden während des gesamten Trainings durch Backpropagation angepasst und entwickeln dabei reichhaltige semantische und syntaktische Strukturen, die später in der Mechanistic-Interpretability-Forschung untersucht werden.

Konzeptuelle Bestimmung

Vom One-Hot zur dichten Repräsentation

Die naive Repräsentation eines Tokens t aus einem Vokabular der Größe V ist der One-Hot-Vektor eₜ der Dimension V: ein Vektor mit eₜᵢ = 1 an der Position, die dem Token entspricht, und eₜᵢ = 0 sonst.

Diese Repräsentation ist mathematisch wohldefiniert, aber praktisch ungünstig – sie ist hochdimensional (etwa 100.000 bei modernen Vokabularen), extrem dünnbesetzt (eine einzige Nicht-Null-Komponente) und kodiert keine Beziehung zwischen Tokens (zwei beliebige One-Hot-Vektoren sind orthogonal, ihre Skalarprodukte sind null).

Die Token-Embedding-Operation ersetzt diese Repräsentation durch einen Vektor vₜ aus einem niedrigdimensionalen, dichten Vektorraum ℝᵈ. Mathematisch entspricht dies der Multiplikation des One-Hot-Vektors mit einer Embedding-Matrix E der Form V × d:

vₜ = eₜᵀ · E = Eₜ

In der Praxis wird die Matrix-Multiplikation jedoch durch einen einfachen Lookup ersetzt: Statt einen One-Hot-Vektor mit der Embedding-Matrix zu multiplizieren, wird die t-te Zeile der Matrix direkt als Vektor zurückgegeben.

Embedding-Dimensionen

Die Dimension d des Embedding-Raums ist ein zentraler Hyperparameter. Typische Werte (Stand 2025/2026):

word2vec: 100–300. BERT-Base: 768. BERT-Large: 1.024 (Devlin u. a. 2019). GPT-2 Small: 768. GPT-2 XL: 1.600 (Radford u. a. 2019). GPT-3 175B: 12.288 (Brown u. a. 2020). Llama 3 70B: 8.192 (Grattafiori u. a. 2024). Frontier-Modelle (Claude Opus, GPT-4, Gemini Ultra): geschätzt 12.288–18.000.

Größere Embedding-Dimensionen erlauben reichhaltigere Repräsentationen, vergrößern aber die Embedding-Tabelle und alle nachfolgenden Schichten proportional.

Lernbare vs. fixierte Embeddings

In modernen Sprachmodellen sind Token Embeddings lernbare Parameter, die zusammen mit dem Rest des Modells durch Backpropagation angepasst werden. Sie werden typischerweise zufällig initialisiert (Glorot- oder He-Initialisierung) und während des Vortrainings auf die semantischen und syntaktischen Strukturen des Trainingskorpus eingestellt.

In speziellen Anwendungen werden auch vortrainierte Embeddings als Initialisierung verwendet – etwa word2vec- oder GloVe-Vektoren als Startpunkt für ein nachgelagertes Modell. Diese Praxis war in der NLP-Forschung der späten 2010er Jahre verbreitet, ist heute aber weitgehend durch end-to-end-trainierte Embeddings ersetzt.

Ideengeschichtliche Einordnung

Distributed Representations (1986)

Die ideengeschichtliche Wurzel des Token Embedding liegt in Geoffrey Hintons Konzept der Distributed Representations (Hinton 1986, in Parallel Distributed Processing, Rumelhart/McClelland Hrsg.). Demnach werden Konzepte nicht durch einzelne Recheneinheiten (grandmother cells) repräsentiert, sondern durch Muster über viele Einheiten hinweg, wobei ähnliche Konzepte ähnliche Muster aufweisen.

Neuronale Sprachmodelle (Bengio 2003)

Yoshua Bengio, Réjean Ducharme, Pascal Vincent und Christian Jauvin haben in A Neural Probabilistic Language Model (Journal of Machine Learning Research 3, 2003) das erste neuronale Sprachmodell mit erlernten distributed word representations publiziert.

Sie argumentierten explizit, dass die Einbettung von Wörtern in einen niedrigdimensionalen Vektorraum die Curse of Dimensionality klassischer n-Gramm-Modelle überwindet. Statt einer separaten Wahrscheinlichkeit für jede mögliche Wortkombination werden dabei ähnliche Wörter ähnlich behandelt, was die Generalisierung auf nicht im Training gesehene Kombinationen ermöglicht.

Word2vec und GloVe (2013/2014)

Der breite Durchbruch erfolgte 2013 mit word2vec von Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado und Jeffrey Dean (Google): Sie publizierten zwei effiziente Trainingsverfahren – Skip-Gram und Continuous Bag-of-Words (CBOW) –, die Wort-Vektoren aus großen Textkorpora extrahierten.

Die paradigmatische Beobachtung, dass arithmetische Operationen in Vektorräumen semantische Beziehungen abbilden (king − man + woman ≈ queen), wurde zum populärsten Beleg der semantischen Struktur dieser Repräsentationen.

GloVe (Pennington, Socher, Manning 2014, Stanford) leitet ähnliche Wort-Vektoren aus globalen Kookkurrenz-Matrizen ab; FastText (Bojanowski u. a. 2017, Facebook AI Research) erweitert word2vec um Subwort-Informationen.

Kontextabhängige Embeddings (ab 2018)

Eine zentrale Verschiebung erfolgte mit ELMo (Peters u. a. 2018, NAACL) und insbesondere mit BERT (Devlin u. a. 2019). Während word2vec und GloVe jedem Wort einen einzigen, kontextunabhängigen Vektor zuordneten, produzieren BERT und nachfolgende Modelle kontextabhängige Repräsentationen – derselbe Token erhält unterschiedliche Vektoren je nach Position und Umgebung.

In diesen Modellen sind die Token Embeddings der ersten Schicht weiterhin kontextfrei, werden aber durch die nachfolgenden Transformer-Schichten zu kontextabhängigen Repräsentationen verarbeitet.

Embeddings in der Transformer-Architektur (2017)

In der Transformer-Architektur (Vaswani u. a. 2017, Attention Is All You Need) wird das Token Embedding mit dem Positional Encoding kombiniert (durch Addition oder Verkettung), um die Sequenzposition der Tokens zu kodieren. Das Ergebnis dient als Eingabe für den ersten Transformer-Block. Diese Kombination – kontextfreie Token-Vektoren plus Positionsinformation als Eingabe in eine kontextverarbeitende Architektur – ist die heute Standardform.

Strukturelle Eigenschaften

Geometrische Organisation

Trainierte Token Embeddings zeigen eine reichhaltige geometrische Organisation. Drei Hauptbefunde:

Semantische Ähnlichkeit als räumliche Nähe: Tokens mit verwandter Bedeutung haben benachbarte Vektoren. Die Kosinus-Ähnlichkeit zwischen Embeddings ist ein häufig verwendetes Maß semantischer Verwandtschaft.

Lineare semantische Strukturen: In word2vec-ähnlichen Embeddings approximieren bestimmte semantische Beziehungen lineare Operationen – die berühmte „king − man + woman ≈ queen”-Analogie. Diese Linearität ist in modernen LLM-Embeddings nicht in derselben reinen Form erhalten, aber strukturierte Beziehungen lassen sich durch Probing-Verfahren weiterhin nachweisen.

Anisotropie: Empirische Untersuchungen (Ethayarajh 2019, How Contextual are Contextualized Word Representations?) haben gezeigt, dass die Embedding-Räume moderner Sprachmodelle typischerweise anisotrop sind – die Vektoren konzentrieren sich in einem kleinen Kegel des Raums, statt die volle Dimensionalität gleichmäßig zu nutzen.

Superposition und Polysemantizität

Aus der Mechanistic-Interpretability-Forschung (Anthropic, Elhage u. a. 2022, Toy Models of Superposition) ist bekannt, dass Token Embeddings – wie tiefe Repräsentationen allgemein – typisch polysemantisch sind: Eine einzelne Dimension kodiert nicht ein einzelnes Konzept, sondern überlagerte Anteile mehrerer Konzepte.

Die Superposition-Hypothese besagt, dass neuronale Netze mehr Features repräsentieren als sie Dimensionen haben, durch nicht-orthogonale Einbettung. Sparse Autoencoders (Cunningham u. a. 2023; Templeton u. a. 2024, Anthropic, Scaling Monosemanticity) sind eine aktive Forschungslinie, die monosemantische Features aus polysemantischen Embeddings zu extrahieren versucht.

Output-Embeddings und Weight Tying

Am Ende eines Sprachmodells steht typischerweise eine Output-Schicht (auch Unembedding-Schicht, lm_head), die die Hidden-States zurück in eine Verteilung über das Vokabular projiziert. Diese Output-Matrix hat die Form d × V – komplementär zur Token-Embedding-Matrix V × d.

In vielen Architekturen (BERT, GPT-2) werden Input- und Output-Embeddings durch Weight Tying identifiziert (Press/Wolf 2017): Beide nutzen dieselbe Matrix (mit Transposition), was Parameter spart und in der Sekundärliteratur als regularisierend diskutiert wird. In den größten Frontier-Modellen wird Weight Tying teilweise zugunsten getrennter Matrizen aufgegeben.

Embedding-Modelle als eigenständige Anwendung

Neben ihrer Rolle als Eingabeschicht großer Sprachmodelle haben Embedding-Modelle eine eigenständige Anwendungsbedeutung als Werkzeug zur Repräsentation ganzer Texte (oder anderer Inhalte) als feste Vektoren.

Sentence-BERT (Reimers/Gurevych 2019, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks) führte die Praxis ein, BERT-Modelle so zu finetunen, dass Cosinus-Ähnlichkeiten zwischen den Output-Embeddings semantische Ähnlichkeiten widerspiegeln.

Solche Embedding-Modelle sind heute zentral für:

Vektor-Suche und Retrieval-Augmented Generation (RAG): Dokumente werden als Embeddings in einer Vector Database (Pinecone, Weaviate, Chroma, Qdrant, pgvector) gespeichert; bei einer Anfrage wird das Anfrage-Embedding berechnet und die nächstliegenden Dokument-Embeddings werden zurückgegeben.

Semantische Suche: Suchmaschinen, die nicht nur lexikalisch (Stichworte) suchen, sondern semantisch (Bedeutungsähnlichkeit).

Clustering und Klassifikation: Dokumente werden in Vektorraum eingebettet und mit klassischen Verfahren weiterverarbeitet.

Kommerzielle Anbieter wie OpenAI (text-embedding-3-large, text-embedding-3-small), Anthropic (Voyage AI als Partner), Cohere (embed-v3), Google (Gemini Embedding) und Open-Source-Projekte wie BGE, E5 und Nomic Embed bieten spezialisierte Embedding-Modelle an.

Multimodale Embeddings

In multimodalen Modellen wird der Embedding-Begriff über Text hinaus erweitert:

Bild-Embeddings: Bildpatches werden durch eine Patch-Embedding-Schicht (lineare Projektion, manchmal mit einem kleinen CNN) in den gemeinsamen Vektorraum eingebettet.

Audio-Embeddings: Audio-Frames werden durch Convolutional- oder Spektrogramm-Projektionen eingebettet.

Cross-modal-aligned Embeddings: Modelle wie CLIP (Radford u. a. 2021, OpenAI) und ALIGN (Jia u. a. 2021, Google) trainieren Bild- und Text-Encoder so, dass semantisch entsprechende Inhalte (etwa ein Hundebild und das Wort „Hund”) ähnliche Embeddings erhalten. Diese kreuzmodalen Embeddings sind die Grundlage moderner Text-zu-Bild-Modelle und multimodaler Suchsysteme.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Bias-Reproduktion: Trainierte Embeddings reproduzieren systematisch die Verzerrungen des Trainingskorpus.

Bolukbasi u. a. (Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016) zeigten, dass word2vec-Embeddings geschlechtsbezogene Stereotype kodieren – eine Beobachtung, die in der Folgeforschung umfangreich repliziert und kritisiert wurde. Debiasing-Verfahren (Bolukbasi u. a. 2016, Caliskan u. a. 2017) sind entwickelt, ohne das Problem grundsätzlich zu lösen.

Anisotropie: Die Konzentration der Embedding-Vektoren in einem schmalen Kegel des Raums (Ethayarajh 2019) bedeutet, dass Cosinus-Ähnlichkeiten zwischen beliebigen Tokens systematisch hoch sind, was die Aussagekraft von Ähnlichkeitsmaßen relativiert.

Polysemantizität und Interpretierbarkeit: Token Embeddings sind in moderner Form schwer interpretierbar – einzelne Dimensionen entsprechen keinen klaren Konzepten. Die Sparse-Autoencoder-Forschung versucht, dies zu adressieren, ohne eine breit akzeptierte Lösung anbieten zu können.

Sprachliche Asymmetrien: Embeddings nicht-englischer Sprachen sind in Modellen, die überwiegend auf englischem Text trainiert wurden, oft semantisch weniger reichhaltig und strukturell anders organisiert als englische Embeddings. Mehrsprachige Modelle adressieren diese Asymmetrie nur teilweise.

Stand 2025/2026

Token Embeddings bleiben die Standardeingangsschicht praktisch aller leistungsfähigen Sprach- und Multimodalitätsmodelle.

Die jüngere Forschung konzentriert sich auf interpretierbare Embeddings (Mechanistic Interpretability, Sparse Autoencoders), multimodale Vereinheitlichung (gemeinsame Embeddings für Text, Bild, Audio, Video), spezialisierte Embedding-Modelle für RAG-Anwendungen und auf Embedding-Räume für naturwissenschaftliche Domänen (Proteine, kleine Moleküle, Genome).

Mit der zunehmenden Größe der Vokabulare (bis zu 250.000+ Tokens) und Embedding-Dimensionen (über 12.000) wachsen die Embedding-Tabellen zu einem substantiellen Anteil des gesamten Modellparameterhaushalts; Embedding-Kompression und faktorisierte Embeddings sind aktive Forschungsfelder.

Quellenangaben

Bengio, Yoshua / Ducharme, Réjean / Vincent, Pascal / Jauvin, Christian, 2003. A Neural Probabilistic Language Model. In: Journal of Machine Learning Research 3, S. 1137–1155.
Bojanowski, Piotr / Grave, Edouard / Joulin, Armand / Mikolov, Tomas, 2017. Enriching Word Vectors with Subword Information. In: Transactions of the Association for Computational Linguistics 5, S. 135–146. DOI: 10.1162/tacl_a_00051.
Bolukbasi, Tolga / Chang, Kai-Wei / Zou, James Y. / Saligrama, Venkatesh / Kalai, Adam T., 2016. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. In: Advances in Neural Information Processing Systems 29 (NeurIPS 2016), S. 4349–4357.
Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2005.14165.
Caliskan, Aylin / Bryson, Joanna J. / Narayanan, Arvind, 2017. Semantics derived automatically from language corpora contain human-like biases. In: Science 356 (6334), S. 183–186. DOI: 10.1126/science.aal4230.
Cunningham, Hoagy u. a., 2023. Sparse Autoencoders Find Highly Interpretable Features in Language Models. arXiv: 2309.08600.
Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Elhage, Nelson u. a., 2022. Toy Models of Superposition. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
Ethayarajh, Kawin, 2019. How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP 2019), S. 55–65. DOI: 10.18653/v1/D19-1006.
Grattafiori, Aaron u. a. (Meta AI), 2024. The Llama 3 Herd of Models. arXiv: 2407.21783.
Hinton, Geoffrey E., 1986. Distributed Representations.
Jia, Chao / Yang, Yinfei / Xia, Ye / Chen, Yi-Ting / Parekh, Zarana / Pham, Hieu / Le, Quoc V. / Sung, Yunhsuan / Li, Zhen / Duerig, Tom, 2021. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2102.05918.
Mikolov, Tomas / Sutskever, Ilya / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Distributed Representations of Words and Phrases and Their Compositionality. In: Advances in Neural Information Processing Systems 26 (NeurIPS 2013). arXiv: 1310.4546.
Mikolov, Tomas / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Efficient Estimation of Word Representations in Vector Space. arXiv: 1301.3781.
Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.
Peters, Matthew E. / Neumann, Mark / Iyyer, Mohit / Gardner, Matt / Clark, Christopher / Lee, Kenton / Zettlemoyer, Luke, 2018. Deep Contextualized Word Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2018), S. 2227–2237. DOI: 10.18653/v1/N18-1202. arXiv: 1802.05365.
Press, Ofir / Wolf, Lior, 2017. Using the Output Embedding to Improve Language Models. In: Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2017), S. 157–163. DOI: 10.18653/v1/E17-2025.
Radford, Alec / Wu, Jeffrey / Child, Rewon / Luan, David / Amodei, Dario / Sutskever, Ilya, 2019. Language Models are Unsupervised Multitask Learners. OpenAI.
Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
Reimers, Nils / Gurevych, Iryna, 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP 2019), S. 3982–3992. DOI: 10.18653/v1/D19-1410.
Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. In: Transformer Circuits Thread, Anthropic.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht