Word Embeddings

Word Embeddings (deutsch Wortvektoren) sind Darstellungen von Wörtern als Zahlenvektoren, deren Lage im Raum die Bedeutung des Wortes abbildet. Wörter mit ähnlicher Verwendung liegen nahe beieinander; die Vektoren werden aus großen Textmengen gelernt, ohne dass jemand Bedeutungen festlegt.

Zusammenfassung

Die Grundlage ist die Verteilungshypothese der Sprachwissenschaft: Ein Wort ist durch die Gesellschaft bestimmt, in der es auftritt. Wer weiß, in welchen Umgebungen ein Wort vorkommt, weiß viel über seine Bedeutung.

Der Durchbruch gelang 2013 mit word2vec, einer Arbeitsgruppe um Tomas Mikolov bei Google. Das Verfahren trainiert ein flaches Netz darauf, aus einem Wort seine Nachbarn vorherzusagen – und verwirft anschließend das Netz, um nur die dabei entstandenen Vektoren zu behalten.

Berühmt wurde die Beobachtung, dass sich mit diesen Vektoren rechnen lässt: Der Vektor für König minus Mann plus Frau liegt in der Nähe von Königin. Das galt als Beleg, dass die Darstellung Struktur erfasst und nicht bloß Ähnlichkeit.

Ab 2018 wurden Wortvektoren von kontextabhängigen Darstellungen abgelöst. Ihr Grundgedanke lebt darin fort – und in jedem Embedding-Modell, das heute Texte für die Suche vergleichbar macht.

Begriffsgeschichte

Die Verteilungshypothese formulierte Zellig Harris 1954; John Rupert Firth prägte 1957 die zugehörige Merkformel. Beide beschrieben ein sprachwissenschaftliches Prinzip, keine Rechenvorschrift.

Erste Umsetzungen arbeiteten mit großen Zähltabellen: Wie oft steht Wort A in der Nähe von Wort B? Solche Matrizen sind riesig und dünn besetzt; Verfahren zur Dimensionsreduktion verdichteten sie zu handlicheren Darstellungen.

Der Wechsel kam 2013. Mikolov und Kollegen zeigten mit word2vec, dass sich brauchbare Vektoren aus einem einfachen Vorhersageziel gewinnen lassen – schneller und auf größeren Datenmengen als mit den Zählverfahren.

Ein Jahr später legte eine Gruppe in Stanford mit GloVe ein Verfahren vor, das beide Wege verbindet: Es arbeitet mit den Häufigkeiten des gemeinsamen Auftretens, optimiert aber wie ein Vorhersagemodell.

2018 endete die Ära. Mit ELMo und kurz darauf BERT setzten sich Darstellungen durch, die für jedes Vorkommen eines Wortes einen eigenen Vektor erzeugen – abhängig vom Satz, in dem es steht.

Methodische Grundlagen

Zwei Trainingsziele. Word2vec kennt zwei Varianten. Die eine sagt ein Wort aus seiner Umgebung vorher, die andere die Umgebung aus dem Wort. Die zweite arbeitet besser mit seltenen Wörtern, die erste ist schneller.

Negative Beispiele. Statt über das gesamte Vokabular zu rechnen, wird das Ziel umgeformt: Unterscheide echte Nachbarschaften von zufällig gezogenen. Diese Vereinfachung machte das Training auf Milliarden von Wörtern erst möglich.

Kosinusähnlichkeit. Verglichen wird nicht der Abstand, sondern der Winkel zwischen zwei Vektoren. Damit spielt die Länge keine Rolle – ein häufiges Wort mit langem Vektor ist einem seltenen ähnlich, wenn beide in dieselbe Richtung zeigen.

Analogien als Vektorrechnung. Die bekannten Rechenbeispiele beruhen darauf, dass wiederkehrende Beziehungen als gleichbleibende Verschiebungen im Raum erscheinen. Spätere Untersuchungen zeigten, dass der Effekt schwächer und stärker von der Auswertung abhängig ist als zunächst dargestellt.

Ein Vektor je Wort. Die grundlegende Einschränkung: Bank erhält einen einzigen Vektor, der Geldhaus und Sitzgelegenheit vermengt. Die Darstellung kennt keinen Kontext.

Anwendungsfelder

Vorbereitung nachgelagerter Aufgaben. Vor 2018 waren Wortvektoren die übliche Eingangsschicht für Klassifikation, Namenserkennung und Stimmungsanalyse – ein Weg, Vorwissen aus großen Textmengen einzubringen.

Suche und Empfehlung. Die Idee, Bedeutung als Nähe im Raum darzustellen, trägt bis heute jede Suche, die nach Sinn statt nach Zeichenketten sucht.

Sprachvergleich und Sprachgeschichte. Vektorräume verschiedener Sprachen oder verschiedener Zeitschnitte lassen sich aufeinander abbilden. Damit wurden Bedeutungswandel und Übersetzungsbeziehungen messbar.

Untersuchung von Verzerrungen. Weil die Vektoren gesellschaftliche Sprachmuster abbilden, wurden sie zum Messinstrument: Berufsbezeichnungen zeigten messbare Nähe zu Geschlechtsbegriffen.

Kontroversen und Kritik

Erlernte Vorurteile. Die vielzitierte Beobachtung, dass sich aus den Vektoren Analogien mit stereotyper Geschlechterzuordnung bilden lassen, wurde zum Standardbeispiel für algorithmische Verzerrung. Spätere Arbeiten wiesen nach, dass ein Teil des Effekts durch die Auswertung erzeugt wird, die naheliegende Antworten ausschließt.

Überschätzte Analogien. Die Rechenbeispiele wurden als Beleg für Bedeutungsverständnis gelesen. Sie funktionieren aber nur für wenige Beziehungstypen zuverlässig und brechen bei anderen ein.

Keine Kontextabhängigkeit. Mehrdeutige Wörter erhalten einen Mischvektor. Das ist keine Ungenauigkeit, sondern eine Grenze des Ansatzes – und der Grund seiner Ablösung.

Häufigkeitsabhängige Qualität. Seltene Wörter erhalten schlechte Vektoren, weil zu wenige Nachbarschaften beobachtet wurden. Gerade Fachbegriffe und Namen sind davon betroffen.

Verfahren zur Entzerrung. Vorschläge, die Verzerrung nachträglich aus den Vektoren zu entfernen, erwiesen sich als oberflächlich: Die Information blieb in anderer Form erhalten und ließ sich weiterhin auslesen.

Was von ihnen geblieben ist

Wortvektoren sind als eigenständige Technik verschwunden und als Denkfigur allgegenwärtig.

Verschwunden ist die feste Zuordnung von einem Wort zu einem Vektor. Kontextabhängige Modelle leisten dasselbe besser, weil sie die Mehrdeutigkeit auflösen, statt sie zu mitteln.

Geblieben ist die Grundannahme: Bedeutung lässt sich als Lage in einem Raum darstellen, und Nähe in diesem Raum bedeutet Verwandtschaft im Inhalt. Jede Vektorsuche, jede Empfehlung nach Ähnlichkeit und jedes Abrufsystem beruht darauf.

Bemerkenswert ist die Rolle, die Wortvektoren in der Kritik spielten. Sie waren klein genug, um vollständig untersucht zu werden – man konnte alle Vektoren betrachten und die Verzerrungen unmittelbar zeigen. Bei den Nachfolgemodellen ist diese Untersuchbarkeit verloren gegangen, ohne dass die Probleme verschwunden wären.

Verwandte Begriffe

• Embedding-Modell – heutige Nachfolge für ganze Texte
• BERT – Modell, das kontextabhängige Darstellungen durchsetzte
• Vector Database – Speicher für die Suche in solchen Räumen
• Tokenisierung – vorgelagerter Schritt
• Natural Language Processing – Fachgebiet der Entstehung
• Algorithmic Bias – Forschungsfeld, für das sie zum Messobjekt wurden
• Transformer – Architektur der ablösenden Modelle

Quellenangaben

1. Bolukbasi, Tolga / Chang, Kai-Wei / Zou, James Y. / Saligrama, Venkatesh / Kalai, Adam T., 2016. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. In: Advances in Neural Information Processing Systems 29 (NeurIPS 2016), S. 4349–4357.
2. Mikolov, Tomas / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Efficient Estimation of Word Representations in Vector Space. arXiv: 1301.3781.
3. Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.
4. Peters, Matthew E. u. a., 2018. Deep Contextualized Word Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), S. 2227–2237. DOI: 10.18653/v1/N18-1202.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.