GloVe

GloVe (kurz für Global Vectors for Word Representation) ist ein 2014 in Stanford entwickeltes Verfahren, das jedem Wort eines Vokabulars einen Vektor zuordnet. Es leitet diese Vektoren aus einer Tabelle ab, die für jedes Wortpaar festhält, wie oft die beiden gemeinsam auftreten.

Damit steht es zwischen den beiden Traditionen, die das Feld bis dahin getrennt verfolgte: den Verfahren, die eine große Häufigkeitstabelle zerlegen, und denen, die aus einzelnen Textfenstern Vorhersagen lernen.

Zusammenfassung

Der Ausgangspunkt ist eine Beobachtung über Verhältnisse. Wie oft ein Wort neben einem anderen steht, sagt für sich genommen wenig – Eis und Dampf stehen beide häufig neben Wasser. Aussagekräftig wird erst das Verhältnis zweier solcher Häufigkeiten: Neben fest steht Eis deutlich öfter als Dampf, neben gasförmig umgekehrt. Aus dieser Überlegung leiten die Autoren ihre Zielfunktion her.

Das Ergebnis ist eine gewichtete Ausgleichsrechnung auf dem Logarithmus der Häufigkeitstabelle. Sie wird ausschließlich auf den besetzten Feldern der Tabelle ausgeführt – je nach Textmenge sind drei Viertel bis über neunzig Prozent der Felder leer.

Praktisch wirkte GloVe weniger durch das Verfahren als durch seine Nebenprodukte. Die in Stanford trainierten und frei veröffentlichten Vektorsätze wurden zur Grundausstattung der Sprachverarbeitung und dienten als Eingangsschicht ungezählter Modelle.

Sie sind auch der Gegenstand der bekanntesten Untersuchung über Verzerrungen in Wortvektoren. Und anders als der zeitgleiche Wettbewerber ist das Vorhaben nicht eingeschlafen: 2024 erschienen neue Vektorsätze.

Begriffsgeschichte

Der Aufsatz GloVe: Global Vectors for Word Representation von Jeffrey Pennington, Richard Socher und Christopher D. Manning erschien 2014 auf der Conference on Empirical Methods in Natural Language Processing.

Er reagiert auf eine Lage, in der zwei Verfahrensfamilien nebeneinander bestanden. Die ältere arbeitete mit großen Häufigkeitstabellen und Verfahren zu deren Verdichtung; sie nutzte die Statistik des Textbestands gut aus, lieferte aber Vektorräume, in denen sich die später viel zitierten Rechenanalogien schlecht abbilden ließen.

Die jüngere Familie, ein Jahr zuvor mit word2vec bekannt geworden, lernte aus einzelnen Textfenstern und erzeugte solche Räume – ließ dafür aber die Gesamtstatistik ungenutzt.

Der Beitrag der Arbeit besteht darin, beides zu verbinden: die globale Tabelle als Datengrundlage, die vorhersageähnliche Vektorstruktur als Ziel.

Methodische Grundlagen

Die Häufigkeitstabelle. Gezählt wird, wie oft Wort j im Umfeld von Wort i auftritt. Als Umfeld gelten zehn Wörter nach links und rechts, wobei entferntere Nachbarn schwächer zählen: Ein Wort im Abstand d trägt nur mit dem Bruchteil 1/d zur Zählung bei.

Das Verhältnis als Ausgangspunkt. Die Herleitung setzt nicht bei den Häufigkeiten an, sondern bei ihren Verhältnissen. Das ist der eigentliche gedankliche Schritt: Ein Verhältnis trennt aussagekräftige von beliebigen Nachbarwörtern, eine einzelne Häufigkeit nicht.

Die Zielfunktion. Aus dieser Forderung ergibt sich, dass das Skalarprodukt zweier Wortvektoren – zuzüglich zweier Korrekturglieder – dem Logarithmus ihrer gemeinsamen Häufigkeit entsprechen soll. Minimiert wird die gewichtete quadratische Abweichung von dieser Vorgabe.

Die Gewichtungsfunktion. Sie sorgt dafür, dass leere Felder gar nicht und seltene Paare nur schwach eingehen, sehr häufige Paare aber nicht beliebig dominieren. Oberhalb einer Schwelle von hundert gemeinsamen Vorkommen wird nicht weiter hochgewichtet; unterhalb wächst das Gewicht mit der Potenz drei Viertel.

Zwei Vektoren je Wort. Das Verfahren erzeugt für jedes Wort eine Darstellung als Bezugswort und eine als Umfeldwort. Die veröffentlichten Sätze verwenden die Summe beider, was die Ergebnisse bei den Bedeutungsanalogien merklich verbessert.

Die Verwandtschaft mit word2vec. Der Aufsatz zeigt selbst, dass sich das Ziel des Vorhersageverfahrens in eine Form bringen lässt, die der eigenen Zielfunktion entspricht. Der Unterschied liegt danach nicht im Gegenstand, sondern im Abstandsmaß und darin, dass die Gewichtung frei gewählt werden kann statt sich aus dem Trainingsverfahren zu ergeben.

Anwendungsfelder

Vortrainierte Vektoren als Infrastruktur. Die Stanford-Gruppe veröffentlichte mehrere Sätze unter freier Lizenz, darunter einen aus 840 Milliarden Wörtern des offenen Netzes mit 2,2 Millionen Einträgen und Unterscheidung von Groß- und Kleinschreibung. Diese Dateien, nicht der Algorithmus, sind das, was von GloVe am meisten benutzt wurde.

Eingangsschicht spezialisierter Modelle. Bis etwa 2018 war es üblich, ein Modell für Klassifikation, Eigennamenerkennung oder Sentimentanalyse mit vortrainierten Vektoren zu beginnen statt mit Zufallswerten.

Ähnlichkeitssuche und Stichwortausweitung. Wo es genügt, verwandte Begriffe zu finden, reicht ein Nachschlagen im Vektorsatz – ohne Modellaufruf und ohne Rechenbeschleuniger.

Forschungsgegenstand. Weil die Vektoren klein, vollständig einsehbar und unverändert reproduzierbar sind, wurden sie zum bevorzugten Material für Untersuchungen darüber, was solche Darstellungen eigentlich enthalten.

Kontroversen und Kritik

Kodierte Vorurteile. Die einflussreichste Untersuchung zu Verzerrungen in Wortvektoren – Caliskan, Bryson und Narayanan 2017 in Science – arbeitete ausdrücklich mit dem großen GloVe-Satz. Sie überträgt ein psychologisches Testverfahren auf Vektoren und findet die geprüften Assoziationsmuster durchgängig wieder, bei einzelnen Prüfungen stärker ausgeprägt als in den menschlichen Vergleichsdaten.

Der Befund ist zutreffend, und genau das ist das Problem. Dieselbe Arbeit zeigt, dass sich aus den Vektoren der Frauenanteil in fünfzig Berufen mit einer Korrelation von 0,90 gegen amtliche Statistik vorhersagen lässt. Die Darstellung bildet die Verhältnisse also richtig ab – was sie für Entscheidungen über Menschen gerade untauglich macht.

Entzerrung wirkt oberflächlich. Verfahren, die solche Assoziationen nachträglich aus den Vektoren entfernen sollen, wurden 2019 von Hila Gonen und Yoav Goldberg geprüft. Ihr Ergebnis: Die Information bleibt in den Abständen zwischen den vermeintlich neutralisierten Wörtern erhalten und lässt sich weiterhin auslesen.

Ein Vektor je Wort. Die grundsätzliche Grenze teilt GloVe mit allen Verfahren seiner Art. Mehrdeutige Wörter erhalten einen Mischvektor, der keiner ihrer Bedeutungen entspricht – der Punkt, an dem die kontextabhängigen Verfahren ab 2018 ansetzten.

Seltene Wörter. Wo wenige gemeinsame Vorkommen beobachtet wurden, sind die Vektoren schlecht. Betroffen sind gerade Fachbegriffe und Eigennamen.

Stand 2025/2026

Das Verfahren ist als Forschungsgegenstand abgeschlossen und als Werkzeug in Gebrauch. Bemerkenswert ist die Pflege: 2024 veröffentlichte die Stanford-Gruppe neue Vektorsätze, darunter einen auf dem Dolma-Korpus mit 220 Milliarden Wörtern trainierten – zehn Jahre nach dem ursprünglichen Aufsatz.

Verwendet werden statische Vektoren dort weiter, wo der Aufwand eines Sprachmodells nicht lohnt: in Verarbeitungsketten ohne Rechenbeschleuniger, bei der Vorauswahl von Kandidaten für eine spätere genauere Prüfung, in klassischen Lernverfahren als Merkmalsquelle. Verbreitete Bibliotheken laden sie unverändert.

Aufschlussreich ist eine Gegenbewegung, die 2024 und 2025 Aufmerksamkeit fand: Vorhaben, die aus großen kontextabhängigen Modellen wieder statische Vektoren gewinnen, um deren Geschwindigkeits- und Größenvorteil zurückzuerhalten. Das Trainingsverfahren von GloVe ist damit überholt; die Darstellungsform, für die es steht, ist es nicht.

Verwandte Begriffe

• Word Embeddings – die Verfahrensfamilie, zu der GloVe gehört
• ELMo – das Verfahren, das die Beschränkung auf einen Vektor je Wort aufhob
• Distributed Representations – die theoretische Wurzel
• Token Embedding – die heutige, mitgelernte Entsprechung
• Algorithmic Bias – Feld, dessen bekannteste Untersuchung mit GloVe-Vektoren arbeitete
• Embedding-Modell – die heutigen Nachfolger für Abrufaufgaben
• Natural Language Processing – das Fach, dessen Standardwerkzeug die Vektoren waren
• Christopher D. Manning – Mitautor, Leiter der Stanford-NLP-Gruppe

Quellenangaben

1. Bolukbasi, Tolga / Chang, Kai-Wei / Zou, James Y. / Saligrama, Venkatesh / Kalai, Adam T., 2016. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. In: Advances in Neural Information Processing Systems 29 (NeurIPS 2016), S. 4349–4357.
2. Caliskan, Aylin / Bryson, Joanna J. / Narayanan, Arvind, 2017. Semantics derived automatically from language corpora contain human-like biases. In: Science 356 (6334), S. 183–186. DOI: 10.1126/science.aal4230.
3. Gonen, Hila / Goldberg, Yoav, 2019. Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019). arXiv: 1903.03862.
4. Mikolov, Tomas / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Efficient Estimation of Word Representations in Vector Space. arXiv: 1301.3781.
5. Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.

← Zurück zur Lexikon-Übersicht