ELMo

ELMo (kurz für Embeddings from Language Models) ist ein 2018 vorgestelltes Verfahren, das jedem Wort eines Satzes eine Vektordarstellung zuweist, die vom übrigen Satz abhängt. Damit hob es die Beschränkung auf, die alle bis dahin gebräuchlichen Wortvektoren teilten: einen festen Vektor je Wort, unabhängig vom Zusammenhang.

Die Darstellungen entstehen als Nebenprodukt eines Sprachmodells, das auf großen Textmengen vortrainiert wurde und dessen Zwischenschichten ausgelesen werden.

Zusammenfassung

Das Problem, an dem ELMo ansetzt, ist alt und lässt sich in einem Wort zeigen. Bank bezeichnet ein Geldhaus und ein Sitzmöbel; ein Verfahren, das jedem Wort genau einen Vektor zuordnet, muss beide Bedeutungen in dieselbe Zahlenreihe mitteln. Das Ergebnis passt auf keine von beiden.

Die Lösung besteht darin, die Darstellung nicht nachzuschlagen, sondern zu berechnen. ELMo trainiert dafür ein Sprachmodell in beide Leserichtungen und liest anschließend dessen innere Zustände aus. Weil diese Zustände davon abhängen, was vorher und nachher im Satz steht, bekommt dasselbe Wort in verschiedenen Sätzen verschiedene Vektoren.

Ein zweiter Kunstgriff betrifft die Frage, welche Schicht des Modells man auslesen soll. Statt sich festzulegen, überlässt ELMo diese Entscheidung der jeweiligen Aufgabe: Es reicht alle Schichten weiter und lässt gewichten.

Die Arbeit verbesserte sechs verschiedene Aufgaben der Sprachverarbeitung auf einen Schlag. Acht Monate später erschien BERT und machte sie weitgehend gegenstandslos.

Begriffsgeschichte

Der Aufsatz Deep Contextualized Word Representations von Matthew E. Peters und Kollegen am Allen Institute for Artificial Intelligence und der University of Washington erschien im Februar 2018 als Vorabdruck und wurde auf der Jahrestagung der nordamerikanischen Fachgesellschaft für Computerlinguistik vorgestellt.

Er steht am Ende einer Reihe von Vorarbeiten, die schon kontextabhängige Darstellungen erzeugten, dabei aber jeweils nur die oberste Schicht eines vortrainierten Modells verwendeten. Der Beitrag von ELMo liegt darin, alle Schichten anzubieten und ihre Gewichtung zur lernbaren Größe zu machen.

Im Oktober desselben Jahres erschien der Vorabdruck zu BERT. Zwischen beiden Veröffentlichungen liegen keine acht Monate.

Methodische Grundlagen

Das zweiseitige Sprachmodell. Trainiert werden zwei Modelle: eines, das jedes Wort aus den vorangegangenen vorhersagt, und eines, das dasselbe von hinten tut. Beide werden gemeinsam optimiert und teilen sich die Ein- und Ausgabeschichten, während die eigentlichen Verarbeitungsschichten getrennt bleiben.

Zeichenbasierte Eingabe. Die unterste Schicht arbeitet nicht mit Wörtern, sondern mit Zeichenfolgen, die über Faltungsfilter zusammengefasst werden. Daraus folgt eine praktische Eigenschaft: Auch Wörter, die im Training nie vorkamen, erhalten eine Darstellung.

Drei Schichten je Wort. Ein Wort wird durch drei Vektoren beschrieben – den zeichenbasierten Eingangsvektor und die Zustände zweier Verarbeitungsschichten.

Die gelernte Gewichtung. Aus diesen drei Vektoren bildet ELMo für jede Aufgabe eine eigene gewichtete Summe. Die Gewichte werden mit der Aufgabe zusammen gelernt, dazu ein Faktor, der das Ergebnis insgesamt skaliert.

Was die Schichten enthalten. Die Autoren prüften das eigens nach. Die untere Schicht eignet sich besser für Wortarten, die obere besser für Wortbedeutungen. Das Modell hatte also eine sprachliche Schichtung erlernt, ohne dass jemand sie vorgegeben hätte – ein Befund, der in der Interpretierbarkeitsforschung nachwirkt.

Eingefroren, nicht nachtrainiert. Das Sprachmodell selbst bleibt unverändert. Seine Ausgaben werden als zusätzliche Merkmale in ein aufgabenspezifisches Modell gegeben, das eigens gebaut werden muss. Genau diese Arbeitsteilung hat BERT später abgeschafft.

Anwendungsfelder

Der Aufsatz führt sechs Aufgaben vor, bei denen das Hinzufügen von ELMo den jeweils besten bekannten Wert übertraf: Leseverstehen, Textfolgerung, semantische Rollenkennzeichnung, Koreferenzauflösung, Eigennamenerkennung und Sentimentanalyse.

Die Verbesserungen fielen unterschiedlich aus. Beim Leseverstehen stieg der Wert von 81,1 auf 85,8, bei der Eigennamenerkennung von 90,2 auf 92,2, bei der Textfolgerung dagegen nur von 88,0 auf 88,7. Die Autoren geben die Verringerung des Restfehlers mit sechs bis zwanzig Prozent an.

Praktisch bedeutsam war die Bauform: Wer ein bestehendes System hatte, konnte ELMo hinzufügen, ohne es umzubauen. Das erklärt die schnelle Verbreitung im Jahr 2018 – und macht zugleich verständlich, warum ein Verfahren, das den Umbau überflüssig machte, sich noch schneller durchsetzte.

Kontroversen und Kritik

Zwei Richtungen, aber nicht gemeinsam. Der schwerwiegendste Einwand betrifft die Bauform. ELMo trainiert eine Vorwärts- und eine Rückwärtsrichtung getrennt und fügt deren Ergebnisse erst am Ende zusammen. Innerhalb des Modells sieht keine Richtung, was die andere weiß. BERT löste das, indem es beide Seiten in allen Schichten gemeinsam berücksichtigt.

Der Aufgabenaufbau bleibt Handarbeit. Weil das Sprachmodell eingefroren bleibt, braucht jede Aufgabe weiterhin ein eigens entworfenes Modell. Der Ansatz, das vortrainierte Modell selbst nachzujustieren und nur eine Ausgabeschicht zu ergänzen, machte diese Arbeit überflüssig.

Die Architektur ließ sich nicht skalieren. Die verwendeten rekurrenten Netze verarbeiten einen Satz Position für Position und lassen sich deshalb nicht in derselben Weise auf viele Rechenkerne verteilen wie ein Transformer. In einem Feld, dessen Fortschritt an Rechenleistung hängt, war das der entscheidende Nachteil – nicht die Ergebnisgüte.

Der Vorsprung war kurz. Beim Leseverstehen erreichte ELMo 85,8; BERT meldete acht Monate später 93,2. Ein Zuwachs dieser Größenordnung in dieser Zeit ließ wenig Anlass, an der älteren Bauform festzuhalten.

Stand 2025/2026

ELMo ist außer Gebrauch. Die Bibliothek, in der die Referenzumsetzung gepflegt wurde, ist seit Dezember 2022 archiviert und nur noch lesbar; die Betreiber verweisen auf andere Werkzeuge. Neue Arbeiten verwenden das Verfahren nicht mehr.

Die Sache selbst ist dagegen Allgemeingut geworden. Dass eine Wortdarstellung vom Zusammenhang abhängt, ist heute keine Eigenschaft eines bestimmten Verfahrens mehr, sondern die Grundannahme jedes Sprachmodells. Die Frage, welche Schicht eines Modells welche sprachliche Information trägt, ist als eigener Forschungszweig weitergelaufen.

Damit steht ELMo für einen Typ von Beitrag, der in der Rückschau leicht unterschätzt wird: Es hat nicht gewonnen, sondern gezeigt, wo zu suchen war. Der Nachweis, dass kontextabhängige Darstellungen quer über sechs Aufgaben tragen, war die Voraussetzung dafür, dass acht Monate später jemand dieselbe Einsicht mit der besseren Bauform einlöste.

Quellenangaben

Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Peters, Matthew E. / Neumann, Mark / Iyyer, Mohit / Gardner, Matt / Clark, Christopher / Lee, Kenton / Zettlemoyer, Luke, 2018. Deep Contextualized Word Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2018), S. 2227–2237. DOI: 10.18653/v1/N18-1202. arXiv: 1802.05365.
Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.

← Zurück zur Lexikon-Übersicht