A Neural Probabilistic Language Model ist ein 2003 im Journal of Machine Learning Research erschienener Aufsatz von Yoshua Bengio, Réjean Ducharme, Pascal Vincent und Christian Jauvin, der erstmals gelernte, verteilte Wortrepräsentationen zur statistischen Sprachmodellierung einsetzte.
Zusammenfassung
Klassische statistische Sprachmodelle jener Zeit schätzten die Wahrscheinlichkeit eines Wortes anhand der Häufigkeit vorangegangener Wortfolgen – ein Ansatz, der bei seltenen Wortkombinationen an Datenknappheit scheiterte.
Bengio und Kolleg:innen lösten dieses Problem, indem sie jedes Wort auf einen niedrigdimensionalen, kontinuierlichen Vektor abbildeten und ein neuronales Netz lernen ließen, aus diesen Vektoren die Wahrscheinlichkeit des nächsten Wortes vorherzusagen.
Begriffsgeschichte
Die Arbeit entstand am Ende einer Dekade, in der statistische, häufigkeitsbasierte Sprachmodelle die Textverarbeitung dominierten.
Bengios Team zeigte, dass ein gelernter Vektorraum ähnliche Wörter automatisch nahe beieinander platziert, sodass das Modell Wissen über ein Wort auf ähnliche, seltenere Wörter übertragen kann. Dieses Prinzip fand erst ein Jahrzehnt später mit Verfahren wie GloVe und Word2Vec breite praktische Anwendung.
Methodische Grundlagen
Kernstück der Architektur ist eine Einbettungsschicht, die jedes Wort eines festen Vokabulars auf einen trainierbaren Vektor abbildet. Ein nachgeschaltetes neuronales Netz verarbeitet die Vektoren eines Kontextfensters vorangegangener Wörter und schätzt daraus eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular für das nächste Wort – dieselbe Grundaufgabe, die auch heutige GPT-Modelle in weit größerem Maßstab lösen.
Anwendungsfelder
Das Prinzip der gelernten Worteinbettung liegt sämtlichen heutigen Large Language Models zugrunde. Die Arbeit wird regelmäßig als konzeptioneller Vorläufer zitiert, wann immer in diesem Lexikon auf Token-Embeddings oder Distributed Representations Bezug genommen wird.
Kontroversen und Kritik
Der 2003 vorgeschlagene Ansatz war rechnerisch aufwendig – die damals verfügbare Hardware begrenzte die trainierbare Vokabulargröße und Kontextlänge erheblich, weshalb sich das Verfahren zunächst nicht gegen etablierte häufigkeitsbasierte Methoden durchsetzte. Erst mit deutlich gewachsener Rechenleistung und größeren Trainingskorpora wurde das Prinzip rund ein Jahrzehnt später praxistauglich.
Verwandte Begriffe
- Token-Embedding – direkte methodische Fortführung des hier eingeführten Prinzips
- Distributed Representations – übergeordnetes Konzept, das die Arbeit erstmals auf Sprachmodellierung anwendete
- Large Language Models – heutige Systemklasse, die auf demselben Grundprinzip aufbaut
Quellenangaben
- Bengio, Yoshua / Ducharme, Réjean / Vincent, Pascal / Jauvin, Christian, 2003. A Neural Probabilistic Language Model. Journal of Machine Learning Research 3, S. 1137–1155.