Embedding-Modell

Ein Embedding-Modell ist ein neuronales Netz, das einen Text – ein Wort, einen Satz, einen Abschnitt – in einen Zahlenvektor fester Länge überführt. Der Vektor ist so beschaffen, dass inhaltlich ähnliche Texte nahe beieinander liegen, sodass sich Bedeutungsvergleiche als Abstandsrechnung ausführen lassen.

Zusammenfassung

Embedding-Modelle sind die stille Infrastruktur hinter der semantischen Suche. Wer nach Auto sucht und Ergebnisse zu Fahrzeug erhält, nutzt sie – ohne dass ein Wörterbuch die beiden Begriffe verknüpft hätte.

Der Unterschied zu Word Embeddings ist der Gegenstand. Dort erhielt jedes Wort einen festen Vektor; hier erhält ein ganzer Text einen Vektor, und derselbe Begriff wird je nach Umgebung anders dargestellt.

Technisch handelt es sich meist um verkleinerte Sprachmodelle, die eigens darauf trainiert wurden, Ähnlichkeit abzubilden. Die maßgebliche Arbeit dazu erschien 2019 unter dem Namen Sentence-BERT.

Die praktische Bedeutung wuchs mit Retrieval-Augmented Generation: Wo ein Sprachmodell auf einen Dokumentenbestand zugreifen soll, entscheidet das Embedding-Modell darüber, was es zu sehen bekommt.

Begriffsgeschichte

Der Bedarf entstand aus einer Beobachtung. Die kontextabhängigen Modelle ab 2018 erzeugten Vektoren je Wortvorkommen, waren aber nicht darauf trainiert, ganze Texte vergleichbar zu machen.

Der naheliegende Behelf – die Vektoren aller Wörter eines Satzes zu mitteln – lieferte überraschend schlechte Ergebnisse. Für den Vergleich zweier Sätze musste man beide gemeinsam durch das Modell geben, was bei großen Beständen unbezahlbar ist.

Nils Reimers und Iryna Gurevych schlugen 2019 den Ausweg vor: Zwei Kopien desselben Modells werden gemeinsam darauf trainiert, ähnliche Texte nahe und unähnliche fern abzubilden. Danach genügt ein einzelner Durchlauf je Text.

Damit wurde die Vorberechnung möglich. Ein Bestand von Millionen Dokumenten lässt sich einmal in Vektoren überführen; jede spätere Anfrage ist nur noch eine Abstandsrechnung.

Ab 2022 boten die großen Anbieter Embedding-Modelle als eigenständigen Dienst an. Parallel entstand mit dem Massive Text Embedding Benchmark eine Vergleichsgrundlage, die offene Modelle sichtbar machte.

Methodische Grundlagen

Kontrastives Training. Das Modell lernt an Paaren: Ein zusammengehöriges Paar soll nahe beieinander liegen, ein zufällig gebildetes fern. Die Qualität hängt entscheidend davon ab, wie schwierig die negativen Beispiele gewählt werden.

Zusammenfassung zu einem Vektor. Aus den Vektoren aller Einheiten eines Textes muss ein einziger werden. Übliche Wege sind die Mittelung oder die Verwendung eines eigens vorgesehenen Sonderzeichens am Textanfang.

Vektorlänge. Übliche Größen liegen zwischen 384 und 3072. Längere Vektoren bilden feiner ab und kosten mehr Speicher; neuere Verfahren erlauben das nachträgliche Kürzen ohne vollständigen Qualitätsverlust.

Zerlegung langer Texte. Embedding-Modelle verarbeiten begrenzte Längen. Längere Dokumente werden in Abschnitte zerlegt – eine Entscheidung, die die Trefferqualität stärker beeinflusst als die Wahl des Modells.

Getrennte Rollen. Fortgeschrittene Systeme stellen Frage und Dokument unterschiedlich dar, weil eine Frage kein verkleinertes Dokument ist. Beide werden in denselben Raum abgebildet, aber mit unterschiedlichen Anweisungen.

Anwendungsfelder

Abrufgestützte Antworten. Der Hauptanwendungsfall. Vor der Antwort werden passende Abschnitte gesucht und dem Modell mitgegeben; die Auswahl trifft das Embedding-Modell.

Semantische Suche. Suchen, die den Sinn statt die Schreibweise treffen – über Synonyme, Umschreibungen und Sprachgrenzen hinweg, sofern das Modell mehrsprachig trainiert wurde.

Gruppierung und Dublettenerkennung. Große Textbestände lassen sich nach Nähe gruppieren, ohne dass Kategorien vorgegeben werden. Ebenso lassen sich inhaltliche Dubletten finden, die sich im Wortlaut unterscheiden.

Gedächtnis für Agenten. Systeme, die sich über lange Läufe erinnern sollen, legen Zwischenergebnisse als Vektoren ab und holen sie bei Bedarf zurück.

Kontroversen und Kritik

Verlust bei der Verdichtung. Ein Abschnitt wird auf einige hundert Zahlen reduziert. Was dabei erhalten bleibt, bestimmt das Training – Verneinungen, Zeitangaben und Zahlenwerte gehen dabei häufig verloren.

Ein bekanntes Beispiel: Zwei Sätze, die sich nur durch ein nicht unterscheiden, liegen in vielen Modellen sehr nahe beieinander. Für den Abruf ist das folgenreich.

Blinder Fleck bei Fachsprache. Allgemein trainierte Modelle bilden Fachbegriffe schlecht ab, weil sie im Training selten vorkamen. In Medizin und Recht sind eigens angepasste Modelle deshalb üblich.

Vergleichbarkeit der Ranglisten. Öffentliche Bestenlisten laden zur Überanpassung ein: Modelle werden auf die dort verwendeten Aufgaben abgestimmt, ohne dass die Leistung im eigenen Bestand entsprechend ausfällt.

Bindung an ein Modell. Vektoren verschiedener Modelle sind nicht vergleichbar. Ein Modellwechsel erfordert die vollständige Neuberechnung des Bestands – bei großen Sammlungen ein erheblicher Aufwand.

Rückschluss auf den Text. Vektoren gelten als anonymisierte Darstellung. Untersuchungen haben gezeigt, dass sich Ausgangstexte in erheblichem Umfang rekonstruieren lassen – ein Datenschutzproblem für ausgelagerte Vektorbestände.

Warum der Abruf oft die schwächste Stelle ist

Bei abrufgestützten Systemen wird die Aufmerksamkeit gewöhnlich dem Sprachmodell gewidmet. Die häufigere Fehlerursache liegt davor.

Ein Modell kann nur beantworten, was ihm vorliegt. Wählt der Abruf die falschen Abschnitte, entsteht eine Antwort, die flüssig, belegt und falsch ist – und deren Fehler sich nicht am Text erkennen lässt, sondern nur an dem, was fehlt.

Die Ursache ist meist nicht das Embedding-Modell selbst, sondern die Zerlegung. Wird ein Dokument an ungünstigen Stellen geschnitten, verliert jeder Abschnitt den Zusammenhang, der ihn erklärt: Eine Tabelle ohne Überschrift, ein Absatz, dessen Bezugswort im vorigen steht.

Daraus folgt eine unbequeme Arbeitsteilung. Die Qualität eines solchen Systems hängt zu einem großen Teil an einer Entscheidung, die weder Modell noch Suche betrifft, sondern die Aufbereitung der Dokumente – Arbeit, die selten als Forschung gilt und ebenso selten dokumentiert wird.

Quellenangaben

Johnson, Jeff / Douze, Matthijs / Jégou, Hervé (Facebook AI Research) (2017): Billion-Scale Similarity Search with GPUs. arXiv: 1702.08734.
Reimers, Nils / Gurevych, Iryna, 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP 2019), S. 3982–3992. DOI: 10.18653/v1/D19-1410.
Muennighoff, Niklas / Tazi, Nouamane / Magne, Loïc / Reimers, Nils (2023): MTEB: Massive Text Embedding Benchmark. In: Proceedings of EACL 2023. arXiv: 2210.07316.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.