Parametrisches Wissen bezeichnet das Wissen, das ein Sprachmodell während des Trainings implizit in seinen Gewichtungen (Parametern) speichert, statt es bei der Beantwortung einer Anfrage aus einer externen Quelle abzurufen. Ein Modell, das ausschließlich aus parametrischem Wissen antwortet, nutzt keine Websuche und keinen externen Speicher, sondern ausschließlich das, was es während des Trainings „gelernt” hat.
Zusammenfassung
Parametrisches Wissen entsteht, wenn ein Sprachmodell während des Trainings statistische Regelmäßigkeiten aus großen Textmengen in seinen Gewichtungen komprimiert. Anders als eine Datenbank speichert das Modell dabei keine Texte im Original, sondern verteilte Muster, aus denen es bei der Antwortgenerierung wieder Aussagen rekonstruiert. Der Gegenbegriff ist nicht-parametrisches oder externes Wissen: Informationen, die ein System zur Laufzeit aus einer Websuche, einer Datenbank oder einem Dokument abruft, statt sie aus den Trainingsdaten zu reproduzieren (siehe Retrieval-Augmented Generation).
Abgrenzung
Retrieval-Augmented Generation – kombiniert parametrisches Wissen mit einem externen Abrufschritt; ein System, das ausschließlich parametrisches Wissen nutzt, verzichtet auf diesen Abrufschritt vollständig.
Trainingsdaten – die Texte, aus denen parametrisches Wissen während des Trainings entsteht; parametrisches Wissen selbst ist nicht mit den Trainingsdaten identisch, sondern das daraus abgeleitete, komprimierte statistische Muster in den Modellgewichtungen. Googles eigene Dokumentation zu AI Overviews beschreibt den ergänzenden externen Abrufschritt ausdrücklich als Weg, um über rein parametrisches Wissen hinaus aktuelle Informationen einzubeziehen (Google 2024).
Begriffsgeschichte
Die Unterscheidung zwischen parametrischem und nicht-parametrischem Wissen etabliert sich in der Sprachmodell-Forschung im Zuge der Arbeiten zu Retrieval-Augmented Generation ab etwa 2020, als deutlich wurde, dass reine Skalierung der Modellgröße allein aktuelles oder seltenes Faktenwissen nicht zuverlässig abdeckt. Im Kontext generativer KI-Suche gewinnt die Unterscheidung ab 2023/2024 praktische Bedeutung, weil KI-Suchsysteme explizit zwischen beiden Wissensquellen wählen oder sie kombinieren.
Methodische Grundlagen
Ob ein System bei einer Anfrage auf parametrisches Wissen oder auf externe Recherche zurückgreift, hängt von seiner Konfiguration ab: Ein Sprachmodell ohne aktivierte Websuche antwortet grundsätzlich aus parametrischem Wissen und kann dabei veraltete oder falsche Informationen mit hoher sprachlicher Sicherheit wiedergeben (siehe Halluzination). Aktivierte Websuchfunktionen, wie sie KI-Suchsysteme typischerweise nutzen, ergänzen parametrisches Wissen um aktuelle, quellenbelegte externe Inhalte und reduzieren damit das Risiko veralteter Antworten, ohne es vollständig zu beseitigen.
Anwendungsfelder
Für die Praxis der Generative Engine Optimization ist parametrisches Wissen relevant, weil manche Sprachmodell-Anwendungen bewusst ohne Websuche arbeiten (etwa aus Geschwindigkeits- oder Kostengründen) und dann ausschließlich auf das während des Trainings erworbene Wissen zurückgreifen. Für stark zeitabhängige oder seltene Themen bleibt parametrisches Wissen entsprechend unzuverlässiger als eine Antwort mit aktiver Websuche.
Kontroversen und Kritik
Ein zentraler Kritikpunkt an rein parametrischem Wissen ist seine Aktualitätsgrenze: Ein Modell kennt nur, was bis zu seinem Trainings-Stichtag in den Trainingsdaten enthalten war, und kann neuere Entwicklungen weder kennen noch korrekt einordnen. Zudem lässt sich parametrisches Wissen nicht direkt einer Quelle zuordnen – anders als bei KI-Zitation in einer recherchegestützten Antwort gibt es bei rein parametrischem Wissen keinen Verweis, an dem sich eine Aussage nachprüfen ließe.
Verwandte Begriffe
- Retrieval-Augmented Generation – kombiniert parametrisches Wissen mit externem Abruf
- Halluzination – Risiko, das bei rein parametrischem Wissen besonders ausgeprägt ist
- KI-Suche – Suchparadigma, das parametrisches Wissen typischerweise um externe Recherche ergänzt
- ChatGPT Search – Beispiel für ein System, das gezielt zwischen parametrischem Wissen und Websuche wählt
Quellenangaben
- Lewis, Patrick, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela. 2020. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv:2005.11401.
- Google. 2024. AI Overviews: About this feature. Google Search Help.