Wissensgraphen in Echtzeit: Ein neuer Weg zur Verbesserung der Faktentreue von LLMs

Quelle: https://arxiv.org/abs/2509.03540v1

Große Sprachmodelle (LLMs) sind in der Lage, Texte zu verstehen, zu generieren und komplexe Fragen zu beantworten. Doch eine zentrale Schwäche bleibt: mangelnde Faktentreue. Immer wieder liefern Modelle Antworten, die plausibel klingen, aber faktisch falsch sind. In Hochrisikobereichen wie Medizin, Recht oder Wissenschaft ist das ein gravierendes Problem.

Retrieval-Augmented Generation (RAG) konnte bereits Verbesserungen erzielen, indem externe Quellen herangezogen werden. Allerdings bleiben diese Daten unstrukturiert, was die systematische Verknüpfung von Fakten erschwert. Genau hier setzt die neue Arbeit von Wu et al. an: Inference-Time Knowledge Graph Construction.

Kernidee des Ansatzes

Das Verfahren kombiniert die Stärken zweier Welten:

1. Interne Wissensbasis der LLMs – breit, dynamisch, aber oft ungenau.
2. Externe Wissensquellen – zuverlässig, aber aufwendig zu pflegen.

Die Methode erstellt während der Inferenz dynamische Wissensgraphen (KGs), die schrittweise erweitert und durch externe Informationen korrigiert werden. Dadurch entsteht eine strukturierte, überprüfbare Grundlage für Antworten.

Der Prozess umfasst vier Schritte:

1. Graph Initialisierung – Extraktion von Entitäten und Relationen aus der Frage.
2. Graph Erweiterung – Iteratives Ergänzen neuer Fakten aus dem LLM.
3. Externe Validierung – Überprüfung und Korrektur durch Wikipedia und Google-Suche.
4. Antwortgenerierung – Abfrage des finalen Graphen für eine faktenbasierte Antwort.

Ergebnisse aus den Experimenten

Getestet wurde auf drei Benchmarks:

• ComplexWebQuestions (CWQ)
• HotpotQA
• SimpleQA

Die Ergebnisse zeigen deutliche Vorteile:

• Modelle wie Deepseek-V3 verbesserten ihre Genauigkeit um bis zu 12% (CWQ).
• Kleinere Modelle wie Llama-4-scout erreichten mit externen KGs eine +31,9% Recall-Steigerung auf SimpleQA – und übertrafen teilweise größere Modelle.
• Der Vergleich zeigt klar: Interne KGs allein reichen nicht aus. Erst die Kombination mit externer Validierung bringt signifikante Verbesserungen.

Bedeutung und Ausblick

Dieser Ansatz liefert drei entscheidende Fortschritte:

1. Mehr Faktentreue – Antworten basieren auf überprüfbaren Fakten statt Halluzinationen.
2. Interpretierbarkeit – Wissensgraphen machen die Argumentationskette nachvollziehbar.
3. Skalierbarkeit – KGs können dynamisch während der Inferenz aufgebaut werden, ohne manuelle Pflege.

Dennoch bleiben Herausforderungen:

• Interne KGs können fehlerhafte Inhalte enthalten, die sich im Graph fortpflanzen.
• Zwischen Recall und tatsächlicher Genauigkeit bestehen noch Lücken.

Trotzdem deutet vieles darauf hin, dass Echtzeit-KGs ein Schlüssel zur nächsten Generation vertrauenswürdiger LLMs sind.

Fazit

Die Studie von Wu et al. zeigt eindrucksvoll, wie dynamische Wissensgraphen helfen können, Sprachmodelle robuster, präziser und vertrauenswürdiger zu machen. Wer LLMs in kritischen Anwendungen einsetzen will, sollte diesen hybriden Ansatz genau im Blick behalten.