Retrieval-Augmented Generation

Retrieval-Augmented Generation (deutsch abruf-gestützte Generierung; übliche Abkürzung RAG) bezeichnet eine Klasse von Architekturen für große Sprachmodelle. Darin ruft das Sprachmodell vor der Generierung einer Antwort relevante Informationen aus einer externen Wissensquelle ab – typischerweise einer durchsuchbaren Sammlung von Dokumenten – und bezieht sie als Kontext in die Eingabe ein.

Der Begriff geht auf eine 2020 von Patrick Lewis und Kollegen bei Facebook AI Research (heute Meta AI) publizierte Arbeit zurück (Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020, arXiv: 2005.11401).

RAG hat sich seit etwa 2023 als methodischer Standard für die Anbindung von LLMs an unternehmens- oder anwendungsspezifische Wissensbasen etabliert und ist eine der praktisch wichtigsten Antwortstrategien auf die Halluzinations- und Wissensaktualitätsprobleme reiner LLM-Systeme.

Zusammenfassung

Reine Large Language Models verfügen nur über das Wissen, das in ihren Gewichten kodiert wurde – sie kennen weder Ereignisse nach ihrem Trainingsstichtag noch private, unternehmensspezifische oder spezialisierte Inhalte.

RAG-Architekturen adressieren diese Einschränkung durch ein zweistufiges Verfahren. In der Retrieval-Phase werden anhand der Nutzeranfrage relevante Dokumente oder Dokumentausschnitte aus einer Wissensbasis abgerufen. In der Generation-Phase wird das Sprachmodell mit der Anfrage und den abgerufenen Dokumenten gemeinsam aufgerufen und erzeugt seine Antwort auf dieser erweiterten Basis.

Die Vorteile sind dreifach: erstens Aktualität (die Wissensbasis kann unabhängig vom Modell aktualisiert werden), zweitens Verifizierbarkeit (Antworten können auf konkrete Quellen verweisen), drittens Domänenanpassung ohne aufwendiges Modell-Finetuning.

RAG ist eng verbunden mit der Entwicklung von Embedding-Modellen und Vector Databases. Dokumente werden in dichte Vektor-Repräsentationen abgebildet und in einem hochdimensionalen Suchindex gespeichert. Bei einer Anfrage wird das Anfrage-Embedding berechnet, und durch Approximate Nearest Neighbor-Suche (HNSW, IVF, Faiss, ScaNN) werden die ähnlichsten Dokument-Embeddings ermittelt.

Seit der Originalpublikation 2020 hat sich das Feld in mehrere Varianten differenziert: Naive RAG (einfache Vektor-Suche plus Generierung), Advanced RAG (mit Query-Erweiterung, Reranking, Filterung) und Modular RAG (mit spezialisierten Komponenten). Hinzu kommen Agentic RAG (mit mehrstufiger Iteration und Werkzeuggebrauch) und GraphRAG (mit strukturierten Wissensgraphen statt flachen Dokumenten).

Begriffsgeschichte

Vorgeschichte: Retrieval und Question Answering

Die Idee, Sprachverarbeitung mit externen Informationsquellen zu verbinden, hat eine längere Tradition.

In der klassischen Informationsretrieval-Forschung (Salton/McGill 1983, Introduction to Modern Information Retrieval) wurden seit den 1960er Jahren Verfahren zur Suche in Dokumentsammlungen entwickelt – von Bag-of-Words-Modellen über TF-IDF bis zu BM25 (Robertson/Walker 1994). Frühe Frage-Antwort-Systeme wie IBM Watson (2011, Jeopardy!-Sieg über Ken Jennings) kombinierten Retrieval-Komponenten mit linguistischer Analyse.

In der neuronalen NLP-Forschung der späten 2010er Jahre entstanden zunehmend hybride Architekturen, die Retrieval und Generierung verbanden. DrQA (Chen u. a. 2017, Reading Wikipedia to Answer Open-Domain Questions) kombinierte Wikipedia-Retrieval mit einem neuronalen Reading-Comprehension-Modul.

ORQA (Lee, Chang, Toutanova 2019) und REALM (Guu u. a. 2020, Retrieval-Augmented Language Model Pre-Training, Google) integrierten Retrieval direkt in das neuronale Vortraining.

Die kanonische RAG-Arbeit (Lewis u. a. 2020)

Die heute namensgebende Arbeit erschien im Mai 2020 als arXiv-Preprint und wurde auf der NeurIPS 2020 publiziert. Verantwortlich zeichnete ein Team von Facebook AI Research, UCL und NYU: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel und Douwe Kiela.

Sie führten in Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks eine Architektur ein, die einen Dense Passage Retriever (DPR, Karpukhin u. a. 2020) mit einem vortrainierten Sequenz-zu-Sequenz-Modell (BART) verband.

Die Autoren stellten zwei Varianten vor: RAG-Sequence (das gleiche abgerufene Dokument wird für die gesamte Antwortsequenz verwendet) und RAG-Token (für jedes Token kann ein anderes Dokument relevant sein). Beide Varianten wurden gemeinsam end-to-end trainiert.

Aufstieg in der LLM-Praxis (2022–2024)

Mit der Verbreitung großer Sprachmodelle ab 2022 – insbesondere ChatGPT (November 2022) und nachfolgenden Frontier-Modellen – verschob sich die praktische RAG-Konzeption: Statt das Retrieval gemeinsam mit dem Modell zu trainieren, wird heute typischerweise ein vortrainiertes Sprachmodell mit einer separat aufgebauten Retrieval-Pipeline verbunden.

Die Komponenten – Embedding-Modell, Vector Database, Retriever, Reranker – sind weitgehend modular gestaltet und unabhängig austauschbar.

Diese praktische Konzeption setzte sich rasch durch, weil sie drei wichtige Eigenschaften kombinierte: kein zusätzliches Training der Frontier-Modelle nötig; transparente Trennung der Komponenten; einfache Aktualisierung der Wissensbasis ohne Modell-Eingriffe. Frameworks wie LangChain (Harrison Chase, 2022), LlamaIndex (Jerry Liu, 2022) und Haystack (deepset) etablierten RAG-orientierte Entwicklerbibliotheken.

Methodische Verfeinerung (2023–2026)

Seit 2023 hat sich das Feld in mehrere Stränge differenziert:

Advanced RAG-Techniken – Query-Erweiterung durch das LLM, Reranking durch dedizierte Cross-Encoder-Modelle (z. B. Cohere Rerank, ColBERT), hybride Suche aus Vektor- und Keyword-Komponenten – verbesserten die Retrieval-Qualität.

GraphRAG (Microsoft Research 2024, Edge u. a.) integriert strukturierte Wissensgraphen, die durch LLMs aus Korpora extrahiert werden und sowohl globale Übersichts- als auch lokale Detailfragen erlauben.

Agentic RAG kombiniert RAG mit Tool-Use-Architekturen, in denen das Modell selbst entscheidet, wann und wie es Retrieval-Schritte einsetzt und ob es weitere Werkzeuge (Code-Ausführung, Datenbankanfragen, Web-Suche) einsetzen soll.

Long-Context RAG – mit der Ausweitung der Kontextfenster auf 1 Million Tokens und mehr (Gemini 1.5, Claude) – verschiebt teilweise die Grenze zwischen Retrieval und Direkt-Kontextverarbeitung: Mittlere Dokumentmengen können vollständig in den Kontext geladen werden, ohne Retrieval-Schritt.

Architektur

Komponenten einer typischen RAG-Pipeline

Eine produktive RAG-Pipeline besteht aus mehreren Komponenten:

Datenaufnahme (Ingestion): Quelldokumente (PDFs, HTML, Office-Dateien, Datenbanken) werden geparst, von Metadaten getrennt und in Chunks (typisch 256 bis 2.048 Tokens) zerlegt. Die Chunk-Strategie – fixe Größe, semantisch motiviert, hierarchisch – beeinflusst die spätere Retrieval-Qualität erheblich.

Embedding-Erzeugung: Jeder Chunk wird durch ein Embedding-Modell in einen dichten Vektor umgewandelt (typisch 384–3.072 Dimensionen). Übliche kommerzielle Modelle: OpenAI text-embedding-3-large, Cohere embed-v3, Voyage AI voyage-3, Google Gemini Embedding. Open-Source-Alternativen: BGE (BAAI), E5 (Microsoft), Nomic Embed, Jina Embeddings.

Vector Database: Die Embeddings werden in einer spezialisierten Datenbank gespeichert, die Approximate Nearest Neighbor-Suche unterstützt. Übliche Implementierungen: Pinecone, Weaviate, Qdrant, Chroma, Milvus; als Erweiterungen relationaler Systeme pgvector (PostgreSQL) und vector (SQLite). Die Suche basiert auf Algorithmen wie HNSW (Malkov/Yashunin 2018, Hierarchical Navigable Small World) oder IVF (Inverted File Index, oft mit Produktquantisierung).

Retriever: Die Anfrage wird mit demselben Embedding-Modell vektorisiert und gegen die Vector Database abgefragt; typisch werden die k (etwa 5 bis 50) ähnlichsten Chunks zurückgegeben. Hybrid-Retrieval kombiniert die Vektor-Suche mit klassischer Keyword-Suche (BM25), um die Stärken beider Verfahren zu nutzen.

Reranker (optional): Ein dediziertes Modell – typisch ein Cross-Encoder oder ein kleineres LLM – bewertet die zurückgegebenen Chunks erneut und sortiert sie. Dies erhöht die Präzision auf Kosten zusätzlicher Latenz.

Augmentation und Generierung: Die ausgewählten Chunks werden zusammen mit der Nutzeranfrage in ein Prompt-Template eingebettet und an das Sprachmodell übergeben. Das Modell erzeugt seine Antwort unter Bezug auf den bereitgestellten Kontext, idealerweise mit Quellenangaben.

Chunking-Strategien

Die Wahl der Chunk-Größe und -Grenze ist eine der praktisch heikelsten Designentscheidungen. Zu kleine Chunks verlieren Kontext und Bedeutungszusammenhang; zu große Chunks verwässern die Suchgenauigkeit. Übliche Strategien:

Fixed-size Chunking – feste Token-Anzahl, häufig mit Overlap zwischen aufeinanderfolgenden Chunks (etwa 100–200 Tokens Überlappung).

Semantic Chunking – Grenzen werden an natürlichen Bedeutungsumbrüchen gezogen, oft durch Ähnlichkeits-Schwellenwerte zwischen aufeinanderfolgenden Sätzen.

Hierarchical Chunking – Chunks werden auf mehreren Ebenen gebildet (Abschnitt, Absatz, Satz) und mit hierarchischen Verweisen verbunden.

Document-aware Chunking – Chunk-Grenzen folgen der natürlichen Dokumentstruktur (Überschriften, Listen, Tabellen).

Suche und Ranking

Die zentrale Operation der Retrieval-Phase ist die Suche nach den ähnlichsten Embeddings. Mathematisch basiert sie typisch auf der Kosinus-Ähnlichkeit oder dem Skalarprodukt zwischen Anfrage- und Dokument-Vektoren. Für große Sammlungen (Millionen bis Milliarden von Embeddings) ist exakte Suche zu langsam; Approximate Nearest Neighbor-Verfahren tauschen geringe Genauigkeitsverluste gegen erhebliche Geschwindigkeitsvorteile.

Anwendungen

Unternehmens-Wissensmanagement

Die häufigste produktive Anwendung von RAG ist die Anbindung von LLMs an unternehmenseigene Wissensbasen – interne Dokumentationen, technische Handbücher, Rechtsdokumente, Forschungsberichte. Mitarbeitende oder Kunden können in natürlicher Sprache nach Informationen fragen, die das Modell mit Quellenangaben aus den Unternehmensdokumenten zusammenfasst.

Kundensupport und Chatbots

RAG-basierte Chatbots beantworten Kundenanfragen auf der Grundlage von Produkthandbüchern, FAQ-Sammlungen und Support-Datenbanken. Anbieter wie Intercom, Zendesk, Salesforce Einstein und andere haben RAG-Komponenten in ihre Produkte integriert.

Wissenschaftliche und juristische Recherche

In der juristischen Recherche (Lexis+ AI, Westlaw, Harvey) und der wissenschaftlichen Literaturrecherche (Elicit, Consensus, Scite, Anthropic Claude für Forschung) ermöglicht RAG die LLM-unterstützte Durchsuchung großer, spezialisierter Korpora.

Code- und Entwicklungsumgebungen

Code-Assistenten wie Cursor, Claude Code und GitHub Copilot nutzen RAG-Komponenten, um Antworten auf den jeweiligen Code-Kontext (Projekt-Dateien, Bibliotheks-Dokumentation) zu beziehen.

Web-gestützte Sprachmodelle

Web-Suche-integrierte LLM-Produkte (ChatGPT mit Browsing, Claude mit Web Search, Gemini mit Suchanbindung, Perplexity, You.com) sind funktional eine Spezialform von RAG: Das Web wird als externe Wissensquelle behandelt, in der Echtzeit gesucht wird.

Kritik und Probleme

Substantielle Kritik richtet sich auf mehrere Linien:

Retrieval-Qualität: Die Antwort eines RAG-Systems ist nur so gut wie das Retrieval. Wenn relevante Dokumente nicht gefunden oder irrelevante zurückgegeben werden, kann auch das beste LLM keine korrekte Antwort produzieren. Diese garbage in, garbage out-Abhängigkeit ist die sensibelste Stelle.

Chunk-Boundary-Probleme: Wenn eine Antwort über mehrere Chunks verteilte Informationen kombinieren müsste, kann die fixe Chunk-Struktur zu Lücken führen.

Halluzinationen trotz Retrieval: LLMs halluzinieren nicht nur in Wissenslücken, sondern auch innerhalb des bereitgestellten Kontexts – sie können Aussagen erzeugen, die scheinbar im Quelldokument stehen, dort aber nicht zu finden sind. Die Faithfulness-Forschung (Es u. a. 2024, RAGAS) versucht, diese Eigenschaft messbar zu machen.

Verzerrung durch Reihenfolge und Position: LLMs zeigen empirisch ein Lost in the Middle-Phänomen (Liu u. a. 2023): Informationen am Anfang oder Ende des Kontexts werden besser berücksichtigt als solche in der Mitte. Bei längeren Retrieval-Ergebnissen kann dies die Antwortqualität systematisch verzerren.

Embedding-Qualität: Das Embedding-Modell entscheidet, welche Dokumente als ähnlich gelten. Embedding-Modelle, die auf überwiegend englischsprachigen oder bestimmten domänenspezifischen Daten trainiert wurden, transferieren schlecht auf andere Sprachen oder Domänen.

Datenschutz und Sicherheit: RAG-Systeme öffnen einen Weg, durch geschickt gestaltete Anfragen sensible Informationen aus der Wissensbasis zu extrahieren (Prompt Injection, Daten-Exfiltration). In Unternehmenskontexten sind Zugriffskontrollen auf der Retrieval-Ebene heikel.

Long-Context-Konkurrenz: Mit der Ausweitung der LLM-Kontextfenster auf 1 Million Tokens und mehr (Gemini 1.5/2.0) wird in vielen Anwendungsfällen das vollständige Laden der Wissensbasis in den Kontext zur Alternative. Die Frage, ob RAG langfristig die Standardarchitektur bleibt oder durch Long-Context-Verfahren teilweise verdrängt wird, ist Gegenstand laufender Diskussion (Lee u. a. 2024).

Bewertung und Evaluierung: Die Bewertung von RAG-Systemen ist anspruchsvoller als die reiner LLM-Evaluation. Frameworks wie RAGAS (Es u. a. 2024) und Ragify versuchen, Metriken für Faithfulness, Answer Relevance, Context Precision und Context Recall zu standardisieren.

Stand 2025/2026

RAG bleibt im Verlauf der Jahre 2024 bis 2026 die dominante Architektur für die produktive Anbindung von LLMs an unternehmens- oder anwendungsspezifische Wissensbasen.

Die jüngere Forschung konzentriert sich auf agentic RAG mit mehrstufiger Iteration, GraphRAG mit strukturierten Wissensgraphen und multimodale RAG-Architekturen (Text-Bild-Audio-Tabellen). Hinzu kommt die Integration mit dem 2024 von Anthropic publizierten Model Context Protocol (MCP), das eine standardisierte Schnittstelle zwischen LLMs und externen Werkzeugen bzw. Datenquellen definiert.

Im juristischen, medizinischen und wissenschaftlichen Bereich entstehen zunehmend domänenspezialisierte RAG-Produkte (Harvey für Recht, OpenEvidence für Medizin, Elicit für Wissenschaft). Der Markt für Vector Databases, Embedding-Modelle und RAG-Frameworks ist im Verlauf der Jahre 2023 bis 2026 substantiell gewachsen; auch klassische Datenbankanbieter (PostgreSQL mit pgvector, Oracle, Microsoft SQL Server, MongoDB) integrieren Vector-Search-Funktionen.

Verwandte Begriffe

• Chunking – Vorverarbeitungsschritt
• Wissensgraph – strukturierte Variante (GraphRAG)
• Long Context – Konkurrenz

Quellenangaben

1. Asai, Akari u. a., 2024. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. In: Proceedings of the International Conference on Learning Representations (ICLR 2024). arXiv: 2310.11511.
2. Chen, Danqi / Fisch, Adam / Weston, Jason / Bordes, Antoine, 2017. Reading Wikipedia to Answer Open-Domain Questions. In: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), S. 1870–1879. DOI: 10.18653/v1/P17-1171.
3. Edge, Darren u. a., 2024. From Local to Global: A Graph RAG Approach to Query-Focused Summarization. Microsoft Research. arXiv: 2404.16130.
4. Es, Shahul / James, Jithin / Espinosa-Anke, Luis / Schockaert, Steven, 2024. RAGAS: Automated Evaluation of Retrieval Augmented Generation. In: Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations (EACL 2024), S. 150–158. arXiv: 2309.15217.
5. Gao, Yunfan u. a., 2024. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv: 2312.10997.
6. Guu, Kelvin / Lee, Kenton / Tung, Zora / Pasupat, Panupong / Chang, Ming-Wei, 2020. REALM: Retrieval-Augmented Language Model Pre-Training. In: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), S. 3929–3938. arXiv: 2002.08909.
7. Karpukhin, Vladimir u. a., 2020. Dense Passage Retrieval for Open-Domain Question Answering. In: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), S. 6769–6781. DOI: 10.18653/v1/2020.emnlp-main.550.
8. Khattab, Omar / Zaharia, Matei, 2020. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2020), S. 39–48. DOI: 10.1145/3397271.3401075.
9. Lee, Kenton / Chang, Ming-Wei / Toutanova, Kristina, 2019. Latent Retrieval for Weakly Supervised Open Domain Question Answering. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), S. 6086–6096. DOI: 10.18653/v1/P19-1612.
10. Lee, Jinhyuk u. a., 2024. Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? arXiv: 2406.13121.
11. Lewis, Patrick u. a., 2020. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 9459–9474. arXiv: 2005.11401.
12. Liu, Nelson F. u. a., 2024. Lost in the Middle: How Language Models Use Long Contexts. In: Transactions of the Association for Computational Linguistics 12, S. 157–173. arXiv: 2307.03172.
13. Liu, Nelson F. / Lin, Kevin / Hewitt, John u. a., 2023. Lost in the Middle: How Language Models Use Long Contexts. In: Transactions of the Association for Computational Linguistics 12. arXiv: 2307.03172.
14. Malkov, Yury A. / Yashunin, Dmitry A., 2020. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. In: IEEE Transactions on Pattern Analysis and Machine Intelligence 42 (4), S. 824–836. DOI: 10.1109/TPAMI.2018.2889473.
15. Robertson, Stephen E. / Walker, Steve, 1994. Some Simple Effective Approximations to the 2-Poisson Model for Probabilistic Weighted Retrieval. In: Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 1994), S. 232–241. DOI: 10.1007/978-1-4471-2099-5_24.
16. Salton, Gerard / McGill, Michael J., 1983. Introduction to Modern Information Retrieval.

← Zurück zur Lexikon-Übersicht