Chunking bezeichnet die Zerlegung eines Dokuments in kleinere, durchsuchbare Abschnitte – Chunks – als erster Schritt jeder Retrieval-Augmented-Generation-Pipeline. Vor dem Suchen kommt das Schneiden.
Die Entscheidung wirkt technisch nebensächlich und ist es nicht. Wie ein Dokument geschnitten wird, bestimmt, was ein Sprachmodell später überhaupt finden kann.
Zusammenfassung
Ein Sprachmodell durchsucht keine ganzen Dokumente. Es durchsucht Fragmente, die vorher aus PDFs, Handbüchern oder Datenbanken herausgeschnitten wurden – typischerweise 256 bis 2.048 Tokens lang, mit Überlappung zwischen benachbarten Chunks, damit ein Gedanke nicht genau an der Schnittkante zerfällt.
Zu kleine Chunks verlieren Zusammenhang; zu große verwässern die Trefferschärfe der semantischen Suche, die danach auf ihnen läuft. Zwischen diesen beiden Fehlern zu navigieren, ist die eigentliche Aufgabe.
Strategien
Fixed-size Chunking. Feste Token-Anzahl, meist mit 100 bis 200 Tokens Überlappung zwischen aufeinanderfolgenden Abschnitten. Ein Benchmark vom Februar 2026 führte rekursives 512-Token-Chunking als pragmatischen Standard über sieben verglichene Strategien – schnell, vorhersagbar, ohne Modellaufruf.
Semantic Chunking. Grenzen folgen inhaltlichen Themenwechseln, erkannt über Ähnlichkeitsschwellen zwischen aufeinanderfolgenden Sätzen. Benchmarks zeigen Genauigkeitsgewinne von bis zu 70 Prozent gegenüber naiven Baselines – bei etwa vierzehnfach höherem Rechenaufwand, weil jeder Satz zunächst eingebettet werden muss.
Hierarchical Chunking. Ein Dokument wird auf mehreren Ebenen zugleich zerlegt – Abschnitt, Absatz, Satz – und die Ebenen bleiben über Referenzen verbunden. Ein Treffer auf Satzebene kann so seinen Absatz- und Abschnittskontext nachladen.
Document-aware Chunking. Schnittgrenzen folgen der sichtbaren Struktur des Dokuments selbst – Überschriften, Listen, Tabellen – statt einer festen Länge.
Late Chunking. Ein neuerer Ansatz: Das gesamte Dokument wird zunächst als Ganzes eingebettet, die Aufteilung in Chunks geschieht erst danach auf der Embedding-Ebene. Das hält Verweise und Bezüge – ein „es” oder „dieser Prozess” – mit ihrem ursprünglichen Kontext verbunden, die bei vorab geschnittenen Chunks sonst verloren gehen.
Warum die Grenze wichtig ist
Ein Chunk, der mitten in einem Argument endet, liefert dem Retriever einen Treffer, der halb Kontext trägt und halb nicht. Das Sprachmodell bekommt diesen Ausschnitt später als Faktengrundlage – ohne zu wissen, dass ihm der Rest fehlt.
Dieses Problem heißt in der Forschung Chunk-Boundary-Problem: Wenn eine korrekte Antwort Informationen aus mehreren Chunks kombinieren müsste, aber nur einer davon zurückgegeben wird, entsteht eine Lücke, die weder Retrieval noch Sprachmodell allein schließen können.
Ein ergänzender Ansatz ist Contextual Retrieval: Jeder Chunk wird vor dem Einbetten um seinen übergeordneten Titel, Abschnittspfad oder eine kurze Zusammenfassung ergänzt, damit er auch isoliert verständlich bleibt. Gemessen an der Trefferquote (Recall) liegt zwischen der besten und der schlechtesten Chunking-Strategie eine Differenz von bis zu neun Prozentpunkten – bei sonst identischer Pipeline.
Verwandte Begriffe
- Embedding-Modell – wandelt jeden Chunk in einen Vektor um
- Vector Database – speichert die Chunk-Embeddings
- Token-Embedding – die Einheit, in der Chunk-Größen gemessen werden
Quellenangaben
- Gao, Yunfan u. a., 2024. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv: 2312.10997.
- Firecrawl, 2026. Best Chunking Strategies for RAG (and LLMs) in 2026. firecrawl.dev/blog, Februar 2026.
- Extend, 2026. Semantic Chunking: 5 Best Practices. extend.ai/resources, März 2026.