Reranking ist der Schritt, in dem ein dediziertes Modell die Treffer einer bereits durchgeführten Suche noch einmal bewertet und neu sortiert – ein zweiter, genauerer Blick auf eine Trefferliste, die der erste Suchschritt schnell, aber grob zusammengestellt hat.
Zusammenfassung
Semantische Suche muss schnell sein: Sie vergleicht eine Anfrage gegen Millionen oder Milliarden gespeicherter Vektoren und liefert dafür in Millisekunden eine Kandidatenliste – typischerweise die 5 bis 50 ähnlichsten Treffer.
Diese Geschwindigkeit hat einen Preis: Der verwendete Ähnlichkeitsvergleich ist eine Annäherung, keine exakte Bewertung. Reranking setzt genau hier an. Ein zweites, spezialisiertes Modell nimmt die bereits gefundene Kandidatenliste und bewertet jeden Treffer noch einmal im direkten Vergleich mit der Anfrage – langsamer, aber präziser.
Wie Reranking funktioniert
Der Unterschied liegt in der Architektur des Vergleichs. Ein Bi-Encoder – wie er in der ersten Suchstufe läuft – bettet Anfrage und Dokument getrennt voneinander ein und vergleicht danach nur noch die beiden fertigen Vektoren. Das ist schnell, weil Dokument-Embeddings vorab berechnet und gespeichert werden können.
Ein Cross-Encoder, wie ihn Reranking-Modelle nutzen, liest Anfrage und Dokument gemeinsam als ein einziges Paar und bewertet ihre Übereinstimmung direkt – ohne den Umweg über zwei separate Vektoren. Das erlaubt feinere Unterscheidungen, weil das Modell Anfrage und Text im selben Rechenschritt gegeneinander abwägt. Der Preis: Diese Bewertung lässt sich nicht vorab berechnen, sie muss für jedes Anfrage-Dokument-Paar neu laufen.
Verbreitete Reranking-Modelle sind Cohere Rerank und ColBERT (Khattab/Zaharia 2020) – letzteres mit einem Zwischenweg: Late Interaction vergleicht Anfrage und Dokument auf Token-Ebene, nicht auf Satzebene, und bleibt dabei schneller als ein vollständiger Cross-Encoder.
Warum sich der Zusatzaufwand lohnt
Reranking ist in der Praxis optional, aber wirkungsvoll: Es erhöht die Präzision der endgültig an das Sprachmodell weitergereichten Treffer, weil es die schnelle, aber ungenaue Vorauswahl der ersten Suchstufe korrigiert. Fehler, die in der ersten Stufe entstehen – etwa weil zwei Texte im Vektorraum nah beieinanderliegen, ohne inhaltlich zusammenzugehören –, lassen sich hier oft noch ausgleichen.
Die Kosten sind Latenz: Ein Cross-Encoder-Durchlauf über zwanzig oder dreißig Kandidaten dauert spürbar länger als der ursprüngliche Suchschritt. In produktiven RAG-Systemen ist Reranking deshalb meist auf eine begrenzte Kandidatenmenge beschränkt – die ersten zwanzig bis fünfzig Treffer der schnellen Suche, nicht der gesamte Bestand.
Verwandte Begriffe
- Retrieval-Augmented Generation – der Rahmen, in dem Reranking als optionaler Schritt steht
- Chunking – bestimmt die Einheiten, die neu sortiert werden
- Vector Database – liefert die Kandidatenliste, die Reranking überarbeitet
Quellenangaben
- Khattab, Omar / Zaharia, Matei, 2020. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2020), S. 39–48. DOI: 10.1145/3397271.3401075.
- Gao, Yunfan u. a., 2024. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv: 2312.10997.