Self-Consistency ist eine 2022 von Google-Forschenden vorgestellte Prompting-Technik, die ein Sprachmodell dieselbe Aufgabe über mehrere unabhängige Chain-of-Thought-Denkpfade hinweg lösen lässt und die häufigste Endantwort als Ergebnis übernimmt.
Zusammenfassung
Ein Sprachmodell, das mit Chain-of-Thought-Prompting einen einzelnen Lösungsweg erzeugt, kann bei komplexen Aufgaben leicht auf einem einzelnen fehlerhaften Zwischenschritt hängen bleiben. Self-Consistency begegnet diesem Problem, indem es mehrere unterschiedliche Denkpfade zur selben Frage stichprobenartig erzeugt und anschließend über deren Endantworten abstimmen lässt – analog zu einem Mehrheitsentscheid unter mehreren unabhängigen Gutachten.
Methodische Grundlagen
Die Technik nutzt die stochastische Natur der Textgenerierung gezielt aus: Statt das Modell mit der wahrscheinlichsten Token-Folge deterministisch antworten zu lassen, werden mehrere Antworten mit zufälliger Stichprobenziehung erzeugt.
Da unterschiedliche Denkpfade unterschiedliche Fehler machen, aber tendenziell zur selben korrekten Antwort konvergieren, filtert die Mehrheitsabstimmung viele einzelne Fehlerquellen heraus, ohne dass das zugrunde liegende Modell selbst verändert werden muss.
Anwendungsfelder
Self-Consistency verbesserte in der Originalarbeit die Genauigkeit auf mathematischen Textaufgaben und Alltagsverstand-Benchmarks deutlich gegenüber einfachem Chain-of-Thought-Prompting. Das Prinzip mehrerer unabhängiger Lösungsversuche mit anschließender Mehrheitsentscheidung findet sich seither in abgewandelter Form auch in modernen Reasoning Models, die interne Suchstrategien über mehrere Kandidatenlösungen nutzen.
Kontroversen und Kritik
Der Genauigkeitsgewinn erkauft sich einen proportional höheren Rechenaufwand, da für jede Anfrage mehrere vollständige Denkpfade statt eines einzigen generiert werden müssen. Zudem hilft eine Mehrheitsabstimmung nur, wenn Fehler zwischen den Denkpfaden tatsächlich unabhängig streuen – bei systematischen Fehlern, die das Modell in jedem Durchlauf gleichermaßen macht, versagt der Ansatz.
Verwandte Begriffe
- In-Context Learning – übergeordnetes Prinzip, dem Prompting-Techniken wie diese zugerechnet werden
- Prompt Engineering – übergeordnetes Praxisfeld, dem Self-Consistency als konkrete Technik zugehört
Quellenangaben
- Wang, Xuezhi u. a., 2022. Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv: 2203.11171.