Prefix-Tuning ist eine 2021 von Xiang Lisa Li und Percy Liang an der Stanford University vorgestellte Methode zum parameter-effizienten Fine-Tuning von Sprachmodellen, die einen kleinen Satz trainierbarer Vektoren vor die eigentliche Eingabe stellt, statt die Modellgewichte selbst zu verändern.
Zusammenfassung
Statt sämtliche Modellgewichte für eine neue Aufgabe anzupassen, hält Prefix-Tuning das vortrainierte Sprachmodell vollständig eingefroren und optimiert stattdessen eine kurze Sequenz kontinuierlicher, nicht in natürlicher Sprache interpretierbarer Vektoren, die vor jede Eingabe gestellt wird. Das Modell lernt, diesem trainierten „Präfix” bei der Verarbeitung besondere Aufmerksamkeit zu schenken.
Begriffsgeschichte
Die Arbeit erschien 2021 auf der Jahrestagung der Association for Computational Linguistics (ACL), in einer Phase intensiver Suche nach Alternativen zum vollständigen Fine-Tuning großer Sprachmodelle, deren Parameterzahl rasch stieg.
Methodische Grundlagen
Anders als beim Prompt Engineering, das mit natürlichsprachlichen Textbausteinen arbeitet, sind die Präfix-Vektoren beim Prefix-Tuning kontinuierliche, per Gradientenabstieg optimierte Zahlenwerte ohne direkte sprachliche Bedeutung.
Nach Angaben der Autor:innen verändert die Methode nur rund 0,1 Prozent der Modellparameter und erreicht dabei bei ausreichender Trainingsdatenmenge vergleichbare Ergebnisse wie vollständiges Fine-Tuning, während sie in datenarmen Szenarien sogar bessere Ergebnisse liefert (Li/Liang 2021).
Anwendungsfelder
Prefix-Tuning eignet sich besonders für Situationen, in denen viele verschiedene, aufgabenspezifische Anpassungen desselben großen Basismodells parallel benötigt werden: Da das Basismodell unverändert bleibt, lassen sich beliebig viele kleine Präfixe für unterschiedliche Aufgaben speichern und bei Bedarf austauschen.
Kontroversen und Kritik
Die Methode reserviert einen Teil der begrenzten Kontextfenster-Länge für das Präfix selbst, was bei sehr langen Eingaben zu Lasten des eigentlichen Nutzinhalts gehen kann. Zudem erwies sich LoRA, wenige Monate später vorgestellt, in der praktischen Anwendung als vielseitiger und setzte sich als Standardverfahren für parameter-effizientes Fine-Tuning gegenüber Prefix-Tuning weitgehend durch.
Verwandte Begriffe
- Prompt-Tuning – eng verwandtes Verfahren mit ähnlichem Grundprinzip
- Adapter – weiteres parameter-effizientes Fine-Tuning-Verfahren, das anders als Prefix-Tuning zusätzliche Schichten ins Modell einfügt
Quellenangaben
- Li, Xiang Lisa / Liang, Percy, 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL-IJCNLP), S. 4582–4597.