Prompt Tuning ist ein Verfahren, ein vortrainiertes Sprachmodell an eine bestimmte Aufgabe anzupassen, indem eine kleine Menge zusätzlicher, kontinuierlicher Eingabe-Vektoren trainiert wird – die eigentlichen Modellgewichte bleiben dabei unverändert eingefroren.
Brian Lester und Kollegen bei Google stellten das Verfahren 2021 vor und zeigten, dass es bei ausreichend großen Modellen an vollständiges Fine-Tuning heranreicht, obwohl es um Größenordnungen weniger Parameter trainiert.
Zusammenfassung
Ein vortrainiertes Sprachmodell für eine bestimmte Aufgabe anzupassen, kostet klassischerweise: Entweder werden alle Gewichte per Fine-Tuning neu justiert, was für jede Aufgabe eine eigene, vollständige Kopie des Modells erfordert. Oder man formuliert von Hand einen geeigneten Text-Prompt – Prompt Engineering –, was Geschick und Ausprobieren verlangt, aber keine zusätzlichen Parameter benötigt.
Prompt Tuning liegt dazwischen. Statt Text von Hand zu formulieren, werden einige zusätzliche, kontinuierliche Vektoren – Soft Prompts – vor die eigentliche Eingabe gesetzt und wie normale Modellparameter per Gradientenabstieg trainiert. Diese Vektoren entsprechen keinen echten Wörtern, sondern reinen Zahlenmustern, die das Modell in Richtung der gewünschten Aufgabe lenken.
Der entscheidende Befund von Lester und Kollegen: Bei kleinen Modellen bleibt Prompt Tuning hinter vollständigem Fine-Tuning zurück, aber der Abstand schrumpft mit wachsender Modellgröße – bei Modellen im Milliarden-Parameter-Bereich erreichte es nahezu dieselbe Leistung, bei einem Bruchteil der trainierten Parameter.
Begriffsgeschichte
Prompt Tuning ist Teil einer 2021 einsetzenden Welle parametereffizienter Anpassungsverfahren, die alle dasselbe Grundproblem angehen: Vollständiges Fine-Tuning wird mit wachsender Modellgröße unpraktikabel, weil für jede Anwendung eine komplette Kopie der Modellgewichte gespeichert werden muss.
Xiang Lisa Li und Percy Liang stellten kurz vor Lester und Kollegen mit Prefix-Tuning eine verwandte, aufwendigere Variante vor: Statt nur die Eingabeschicht zu erweitern, fügt Prefix-Tuning trainierbare Vektoren vor jede einzelne Schicht des Transformers ein.
Lester, Rami Al-Rfou und Noah Constant zeigten wenig später, dass eine einfachere Version – lernbare Vektoren nur an der Eingabe, nicht in jeder Schicht – bei ausreichender Modellgröße ähnlich gut funktioniert, mit deutlich weniger trainierten Parametern.
Beide Arbeiten erschienen 2021 im Umfeld der wachsenden GPT-3-Debatte um parametereffiziente Alternativen zum klassischen Fine-Tuning. Sie stehen neben Adapter-Schichten und der später einflussreicheren Methode LoRA (2021/2022) in derselben Werkzeugfamilie: Parameter-Efficient Fine-Tuning (PEFT).
In der praktischen Anwendung wurde Prompt Tuning seit Mitte der 2020er Jahre zunehmend von LoRA verdrängt, das bei vergleichbarem Parameteraufwand oft bessere Ergebnisse liefert und sich einfacher in bestehende Trainingsabläufe einfügt. Als methodischer Ausgangspunkt und als einfachste, konzeptuell klarste Variante parametereffizienten Trainings blieb Prompt Tuning dennoch ein Referenzpunkt der Forschung.
Methodische Grundlagen
Soft Prompts. Anders als bei handgeschriebenen Text-Prompts sind die trainierten Vektoren keine echten Wörter und lassen sich nicht als lesbarer Text darstellen – sie leben im selben kontinuierlichen Einbettungsraum wie die Repräsentationen echter Wörter, ohne selbst einem Wort zu entsprechen.
Eingefrorenes Basismodell. Während des Trainings bleiben sämtliche ursprünglichen Modellgewichte unverändert; nur die neu hinzugefügten Soft-Prompt-Vektoren werden angepasst. Das Modell selbst bleibt für beliebig viele Aufgaben wiederverwendbar, es müssen nur die jeweiligen, sehr kleinen Prompt-Vektoren zusätzlich gespeichert werden.
Skalenabhängigkeit. Lester und Kollegen zeigten, dass der Leistungsabstand zu vollständigem Fine-Tuning mit der Modellgröße schrumpft – ein Effekt, der Prompt Tuning für sehr große Modelle attraktiver macht als für kleine.
Abgrenzung zu Prefix-Tuning. Prefix-Tuning fügt lernbare Vektoren in jede Schicht des Modells ein und erreicht dadurch tendenziell höhere Leistung bei mehr trainierten Parametern; Prompt Tuning beschränkt sich auf die Eingabeschicht und bleibt dadurch einfacher, aber in der Praxis oft schwächer.
Anwendungsfelder
Multi-Aufgaben-Bereitstellung. Wo ein einzelnes großes Modell viele verschiedene Aufgaben bedienen soll, erlaubt Prompt Tuning, für jede Aufgabe nur einen winzigen Satz zusätzlicher Vektoren zu speichern, statt vieler vollständiger Modellkopien.
Forschung zu Modellverhalten. Weil Soft Prompts unabhängig vom Basismodell trainiert und ausgetauscht werden können, dienen sie auch als Werkzeug, um zu untersuchen, wie stark sich das Verhalten eines Modells allein über die Eingabeschicht steuern lässt.
Ressourcenbeschränkte Anpassung. In Umgebungen mit begrenztem Speicher oder Rechenzugang bietet Prompt Tuning einen Weg, ein großes Modell anzupassen, ohne dessen vollständige Gewichte neu speichern zu müssen.
Kontroversen und Kritik
Schwächere Leistung bei kleinen Modellen. Der zentrale Vorbehalt aus der Originalarbeit selbst: Bei Modellen unterhalb einiger Milliarden Parameter bleibt Prompt Tuning spürbar hinter vollständigem Fine-Tuning zurück – seine Attraktivität ist an große Modelle gebunden.
Verdrängung durch LoRA. In der praktischen Anwendung hat sich seit Mitte der 2020er Jahre gezeigt, dass LoRA bei ähnlichem Parameteraufwand meist zuverlässigere Ergebnisse liefert – Prompt Tuning wird in Produktionssystemen seltener eingesetzt als zum Zeitpunkt seiner Veröffentlichung erwartet.
Interpretierbarkeit. Da die trainierten Soft Prompts keinen lesbaren Wörtern entsprechen, lässt sich anders als bei handformulierten Prompts nicht direkt nachvollziehen, welches Verhalten sie im Modell auslösen – ein Transparenzproblem gegenüber dem einfacheren Prompt Engineering.
Stand 2025/2026
Prompt Tuning gilt Stand 2025/2026 als wichtiger, aber praktisch weitgehend von LoRA und verwandten Verfahren abgelöster Meilenstein der parametereffizienten Modellanpassung – sein Grundprinzip, nur einen kleinen Bruchteil der Parameter zu trainieren, lebt in den heute dominanten Nachfolgeverfahren fort.
Verwandte Begriffe
- Large Language Models – die Modellklasse, für die Prompt Tuning ursprünglich entwickelt wurde
- In-Context Learning – verwandte Fähigkeit, sich ohne jedes Training allein über die Eingabe an eine Aufgabe anzupassen
- GPT-3 – Modell, in dessen Umfeld die Debatte um parametereffiziente Alternativen zum Fine-Tuning entstand
Quellenangaben
- Lester, Brian / Al-Rfou, Rami / Constant, Noah, 2021. The Power of Scale for Parameter-Efficient Prompt Tuning. In: Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), S. 3045–3059. DOI: 10.18653/v1/2021.emnlp-main.243.
- Li, Xiang Lisa / Liang, Percy, 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation. In: Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL 2021), S. 4582–4597. DOI: 10.18653/v1/2021.acl-long.353.