Fine-Tuning

Fine-Tuning (deutsch Feinabstimmung) bezeichnet im maschinellen Lernen die zweite Phase der Trainingspipeline neuronaler Modelle, in der ein bereits vortrainiertes Modell auf einer kleineren, häufig sorgfältig kuratierten Datenmenge weitertrainiert wird. Ziel ist die Anpassung an eine bestimmte Aufgabe, eine bestimmte Domäne oder ein bestimmtes Verhalten.

Im Unterschied zum Pre-Training, das auf großen allgemeinen Korpora mit selbstüberwachten Lernzielen arbeitet, nutzt Fine-Tuning typischerweise überwachtes Lernen mit gelabelten Beispielen und ist deutlich weniger rechenintensiv. Je nach Methode verändert es entweder alle Modellparameter (Full Fine-Tuning) oder nur einen kleinen Bruchteil (Parameter-Efficient Fine-Tuning, PEFT).

Bei großen Sprachmodellen umfasst der Fine-Tuning-Begriff heute mehrere Unterformen – Supervised Fine-Tuning (SFT), Instruction Tuning, Domain Fine-Tuning, Task-Specific Fine-Tuning. Er ist zudem eng mit den Nachfolgephasen Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO) und Constitutional AI verbunden, die teils als Erweiterung, teils als eigenständige Phasen betrachtet werden.

Zusammenfassung

Fine-Tuning ist die Brücke zwischen einem allgemein vortrainierten Foundation Model und einer konkreten Anwendung.

Während das Pre-Training Wochen oder Monate auf tausenden Beschleunigerkarten dauert und Millionen bis Hunderte Millionen US-Dollar kostet, ist Fine-Tuning häufig in Stunden bis Tagen auf einer kleinen Zahl von GPUs durchführbar. Die hierfür benötigten Datensätze umfassen typischerweise tausende bis wenige Millionen sorgfältig kuratierter Beispiele statt mehrerer Billionen Tokens.

Fine-Tuning ist eine Fortsetzung des Gradientenabstiegs mit deutlich kleineren Lernraten (typisch 10⁻⁵ bis 10⁻⁷ statt 10⁻⁴ bis 10⁻³ im Pre-Training), um das im Pre-Training gewonnene Wissen nicht zu zerstören. Seit etwa 2021 hat sich eine zweite Linie etabliert: Parameter-Efficient Fine-Tuning (PEFT), bei dem nur ein kleiner Bruchteil der Modellparameter trainiert wird, während der Großteil des Modells eingefroren bleibt.

Die wichtigste PEFT-Methode ist Low-Rank Adaptation (LoRA, Hu u. a. 2021, Microsoft), die zusätzliche kleine Matrizen in das Modell einfügt und damit die Speicher- und Rechenanforderungen auf einen Bruchteil reduziert. Die quantisierte Variante QLoRA (Dettmers u. a. 2023) ermöglicht das Fine-Tuning sogar von Modellen mit 65 Milliarden Parametern auf einer einzigen Consumer-GPU.

Anwendungsseitig reicht das Spektrum von der einfachen Anpassung an einen bestimmten Sprach- und Tonfall über domänenspezifische Fachmodelle (BloombergGPT, Med-PaLM, BioGPT) bis zur Erzeugung instruktionsfähiger Assistenzmodelle (Alpaca, Vicuna, OpenAssistant, Llama Instruct).

Begriffsgeschichte

Klassisches Transfer Learning

Der Gedanke, gelernte Repräsentationen aus einem Modell für ein anderes wiederzuverwenden, ist deutlich älter als die heutige Fine-Tuning-Praxis.

In der Computer-Vision-Forschung der frühen 2010er Jahre wurde auf ImageNet vortrainierten Convolutional Neural Networks regelmäßig die Klassifikationsschicht abgeschnitten und durch eine aufgabenspezifische ersetzt.

Diese Praxis wurde teils als Feature Extraction (nur die neue Schicht wird trainiert), teils als Fine-Tuning (das gesamte Netz wird mit kleiner Lernrate weitertrainiert) bezeichnet (Yosinski u. a. 2014, How Transferable Are Features in Deep Neural Networks?).

Sprachmodell-Fine-Tuning (2018)

Die heute kanonische Form des Fine-Tuning großer Sprachmodelle wurde 2018 mit der Veröffentlichung von GPT-1 (Radford u. a., OpenAI) etabliert. Dabei wird auf ein durch Causal Language Modeling vortrainiertes Modell eine kleine aufgabenspezifische Schicht aufgesetzt, und das gesamte Modell wird mit kleinen Lernraten auf der nachgelagerten Aufgabe weitertrainiert.

BERT (Devlin u. a. 2019) etablierte dieselbe Praxis für Encoder-Modelle und für eine breite Palette von Verstehensaufgaben (GLUE, SuperGLUE, SQuAD).

Instruction Tuning (2021–2022)

Eine zentrale Verschiebung erfolgte 2021/2022 mit der Einführung des Instruction Tuning. Statt das Modell für eine spezifische Aufgabe finezutunen, wird es auf einer großen Sammlung instruktionsorientierter Beispiele aus vielen verschiedenen Aufgaben trainiert. Wesentliche Arbeiten:

FLAN (Wei u. a., Google 2021, Finetuned Language Models Are Zero-Shot Learners, ICLR 2022) zeigte, dass durch Multitask-Instruction-Tuning die Zero-Shot-Fähigkeiten auf nicht im Training gesehenen Aufgaben substantiell verbessert werden können.

T0 (Sanh u. a. 2022) folgte ähnlichen Linien auf T5-Basis.

InstructGPT (Ouyang u. a., OpenAI, NeurIPS 2022, Training Language Models to Follow Instructions with Human Feedback) kombinierte Supervised Fine-Tuning mit Reinforcement Learning from Human Feedback (RLHF) und legte die Grundlage für ChatGPT (Veröffentlichung 30. November 2022).

Parameter-Efficient Fine-Tuning (2019–2023)

Parallel zur Skalierung der Modelle entstand die Forschungslinie des Parameter-Efficient Fine-Tuning, die das Fine-Tuning ohne vollständige Aktualisierung aller Parameter ermöglicht:

Adapter Tuning (Houlsby u. a., ICML 2019, Google) führte kleine Adapter-Module in die Transformer-Schichten ein, die separat trainiert werden, während die ursprünglichen Gewichte eingefroren bleiben.

Prefix-Tuning (Li/Liang, Stanford 2021, ACL 2021) trainiert zusätzliche Präfix-Vektoren, die der Eingabe vorangestellt werden.

Prompt Tuning (Lester, Al-Rfou, Constant, Google 2021, EMNLP 2021) ist eine vereinfachte Variante, die nur lernbare Soft-Prompt-Embeddings trainiert.

LoRA (Low-Rank Adaptation; Hu, Shen, Wallis, Allen-Zhu, Li, Wang, Wang, Chen, Microsoft 2021, ICLR 2022) ist die methodisch und praktisch einflussreichste PEFT-Methode geworden. Sie nutzt die empirische Beobachtung, dass die Veränderungen der Gewichtsmatrizen während des Fine-Tunings einen niedrigen Rang haben; entsprechend werden die Parameter-Updates als Produkt zweier kleiner Matrizen B · A mit Rang r (typisch 8 bis 64) parametrisiert.

QLoRA (Dettmers, Pagnoni, Holtzman, Zettlemoyer, University of Washington 2023, NeurIPS 2023) kombiniert LoRA mit 4-Bit-Quantisierung des eingefrorenen Basismodells und ermöglicht damit das Fine-Tuning eines 65-Milliarden-Parameter-Modells auf einer einzigen 48-GB-GPU.

Demokratisierung durch Open-Source-Datensätze (2023)

Mit der Veröffentlichung von Llama (Februar 2023) und nachfolgenden offenen Frontier-Modellen wurde Fine-Tuning für eine breite Forschungs- und Entwicklungs-Community zugänglich.

Stanford-Forschende veröffentlichten im März 2023 Alpaca – ein Llama-7B-Modell, finegetunt auf 52.000 instruktionsorientierte Beispiele, die durch Self-Instruct (Wang u. a. 2023) aus GPT-3.5 generiert worden waren. Vicuna (LMSYS, März 2023, finegetunt auf ShareGPT-Daten), Dolly (Databricks), OpenAssistant (LAION) und Llama 2 Chat / Llama 3 Instruct folgten in rascher Abfolge.

Methodische Varianten

Full Fine-Tuning

Bei Full Fine-Tuning werden alle Modellparameter aktualisiert. Der Speicherbedarf entspricht dem des Pre-Trainings – für ein 70-Milliarden-Parameter-Modell typischerweise mehrere Hundert Gigabyte VRAM bei Mixed-Precision-Training. Full Fine-Tuning erzeugt die höchste Modellqualität, ist aber teuer und führt potentiell zu starkem Catastrophic Forgetting – dem Verlust von Wissen aus dem Pre-Training durch die Anpassung an die neue Aufgabe.

Supervised Fine-Tuning (SFT)

Die am häufigsten verwendete Variante: Das Modell wird auf Paaren (Eingabe, gewünschte Ausgabe) mit dem üblichen Sprachmodell-Verlust (Cross-Entropy auf den Output-Tokens) trainiert. SFT ist die typische erste Stufe nach dem Pre-Training und wird in praktisch allen heutigen Assistenzmodellen verwendet.

Instruction Tuning

Eine Spezialform des SFT, in der die Trainingsdaten als Instruktion + Antwort-Paare strukturiert sind und eine breite Vielfalt von Aufgabentypen abdecken. Ziel ist nicht die Anpassung an eine konkrete Aufgabe, sondern die allgemeine Fähigkeit, beliebigen Instruktionen zu folgen.

Domain Fine-Tuning

Anpassung eines Foundation Models an eine fachliche Domäne durch Weitertraining auf domänenspezifischen Korpora – medizinische Texte (BioGPT, Med-PaLM, BioBERT), juristische Dokumente (LegalBERT, SaulLM), Finanzberichte (BloombergGPT, FinBERT), Code (Code Llama, DeepSeek Coder, Qwen Coder). Häufig erfolgt zusätzlich ein Continued Pre-Training auf domänenspezifischen Rohdaten, gefolgt von einem aufgabenspezifischen SFT-Schritt.

Task-Specific Fine-Tuning

Anpassung an eine konkrete Aufgabe (Klassifikation, Named-Entity-Recognition, Question Answering, Sentimentanalyse). Diese ursprünglich dominante Fine-Tuning-Form ist mit dem Aufstieg von Frontier-LLMs in vielen Anwendungsbereichen durch Few-Shot Prompting oder In-Context Learning abgelöst worden, bleibt aber für spezialisierte Produktionssysteme und ressourcenarme Modelle relevant.

Parameter-Efficient Fine-Tuning (PEFT)

PEFT-Methoden frieren den Großteil des Modells ein und trainieren nur einen kleinen Bruchteil der Parameter:

LoRA parametrisiert die Updates jeder Gewichtsmatrix als Produkt zweier kleiner Matrizen B · A mit Rang r. Bei einem typischen LoRA-Setup werden weniger als 1 % der ursprünglichen Parameter aktualisiert.

Die LoRA-Module können nach dem Training mit dem Basismodell gemerged werden – was die Inferenz-Geschwindigkeit nicht beeinträchtigt – oder als separate Module gespeichert und je nach Bedarf geladen werden, was das einfache Bereitstellen mehrerer feingetunter Varianten desselben Basismodells ermöglicht.

QLoRA fügt eine 4-Bit-Quantisierung des Basismodells (mit NF4-Format) und eine Double Quantization der Quantisierungs-Konstanten hinzu. Die Kombination ermöglicht das Fine-Tuning sehr großer Modelle auf einzelnen GPUs.

Adapter-Methoden, Prefix-Tuning, Prompt Tuning und IA³ (Liu u. a. 2022) sind Alternativen, die in der Praxis von LoRA überwiegend verdrängt wurden.

Continual Fine-Tuning und Continual Pre-Training

In manchen Anwendungen wird das Fine-Tuning iterativ fortgesetzt – etwa um Modelle mit neuen Daten oder neuen Aufgaben sukzessive zu erweitern. Continual Learning ist heikel, weil ohne geeignete Gegenmaßnahmen frühere Fähigkeiten verloren gehen können (Catastrophic Forgetting; McCloskey/Cohen 1989).

Reinforcement Fine-Tuning (RFT) und RLVR

Ab Ende 2024 etablierte sich mit Reinforcement Fine-Tuning (RFT) eine von klassischem RLHF verschiedene Linie.

Statt menschlicher Präferenzurteile nutzt RFT ein programmatisches, oft automatisch verifizierbares Belohnungssignal (Reinforcement Learning from Verifiable Rewards, RLVR) – etwa die Korrektheit einer mathematischen Lösung oder das Bestehen eines Codetests. Damit wird das Modell mittels Policy-Gradient-Verfahren auf wenigen hundert bis wenigen tausend Beispielen für eine Zielaufgabe spezialisiert.

OpenAI stellte ein entsprechendes RFT-Programm im Dezember 2024 im Rahmen der Veranstaltungsreihe 12 Days of OpenAI erstmals vor und machte es im Mai 2025 zunächst für das Modell o4-mini allgemein verfügbar.

Parallel dazu setzte DeepSeek-AI mit DeepSeek-R1 (Januar 2025) groß angelegtes Reinforcement Learning mit verifizierbaren Belohnungen und dem Optimierungsalgorithmus Group Relative Policy Optimization (GRPO) ein, um Reasoning-Fähigkeiten weitgehend ohne umfangreiches vorgeschaltetes Supervised Fine-Tuning zu erzeugen.

RFT/RLVR gilt seither neben SFT und klassischem RLHF als dritte Linie, insbesondere für Modelle mit explizitem Reasoning-Modus.

Trainingsdaten

Instruction-Datensätze

Wichtige öffentlich verfügbare Instruction-Datensätze umfassen:

FLAN-Collection (Google 2021–2023): über 1.800 Aufgaben in einheitlicher Instruktionsform.

Alpaca (Stanford 2023): 52.000 von GPT-3.5 generierte Instruktionen, später juristisch heikel wegen OpenAI-Nutzungsbedingungen.

ShareGPT: Sammlung öffentlich geteilter ChatGPT-Konversationen, Grundlage von Vicuna.

OpenAssistant Conversations (LAION 2023): über 161.000 manuell kuratierte Konversationen.

Dolly 15k (Databricks 2023): 15.000 manuell erstellte Beispiele.

UltraChat (Tsinghua 2023): 1,5 Millionen mehrturnige Konversationen, von GPT-generierten Personas erzeugt.

WizardLM / Evol-Instruct (Xu u. a. 2023): Methodik zur evolutionären Komplexitätssteigerung von Instruktionen.

Synthetische Daten und Distillation

Eine seit etwa 2023 zunehmend wichtige Linie ist die Generierung von Trainingsdaten durch größere Modelle für kleinere – Distillation im weiteren Sinne. Self-Instruct (Wang u. a., Allen AI 2023) und nachfolgende Methoden generieren Instruktionsdaten algorithmisch durch wenige Seed-Beispiele und iterative Anreicherung.

Catastrophic Forgetting und Sicherheits-Regression

Ein zentrales Problem des Fine-Tuning ist die Tendenz, im Pre-Training gewonnenes Wissen zu verlieren, wenn das Modell auf einer schmalen Domäne weitertrainiert wird. Elastic Weight Consolidation (EWC, Kirkpatrick u. a. 2017) und verwandte Methoden versuchen, dieses Forgetting zu mildern.

Eine in der KI-Sicherheits-Diskussion besonders beachtete Variante ist die Safety Regression. Aufwendig durch RLHF oder Constitutional AI alignierte Modelle können durch nachgelagertes Fine-Tuning – auch durch wenige hundert nicht-sicherheitsrelevante Beispiele – substantielle Sicherheitseigenschaften verlieren (Qi u. a. 2024, Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!, ICLR 2024).

Diese Beobachtung hat und regulatorische Folgen für die offene Modell-Distribution.

Anwendungen

Assistenzmodelle

Praktisch alle heutigen Assistenz-LLMs (ChatGPT, Claude, Gemini, Llama Instruct, Mistral Chat) sind durch eine Pipeline aus Pre-Training, Supervised Fine-Tuning und nachfolgendem Präferenz-Lernen (RLHF, DPO, Constitutional AI) entstanden.

Domänenspezifische Modelle

BloombergGPT (Bloomberg 2023, 50 Mrd. Parameter, finegetunt auf Finanzdaten), Med-PaLM 2 (Google 2023, finegetunt auf medizinische Fragen), BioGPT (Microsoft 2022), Code Llama (Meta 2023), SaulLM (juristisches LLM, 2024).

Konsumentenanwendungen

Fine-Tuning ermöglicht die Anpassung von Modellen an spezifische Personas, Tonfälle, Stilfragen, Markenrichtlinien oder Tabuthemen. Plattformen wie OpenAIs Fine-Tuning-API, Anthropics Fine-Tuning auf Amazon Bedrock und Hugging Faces AutoTrain haben diese Anpassung kommerziell zugänglich gemacht.

Robotik und naturwissenschaftliche Anwendungen

Foundation Models für Robotik (RT-2, RFM-1) und naturwissenschaftliche Domänen (ESM für Proteine, ChemBERTa für Moleküle) werden durch Fine-Tuning auf aufgabenspezifischen Daten angepasst.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Catastrophic Forgetting: Trotz Fortschritte bleibt der Trade-off zwischen Spezialisierung und Beibehaltung von Allgemeinwissen ein offenes Problem.

Sicherheits-Regression: Die Beobachtung, dass Fine-Tuning Sicherheitseigenschaften alignierter Modelle untergraben kann (Qi u. a. 2024), wirft und regulatorische Fragen für die offene Modell-Distribution auf.

Datenqualität als limitierender Faktor: Die Qualität feingetunter Modelle hängt entscheidend von der Qualität der Fine-Tuning-Daten ab; minderwertige oder verzerrte Daten führen zu minderwertigen oder verzerrten Modellen – eine in der Praxis häufig unterschätzte Voraussetzung.

Distillation und Lizenzfragen: Die Praxis, Modelle auf von kommerziellen Frontier-Modellen generierten Daten zu trainieren (Alpaca, Vicuna), berührt sowohl die Nutzungsbedingungen der Anbieter (OpenAI verbietet etwa explizit das Training konkurrierender Modelle auf GPT-generierten Daten) als auch urheberrechtliche und ethische Fragen.

Reproduktion von Verzerrungen: Fine-Tuning kann die im Pre-Training enthaltenen Verzerrungen verstärken, wenn die Fine-Tuning-Daten ähnliche Muster aufweisen.

Evaluierungsschwierigkeiten: Die Qualitätsbewertung feingetunter Modelle ist anspruchsvoll. Klassische Benchmark-Tests sind anfällig für Benchmark-Kontamination; menschliche Bewertung ist teuer und schwer reproduzierbar; LLM-as-Judge-Verfahren (etwa MT-Bench, AlpacaEval) sind selbst auf eigene Verzerrungen anfällig.

Stand 2025/2026

Fine-Tuning bleibt im Verlauf der Jahre 2024 bis 2026 eine zentrale Phase der LLM-Entwicklung. Die Praxis hat sich weitgehend stabilisiert: SFT auf instruktionsorientierten Daten als erste Stufe, gefolgt von Präferenz-Lernen (DPO, RLHF, Constitutional AI) als zweite Stufe.

PEFT-Methoden – überwiegend LoRA-basiert – haben sich als praktischer Standard für die meisten produktiven Anwendungen durchgesetzt; Full Fine-Tuning bleibt großen, gut ressourcierten Akteuren vorbehalten.

Im Bereich der domänenspezifischen Modelle entstehen zunehmend spezialisierte Foundation Models (juristisch, medizinisch, naturwissenschaftlich), die eigene Fine-Tuning-Pipelines benötigen. Auf der Forschungsseite werden Methoden für Continual Fine-Tuning, Multi-Task Fine-Tuning und Modular Fine-Tuning (in dem mehrere LoRA-Module kombiniert werden) weiterentwickelt.

Auf der regulatorischen Seite stellt der EU AI Act besondere Anforderungen an General-Purpose AI Models with Systemic Risk; das nachgelagerte Fine-Tuning solcher Modelle und die damit verbundenen Sicherheitsfragen sind Gegenstand laufender Auslegungsdebatten.

Zugleich zeichnet sich bei mindestens einem großen Anbieter eine Abkehr vom gehosteten Fine-Tuning als eigenständigem Produkt ab: OpenAI kündigte am 7. Mai 2026 an, seine selbstbedienbare Fine-Tuning-Plattform stufenweise einzustellen.

Seit diesem Datum erhalten Organisationen ohne bisherige Fine-Tuning-Nutzung keinen Zugang zu neuen Trainingsläufen mehr; ab dem 2. Juli 2026 gilt dies auch für seit über 60 Tagen inaktive Bestandskund:innen, und ab dem 6. Januar 2027 können auch aktive Bestandskund:innen keine neuen Fine-Tuning-Jobs mehr erstellen – die Inferenz bereits feingetunter Modelle bleibt jeweils bis zur Abkündigung des zugrundeliegenden Basismodells verfügbar.

Als Alternativen verweist OpenAI auf Prompt Engineering, Retrieval-Augmented Generation, Tool-Nutzung und das eigene RFT-Angebot. Dieser Schritt steht in Spannung zur fortgesetzten Verbreitung offener Modellgewichte und LoRA/QLoRA-basierten Self-Hostings, das die Zugänglichkeit von Fine-Tuning außerhalb gehosteter Plattformen unverändert hochhält.

Verwandte Begriffe

• Supervised Fine-Tuning (SFT) – häufigste Variante
• Instruction Tuning – Spezialform des SFT
• Parameter-Efficient Fine-Tuning (PEFT) – Methodenfamilie
• LoRA – wichtigste PEFT-Methode
• QLoRA – quantisierte LoRA-Variante
• Domain Fine-Tuning – fachspezifische Variante

Quellenangaben

1. Chung, Hyung Won u. a., 2024. Scaling Instruction-Finetuned Language Models. In: Journal of Machine Learning Research 25 (70), S. 1–53. arXiv: 2210.11416.
2. Conover, Mike / Hayes, Matt / Mathur, Ankit / Xie, Jianwei / Wan, Jun / Shah, Sam / Ghodsi, Ali / Wendell, Patrick / Zaharia, Matei / Xin, Reynold, 2023. Free Dolly: Introducing the World’s First Truly Open Instruction-Tuned LLM. Databricks Blog, 12. April 2023.
3. DeepSeek-AI / Guo, Daya / Yang, Dejian u. a., 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv: 2501.12948. Später erschienen als DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning. In: Nature 645 (8081), S. 633–638.
4. Dettmers, Tim / Pagnoni, Artidoro / Holtzman, Ari / Zettlemoyer, Luke, 2023. QLoRA: Efficient Finetuning of Quantized LLMs. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.14314.
5. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
6. Houlsby, Neil u. a., 2019. Parameter-Efficient Transfer Learning for NLP. In: Proceedings of the 36th International Conference on Machine Learning (ICML 2019), S. 2790–2799. arXiv: 1902.00751.
7. Hu, Edward J. u. a., 2022. LoRA: Low-Rank Adaptation of Large Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2106.09685.
8. Huet, Ellen (2023): The Real-Life Consequences of Silicon Valley’s AI Obsession. In: Bloomberg Businessweek, 7. März 2023.
9. Kirkpatrick, James u. a., 2017. Overcoming Catastrophic Forgetting in Neural Networks. In: Proceedings of the National Academy of Sciences 114 (13), S. 3521–3526. DOI: 10.1073/pnas.1611835114.
10. Lester, Brian / Al-Rfou, Rami / Constant, Noah, 2021. The Power of Scale for Parameter-Efficient Prompt Tuning. In: Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), S. 3045–3059. DOI: 10.18653/v1/2021.emnlp-main.243.
11. Li, Xiang Lisa / Liang, Percy, 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation. In: Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL 2021), S. 4582–4597. DOI: 10.18653/v1/2021.acl-long.353.
12. Liu, Ze / Lin, Yutong / Cao, Yue / Hu, Han / Wei, Yixuan / Zhang, Zheng / Lin, Stephen / Guo, Baining, 2021. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2021). arXiv: 2103.14030.
13. Liu, Haokun u. a., 2022. Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.05638.
14. Liu, Yang / Iter, Dan / Xu, Yichong / Wang, Shuohang / Xu, Ruochen / Zhu, Chenguang, 2023. G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment. In: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023). arXiv: 2303.16634.
15. McCloskey, Michael / Cohen, Neal J., 1989. Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. In: Psychology of Learning and Motivation 24, S. 109–165. DOI: 10.1016/S0079-7421(08)60536-8.
16. OpenAI, 2024. Reinforcement Fine-Tuning Research Program. OpenAI, Dezember 2024 (im Rahmen von „12 Days of OpenAI”).
17. OpenAI, 2025. Reinforcement Fine-Tuning. OpenAI API Dokumentation, Mai 2025 (Allgemeine Verfügbarkeit für o4-mini).
18. OpenAI, 2026. Deprecations. OpenAI API Dokumentation, Ankündigung vom 7. Mai 2026, abgerufen 6. August 2026.
19. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
20. Qi, Xiangyu u. a., 2024. Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! In: Proceedings of the International Conference on Learning Representations (ICLR 2024). arXiv: 2310.03693.
21. Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
22. Sanh, Victor u. a., 2022. Multitask Prompted Training Enables Zero-Shot Task Generalization. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2110.08207.
23. Taori, Rohan u. a., 2023. Alpaca: A Strong, Replicable Instruction-Following Model. Stanford CRFM.
24. Wang, Yizhong u. a., 2023. Self-Instruct: Aligning Language Models with Self-Generated Instructions. In: Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023), S. 13484–13508. DOI: 10.18653/v1/2023.acl-long.754.
25. Wei, Jason u. a., 2022. Finetuned Language Models Are Zero-Shot Learners. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2109.01652.
26. Yosinski, Jason / Clune, Jeff / Bengio, Yoshua / Lipson, Hod, 2014. How Transferable Are Features in Deep Neural Networks? In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3320–3328.

← Zurück zur Lexikon-Übersicht