URWORTE

Blog

7. August 2026

In-Context Learning

In-Context Learning (deutsch Kontextlernen, häufige Abkürzung ICL) bezeichnet im maschinellen Lernen die Fähigkeit großer Sprachmodelle, neue Aufgaben allein aus Beispielen oder Anweisungen zu lösen, die im Eingabeprompt enthalten sind – ohne dass die Modellgewichte verändert werden.

Der Begriff wurde 2020 durch Tom B. Brown und Kollegen in der Veröffentlichung von GPT-3 (Brown u. a., Language Models are Few-Shot Learners, NeurIPS 2020) prominent etabliert. Er bezeichnet ein Phänomen, das in der Sekundärliteratur teils als emergente Fähigkeit, teils als statistische Mustererkennung diskutiert wird und seither Gegenstand intensiver theoretischer und empirischer Forschung ist.

In-Context Learning ist das Pendant zum Fine-Tuning: Während Fine-Tuning das Modell durch Gradientenabstieg anpasst, nutzt ICL den vortrainierten Zustand des Modells unverändert und liefert die Aufgabenbeschreibung nur in Form von Tokens im Eingabekontext.

Zusammenfassung

In-Context Learning ist die methodische Grundlage praktisch aller heutigen direkten Anwendungen großer Sprachmodelle. Statt ein Modell für jede neue Aufgabe zu finetunen, wird die Aufgabe als Text formuliert und dem Modell als Prompt vorgelegt – typischerweise mit einigen Beispielen, die die gewünschte Antwortform demonstrieren.

Drei Hauptvarianten werden unterschieden: Zero-Shot (nur Aufgabenbeschreibung, keine Beispiele), One-Shot (genau ein Beispiel) und Few-Shot (mehrere Beispiele, typisch 2 bis 32).

Die GPT-3-Veröffentlichung 2020 demonstrierte erstmals, dass hinreichend große Sprachmodelle ohne Gewichtsänderung erhebliche Leistung auf zuvor nicht im Training gesehenen Aufgaben erreichen können – eine Beobachtung, die das Verhältnis zwischen Modellgröße, Trainingsverfahren und Anwendungsfähigkeit grundlegend verändert hat.

Theoretisch ist In-Context Learning ein nur partiell verstandenes Phänomen. Verschiedene Erklärungsversuche werden in der Forschung diskutiert, ohne dass ein theoretischer Konsens erreicht wurde:

Ein wichtiger empirischer Befund: Min u. a. (2022) zeigten, dass die Labels der gezeigten Few-Shot-Beispiele eine deutlich geringere Rolle spielen als die Form und Verteilung der Beispiele. Das Modell scheint primär die Aufgabenform zu erkennen, nicht aus den Beispielen zu lernen.

Begriffsgeschichte

Vorgeschichte: Prompt-Verwendung in GPT-2

Erste Beobachtungen, dass Sprachmodelle Aufgaben aus Prompts ableiten können, datieren auf die GPT-2-Veröffentlichung (Radford u. a., OpenAI 2019, Language Models are Unsupervised Multitask Learners).

Die Autoren zeigten, dass GPT-2 zwar nicht explizit auf Aufgaben wie maschinelle Übersetzung oder Frage-Antwort trainiert worden war, aber dennoch – wenn der Prompt eine entsprechende Form vorgab – moderate Leistung darauf erbrachte. Der Begriff In-Context Learning wurde noch nicht systematisch verwendet; die Praxis wurde als Zero-Shot Task Performance bezeichnet.

GPT-3 und die Etablierung des Begriffs (2020)

Die kanonische Etablierung des Begriffs erfolgte mit der GPT-3-Veröffentlichung im Mai 2020. Tom B. Brown, Benjamin Mann, Nick Ryder und ihre Co-Autoren demonstrierten in Language Models are Few-Shot Learners (NeurIPS 2020, arXiv 2005.14165), dass GPT-3 (175 Mrd. Parameter) bei Few-Shot-Prompting auf vielen Benchmark-Aufgaben Leistungen erreichte, die zuvor nur durch aufgabenspezifisches Fine-Tuning erreichbar waren.

Die Autoren prägten die heute übliche Terminologie: Zero-Shot (Aufgabenbeschreibung allein), One-Shot (ein Beispiel) und Few-Shot (typisch 10 bis 100 Beispiele). Die Beobachtung, dass die Leistung mit der Modellgröße erheblich anstieg, führte zur engen begrifflichen Verbindung zwischen In-Context Learning und Emergent Abilities.

Chain-of-Thought Prompting (2022)

Eine substantielle Erweiterung erfolgte 2022 mit Chain-of-Thought Prompting (Wei u. a., Google, NeurIPS 2022, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models).

Die Autoren zeigten, dass durch das Hinzufügen schrittweiser Lösungswege zu den Few-Shot-Beispielen die Modellleistung auf Aufgaben, die mehrstufiges Schlussfolgern erfordern (mathematische Wortprobleme, symbolisches Schließen, Common-Sense Reasoning), substantiell verbessert wird.

Die Beobachtung, dass diese Verbesserung erst ab einer bestimmten Modellgröße eintritt, wurde als weiterer Beleg für emergente Fähigkeiten interpretiert. Eine spätere Vereinfachung, Zero-Shot Chain-of-Thought (Kojima u. a. 2022, Large Language Models are Zero-Shot Reasoners), zeigte, dass bereits die schlichte Anweisung „Let’s think step by step” genügt, um vergleichbare Effekte auszulösen.

Mechanistische Erklärungsversuche (2022–2023)

Parallel zur empirischen Erkundung entstand eine Forschungslinie, die das Phänomen mechanistisch zu erklären versucht. Drei wichtige Ansätze:

Bayes-Inferenz: Sang Michael Xie, Aditi Raghunathan, Percy Liang und Tengyu Ma (Stanford 2022, An Explanation of In-context Learning as Implicit Bayesian Inference, ICLR 2022) argumentierten, dass ICL als implizite Bayes-Inferenz über latente Konzepte verstanden werden kann. Diese Konzepte wurden im Pre-Training gelernt.

Implizite Optimierung: Zwei Arbeiten zeigten 2023 theoretisch und empirisch, dass Transformer einen impliziten Gradientenabstieg innerhalb des Forward-Pass implementieren können.

Johannes von Oswald und Kollegen (DeepMind/ETH, Transformers Learn In-Context by Gradient Descent, ICML 2023) untersuchten dies ebenso wie Ekin Akyürek u. a. (MIT/Google, What Learning Algorithm is In-Context Learning?, ICLR 2023). Die Attention-Layer können demnach als implizite Lernalgorithmen interpretiert werden.

Induction Heads: Catherine Olsson, Nelson Elhage, Neel Nanda und Kollegen (Anthropic 2022, In-context Learning and Induction Heads) identifizierten spezifische Attention-Köpfe, die ein Muster der Form A B … A → B erkennen und reproduzieren. Sie argumentierten, dass diese Induction Heads eine zentrale mechanistische Voraussetzung von ICL sind und während des Trainings phasenweise und ziemlich abrupt entstehen.

Die Min-Befunde zu Labels (2022)

Eine besonders folgenreiche empirische Beobachtung publizierten Sewon Min und Kollegen (University of Washington / Meta AI / Allen Institute, EMNLP 2022, Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?). Wenn man die Labels der Few-Shot-Beispiele randomisiert – also Beispielen falsche Labels zuweist –, sinkt die Modellleistung nur geringfügig.

Was dagegen entscheidend zählt, ist die Verteilung der Eingaben, das Label-Vokabular und das Format der Beispiele. Diese Beobachtung wurde teils als Beleg gedeutet, dass Modelle nicht aus den Beispielen lernen, sondern primär die Aufgabenform erkennen.

Methodische Varianten

Zero-Shot Learning

Beim Zero-Shot-Prompting wird die Aufgabe nur durch eine natürlichsprachliche Beschreibung formuliert, ohne Beispiele. Voraussetzung ist, dass das Modell die Aufgabe aus seinem im Pre-Training erworbenen Wissen heraus erkennt und ausführt. Zero-Shot funktioniert bei klar formulierbaren Standardaufgaben (Übersetzung, Zusammenfassung, Klassifikation) zuverlässig, bei stark spezialisierten oder strukturell ungewöhnlichen Aufgaben weniger.

One-Shot und Few-Shot Learning

Beim One-Shot-Prompting wird genau ein Beispiel der Aufgabe vorangestellt; beim Few-Shot typischerweise 2 bis 32 Beispiele. Die Beispiele dienen primär der Demonstration der gewünschten Ausgabeform und der Aufgabenstruktur. Die optimale Anzahl der Beispiele variiert je nach Aufgabe und Modell; ab einer bestimmten Anzahl flacht der Leistungsgewinn ab oder kehrt sich um.

Chain-of-Thought (CoT) Prompting

Chain-of-Thought Prompting ergänzt die Few-Shot-Beispiele um explizite Zwischenschritte, die zur Lösung führen. Dies verbessert die Leistung auf mehrstufigen Aufgaben (Mathematik, logisches Schließen) erheblich.

Varianten umfassen Self-Consistency (Wang u. a. 2022, mehrere CoT-Lösungswege werden gesampelt und der häufigste Endwert gewählt), Tree of Thoughts (Yao u. a. 2023, hierarchische Suche durch Lösungspfade) und Least-to-Most Prompting (Zhou u. a. 2023, schrittweise Zerlegung in Teilprobleme).

In-Context Learning mit langen Kontexten

Mit der Ausweitung der Kontextfenster auf 100.000 bis 1.000.000 Tokens (Stand 2025/2026) ist Many-Shot In-Context Learning (Agarwal u. a. 2024, Many-Shot In-Context Learning) möglich geworden: Hunderte oder tausende Beispiele können in den Kontext geladen werden. Diese Variante schließt zunehmend die Lücke zur klassischen Fine-Tuning-Praxis und kann in vielen Anwendungsfällen vergleichbare Leistungen erzielen.

Prompt Engineering als Disziplin

In-Context Learning hat eine eigene anwendungsorientierte Praxis hervorgebracht – Prompt Engineering, die sich mit der systematischen Gestaltung von Prompts beschäftigt. Methoden wie Role Prompting, Format Specification, Negation Handling und Constitutional Prompting gehören zum Inventar dieser Praxis.

Theoretische Erklärungen

Bayes-Inferenz über latente Aufgaben

Eine einflussreiche Erklärung interpretiert In-Context Learning als implizite Bayes-Inferenz über latente Aufgabenrepräsentationen, die im Pre-Training erlernt wurden. Aus dieser Sicht hat das Modell während des Pre-Trainings eine Verteilung über mögliche Aufgaben gelernt; die Few-Shot-Beispiele verschieben die Posterior-Verteilung in Richtung der wahrscheinlichsten Aufgabe (Xie u. a. 2022).

Implizite Optimierung im Forward-Pass

Eine alternative Erklärung interpretiert ICL als implizite Implementierung eines Lernalgorithmus – typischerweise Gradientenabstieg oder Ridge-Regression – innerhalb des Forward-Pass des Transformers. Die Attention-Layer agieren in dieser Lesart als implizite Schichten eines internen Lernverfahrens (von Oswald u. a. 2023; Akyürek u. a. 2023; Garg u. a. 2022).

Mechanistische Schaltkreise

Die Anthropic-Forschung zu Induction Heads (Olsson u. a. 2022) und nachfolgenden mechanistischen Studien identifiziert konkrete Schaltkreise innerhalb der Transformer-Architektur, die für ICL-Fähigkeiten verantwortlich sind. Eine zentrale Beobachtung: Induction Heads entstehen während des Trainings phasenweise und korrelieren zeitlich mit dem Auftreten von ICL-Fähigkeiten.

Konvergenz der Erklärungen

Diese drei Erklärungsansätze sind nicht notwendigerweise konkurrierend. Sie könnten unterschiedliche Beschreibungsebenen desselben Phänomens darstellen – die Bayes-Interpretation als funktionale, die Optimierungs-Interpretation als algorithmische und die Schaltkreis-Interpretation als implementierungstechnische Beschreibung. Eine theoretische Synthese ist Gegenstand laufender Forschung.

Verhältnis zu Fine-Tuning und RAG

In-Context Learning ist das Pendant zum Fine-Tuning: Beide Verfahren adressieren dieselbe Frage – wie ein vortrainiertes Modell für eine konkrete Anwendung nutzbar gemacht wird –, lösen sie aber unterschiedlich.

ICL-Vorteile: Keine Gewichtsänderung, keine Trainingsdaten in technischem Sinne notwendig, sofort verwendbar, leicht zu ändern, kein Catastrophic Forgetting, kein Safety Regression.

ICL-Nachteile: Beschränkt durch das Kontextfenster, jeder Anfrage müssen die Beispiele neu beigefügt werden (höhere Inferenz-Kosten), nicht dauerhaft im Modell gespeichert, statistisch weniger zuverlässig bei stark spezialisierten Aufgaben.

Fine-Tuning-Vorteile: Dauerhafte Speicherung im Modell, geringere Inferenz-Kosten pro Anfrage, höhere Konsistenz bei stark spezialisierten Aufgaben.

Fine-Tuning-Nachteile: Aufwendig, erfordert Trainingsdaten und Rechenressourcen, Catastrophic Forgetting möglich, Safety Regression möglich.

Retrieval-Augmented Generation (RAG) ist eine dynamische ICL-Variante, in der die Kontext-Beispiele durch externe Retrieval-Komponenten zur Laufzeit ausgewählt werden – typisch nicht zur Demonstration der Aufgabenform, sondern zur Bereitstellung domänenspezifischen Wissens.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Sensitivität gegenüber Prompt-Formulierung: Empirische Untersuchungen (Lu u. a. 2022, Fantastically Ordered Prompts and Where to Find Them; Zhao u. a. 2021) zeigen, dass die Leistung erheblich von Details der Prompt-Formulierung abhängt – Reihenfolge der Beispiele, Format, Wortwahl. Diese Sensitivität limitiert die Reproduzierbarkeit und Zuverlässigkeit von ICL-Ergebnissen.

Mehrdeutigkeit des Lernbegriffs: Die Min-u.-a.-Befunde (2022) zu Labels werfen die Frage auf, ob ICL überhaupt im engeren Sinne Lernen ist. Die Sekundärliteratur diskutiert seither die Frage, ob ICL ein Aufgaben-Erkennungs-Prozess ist (das Modell erkennt aus dem Format, welche Aufgabe gemeint ist) oder ein Aufgaben-Lern-Prozess (das Modell extrahiert aus den Beispielen tatsächlich neue Information).

Begrenzte Erklärungstiefe: Die mehreren konkurrierenden theoretischen Erklärungen haben bislang nicht zu einem Konsens geführt. Praktisch bleibt offen, warum ICL bei manchen Aufgaben gut, bei anderen schlecht funktioniert.

Schwierige Evaluierung der „Emergenz”: Die ursprünglich von Wei u. a. (2022, Emergent Abilities of Large Language Models) postulierte Diskontinuität geht davon aus, dass bestimmte Fähigkeiten erst ab einer Schwellenmodellgröße auftreten. Schaeffer, Miranda und Koyejo (2023, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023) kritisierten sie als Artefakt der gewählten Metriken.

Diese Debatte berührt ICL direkt, weil viele ICL-Fähigkeiten als emergent klassifiziert wurden.

Wirtschaftliche Asymmetrien: Die in den Token-Einträgen beschriebene sprachliche Ungleichbehandlung wirkt sich auf ICL aus: Few-Shot-Beispiele in nicht-englischen Sprachen verbrauchen erheblich mehr Tokens, was die Anzahl möglicher Beispiele und die Kosten pro Anfrage substantiell beeinflusst.

Stand 2025/2026

In-Context Learning bleibt im Verlauf der Jahre 2024 bis 2026 die dominante Form, in der große Sprachmodelle für konkrete Aufgaben nutzbar gemacht werden – neben dem Fine-Tuning für spezialisierte Anwendungen und RAG für wissensintensive Aufgaben.

Mit der Ausweitung der Kontextfenster wird Many-Shot ICL zunehmend praktisch und kann in vielen Anwendungsfällen Fine-Tuning ersetzen. Claude Sonnet 4 erhielt im August 2025 ein Kontextfenster von 1.000.000 Tokens (zuvor 200.000 Tokens), Gemini 3 bietet seit November 2025 ebenfalls 1.000.000 Tokens.

Die mechanistische Forschung (Anthropic Interpretability, MIT, Stanford) hat das Verständnis von ICL-Schaltkreisen weiter präzisiert. Mit den seit Ende 2024 etablierten Reasoning Models (o1/o3, DeepSeek R1, Claude mit Extended Thinking) hat sich das Verhältnis von ICL und Reasoning verschoben. Diese Modelle nutzen interne Chain-of-Thought-Prozesse, die nicht primär aus dem Prompt, sondern aus dem zusätzlichen Inference-Time-Reasoning entstehen.

Verwandte Begriffe

Quellenangaben

  1. Agarwal, Rishabh u. a., 2024. Many-Shot In-Context Learning. In: Advances in Neural Information Processing Systems 37 (NeurIPS 2024). arXiv: 2404.11018.
  2. Akyürek, Ekin / Schuurmans, Dale / Andreas, Jacob / Ma, Tengyu / Zhou, Denny, 2023. What Learning Algorithm is In-Context Learning? Investigations with Linear Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2211.15661.
  3. Anthropic, 2025. Claude Sonnet 4 now supports 1M tokens of context. Anthropic Blog, 12. August 2025.
  4. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
  5. Garg, Shivam / Tsipras, Dimitris / Liang, Percy / Valiant, Gregory, 2022. What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2208.01066.
  6. Google DeepMind, 2025. Gemini 3: Introducing the Latest Gemini AI Model From Google. Google Blog, 18. November 2025. https://blog.google/products-and-platforms/products/gemini/gemini-3/
  7. Kojima, Takeshi / Gu, Shixiang Shane / Reid, Machel / Matsuo, Yutaka / Iwasawa, Yusuke, 2022. Large Language Models are Zero-Shot Reasoners. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.11916.
  8. Lu, Yao u. a., 2022. Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. In: Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022), S. 8086–8098. DOI: 10.18653/v1/2022.acl-long.556.
  9. Min, Sewon u. a., 2022. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? In: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022), S. 11048–11064. DOI: 10.18653/v1/2022.emnlp-main.759.
  10. Olsson, Catherine u. a., 2022. In-context Learning and Induction Heads. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.11895.
  11. Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
  12. Schaeffer, Rylan / Miranda, Brando / Koyejo, Sanmi, 2023. Are Emergent Abilities of Large Language Models a Mirage? In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.15004.
  13. von Oswald, Johannes u. a., 2023. Transformers Learn In-Context by Gradient Descent. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arXiv: 2212.07677.
  14. Wang, Xuezhi u. a., 2023. Self-Consistency Improves Chain of Thought Reasoning in Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2203.11171.
  15. Wang, Xuezhi / Wei, Jason / Schuurmans, Dale u. a., 2022. Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR 2023. arXiv: 2203.11171.
  16. Wei, Jason u. a., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2201.11903.
  17. Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.
  18. Xie, Sang Michael / Raghunathan, Aditi / Liang, Percy / Ma, Tengyu, 2022. An Explanation of In-context Learning as Implicit Bayesian Inference. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2111.02080.
  19. Yao, Shunyu u. a., 2023. Tree of Thoughts: Deliberate Problem Solving with Large Language Models. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.10601.
  20. Zhao, Tony Z. / Wallace, Eric / Feng, Shi / Klein, Dan / Singh, Sameer, 2021. Calibrate Before Use: Improving Few-Shot Performance of Language Models. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021), S. 12697–12706. arXiv: 2102.09690.
  21. Zhou, Denny u. a., 2023. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2205.10625.

← Zurück zur Lexikon-Übersicht