Reinforcement Learning

Reinforcement Learning (deutsch bestärkendes Lernen, üblicherweise abgekürzt RL) bezeichnet jenes Teilgebiet des maschinellen Lernens, in dem ein Agent durch Interaktion mit einer Umgebung eine Verhaltensstrategie (policy) optimiert. Er lernt dabei aus Belohnungssignalen, welche Handlungen in welchen Zuständen zu möglichst hohem kumulierten Belohnungswert führen.

Reinforcement Learning wird von überwachtem und unüberwachtem Lernen abgegrenzt: Überwachtes Lernen lernt aus Eingabe-Label-Paaren, unüberwachtes Lernen findet Strukturen in unlabelten Daten. RL dagegen lernt aus einem Belohnungssignal, das die Qualität ausgeführter Aktionen evaluiert – typischerweise zeitlich verzögert und in spärlicher Form.

Die theoretische Grundlage liegt in der Theorie der Markov-Entscheidungsprozesse (MDPs) und der dynamischen Programmierung; Vorarbeiten reichen bis in die 1950er Jahre (Bellman 1957) zurück.

Zusammenfassung

Reinforcement Learning hat eine ungewöhnliche Doppelgeschichte. Das Gebiet entstand aus zwei Traditionen: der verhaltenswissenschaftlichen Lernforschung (Thorndike 1898, Skinner 1938) und der mathematischen Optimierungstheorie (Bellman 1957).

Die Verbindung beider Traditionen mit neuronalen Netzen erfolgte ab den 1980er Jahren durch Richard Sutton und Andrew Barto an der University of Massachusetts Amherst, deren Lehrbuch Reinforcement Learning: An Introduction (Erstauflage 1998, Zweitauflage 2018) bis heute Standardtext der Disziplin ist.

Zentrale Verfahren umfassen Temporal Difference Learning (Sutton 1988), Q-Learning (Watkins 1989), Policy Gradient Methods (Williams 1992 mit REINFORCE) und Actor-Critic-Architekturen. In der modernen Form kommt Deep Reinforcement Learning mit neuronalen Netzen als Funktionsapproximatoren hinzu (Mnih u. a. 2015 DQN, Silver u. a. 2016 AlphaGo, Schulman u. a. 2017 PPO).

Anwendungsfelder umfassen Spielforschung (AlphaGo, AlphaZero, MuZero), Robotik, autonomes Fahren, Empfehlungssysteme, das Reinforcement Learning from Human Feedback (RLHF) zur Anpassung großer Sprachmodelle und die seit Ende 2024 etablierte RL-basierte Trainingslinie für Reasoning-Modelle. Sutton und Barto erhielten 2024 den ACM A.M. Turing Award für ihre Beiträge.

Begriffsgeschichte

Frühe Vorgeschichte (1898–1950)

Die Vorgeschichte des Reinforcement Learning liegt in der Verhaltenspsychologie. Edward Thorndike formulierte 1898 das Law of Effect: Verhaltensweisen, die zu zufriedenstellenden Konsequenzen führen, werden mit höherer Wahrscheinlichkeit wiederholt.

Burrhus F. Skinner (1938 The Behavior of Organisms) etablierte den Rahmen der operanten Konditionierung. Diese Linien lieferten konzeptionell die Idee, dass Lernverhalten durch Belohnungs- und Bestrafungs-Signale geformt werden kann.

Mathematische Grundlegung (1950er–1960er Jahre)

Eine eigenständige zweite Wurzel liegt in der Optimierungstheorie. Richard Bellman entwickelte 1957 in Dynamic Programming (Princeton University Press) die Bellman-Gleichung und das Konzept der value function – die Grundpfeiler der späteren RL-Theorie. Die Formalisierung als Markov-Entscheidungsprozess (MDP) erfolgte parallel.

Arthur Samuels Programm zum Damespiel (1959, Some Studies in Machine Learning Using the Game of Checkers, IBM Journal) verband erstmals Bellmans Ideen mit lernenden Spielprogrammen und gilt als Pionierwerk.

Sutton-Barto-Synthese (1980er–1990er Jahre)

Die Synthese der beiden Traditionen erfolgte ab den frühen 1980er Jahren durch Richard Sutton (zunächst PhD-Student bei Andrew Barto an der University of Massachusetts Amherst). Suttons Dissertation Temporal Credit Assignment in Reinforcement Learning (1984) und der nachfolgende Aufsatz Learning to Predict by the Methods of Temporal Differences (Sutton 1988, Machine Learning 3) etablierten TD-Learning als Hauptlinie.

Chris Watkins promovierte 1989 mit Q-Learning (Cambridge University), das modellfreies RL mit garantierter Konvergenz unter geeigneten Bedingungen ermöglichte. Ronald Williams formulierte 1992 die REINFORCE-Familie der Policy Gradient-Verfahren.

Das Lehrbuch Reinforcement Learning: An Introduction (Sutton/Barto, MIT Press, Erstauflage 1998,; Zweitauflage 2018,) wurde zum Standardtext.

Deep Reinforcement Learning (2013–2017)

Die wirkungsmächtigste Phase begann 2013 mit der Verbindung von RL und tiefen neuronalen Netzen.

Die DeepMind-Arbeit Playing Atari with Deep Reinforcement Learning (Mnih u. a. 2013, arXiv 1312.5602) und ihre erweiterte Fassung Human-level Control through Deep Reinforcement Learning (Mnih u. a. 2015, Nature 518, DOI 10.1038/nature14236) etablierten Deep Q-Networks (DQN) als Hauptlinie. DQN erreichte menschliches Niveau auf 49 Atari-Spielen aus reinen Pixel-Eingaben.

DeepMinds AlphaGo (Silver u. a. 2016, Nature 529) besiegte den 18-fachen Go-Weltmeister Lee Sedol im März 2016 mit 4:1. AlphaGo Zero (Silver u. a. 2017, Nature 550) lernte ohne menschliche Spieldaten allein durch Selbstspiel, und AlphaZero (Silver u. a. 2017) verallgemeinerte das Verfahren auf Schach, Shogi und Go. MuZero (Schrittwieser u. a. 2020, Nature 588) lernte zusätzlich das Umgebungsmodell.

Zentral wurden in dieser Phase die Policy-Optimization-Verfahren Trust Region Policy Optimization (TRPO, Schulman u. a. 2015) und Proximal Policy Optimization (PPO, Schulman u. a. 2017, arXiv 1707.06347). PPO ist Stand 2025/2026 das verbreitetste Verfahren in industriellen Anwendungen, einschließlich der LLM-Trainingspipelines.

RLHF und LLM-Integration (2017–2022)

Die Anwendung von RL auf große Sprachmodelle begann mit Deep Reinforcement Learning from Human Preferences (Christiano u. a. NeurIPS 2017).

Die Skalierung auf große Sprachmodelle erfolgte über Learning to Summarize with Human Feedback (Stiennon u. a. NeurIPS 2020) und InstructGPT (Ouyang u. a. NeurIPS 2022, arXiv 2203.02155). Mit der ChatGPT-Veröffentlichung im November 2022 wurde RLHF zur standardmäßigen Trainingsmethode für Chat-orientierte Sprachmodelle.

RL für Reasoning Models (2024–2026)

Eine wirkungsmächtige Wende erfolgte im September 2024 mit der Veröffentlichung von OpenAI o1 – einem Sprachmodell, das durch RL gezielt auf interne Reasoning-Spuren trainiert wurde. DeepSeek R1 (Januar 2025, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning) etablierte als erstes Open-Source-Modell vergleichbare Reasoning-Fähigkeiten und dokumentierte Details der RL-Trainingspipeline.

Zentral ist Group Relative Policy Optimization (GRPO), eine PPO-Variante, die durch DeepSeek-R1 populär wurde.

Eine ergänzende Forschungslinie ist Reinforcement Learning with Verifiable Rewards (RLVR), bei der das Belohnungssignal nicht aus menschlichem oder KI-Feedback, sondern aus automatisch verifizierbaren Kriterien gewonnen wird – etwa der Korrektheit einer mathematischen Lösung oder bestandenen Testfällen bei generiertem Code.

Wen u. a. (2025) zeigten anhand einer neu entwickelten Metrik (CoT-Pass@K), dass RLVR nicht nur die Stichprobeneffizienz bereits vorhandener korrekter Lösungswege erhöht, sondern die Fähigkeit zu korrektem Schlussfolgern selbst messbar erweitert. RLVR „extends the reasoning boundary” auch für mathematische und Programmieraufgaben.

Turing-Preis für Sutton und Barto (2024)

Im März 2025 vergab die Association for Computing Machinery den ACM A.M. Turing Award 2024 an Richard Sutton und Andrew Barto für ihre Beiträge zum Reinforcement Learning. Die Auszeichnung würdigte methodisch sowohl die theoretischen Grundlagenarbeiten als auch ihre praktische Wirkmacht.

Methodische Grundlagen

Markov-Entscheidungsprozesse (MDPs)

Der mathematische Rahmen von RL ist der MDP – formal ein Tupel aus Zustandsraum, Aktionsraum, Übergangswahrscheinlichkeiten, Belohnungsfunktion und Diskontierungsfaktor. Der Agent wählt in jedem Zeitschritt eine Aktion, erhält eine Belohnung und beobachtet den Folgezustand. Ziel ist die Maximierung der erwarteten diskontierten kumulierten Belohnung.

Value Functions und Bellman-Gleichung

Zentrale Größen sind State Value Function (erwartete Belohnung von einem Zustand aus) und Action Value Function (Q-Funktion: erwartete Belohnung für eine Aktion in einem Zustand). Beide erfüllen die Bellman-Gleichung als rekursive Konsistenzbedingung.

Exploration vs. Exploitation

Eine Grundfrage des RL ist der Tradeoff zwischen Exploration (neue Aktionen erkunden, um die Umgebung kennenzulernen) und Exploitation (bekannte gute Aktionen ausnutzen). Standardansätze umfassen ε-greedy-Strategien, Boltzmann-Exploration, Upper Confidence Bounds (UCB) und Thompson Sampling.

Modellfreies vs. modellbasiertes RL

Modellfreies RL lernt direkt Policies oder Value Functions, ohne ein explizites Modell der Umgebungsdynamik aufzubauen (Q-Learning, SARSA, Policy Gradients). Modellbasiertes RL lernt zusätzlich ein Übergangsmodell und kann darin planen (Dyna-Q, MuZero). Beide Linien haben unterschiedliche Stärken hinsichtlich Stichprobeneffizienz und Generalisierbarkeit.

Policy-basiertes vs. wertbasiertes Lernen

Wertbasiertes Lernen (Q-Learning, DQN) lernt eine Wertfunktion und leitet daraus die Policy ab. Policy-basiertes Lernen (REINFORCE, PPO) optimiert die Policy direkt durch Gradientenverfahren. Actor-Critic-Methoden (A2C, A3C, SAC) kombinieren beide Ansätze.

Anwendungsfelder

Spielforschung

Wirkungsmächtig: DQN auf Atari (Mnih u. a. 2015), AlphaGo (Silver u. a. 2016, Sieg gegen Lee Sedol März 2016), AlphaZero (Schach/Shogi/Go), MuZero (zusätzlich Modelllernen), OpenAI Five (Dota 2, 2018–2019), AlphaStar (StarCraft II, 2019), Cicero (Diplomacy, Meta 2022).

Robotik

RL-basierte Steuerung in Robotik-Anwendungen – Greifen, Manipulation, Lokomotion. Beiträge unter anderem von DeepMind, OpenAI (vor der Robotik-Abteilungs-Schließung 2020), Google Brain, Boston Dynamics, Figure AI. Sim-to-Real-Transfer ist eine Hauptherausforderung.

LLM-Training (RLHF und RLAIF)

Die heute quantitativ wichtigste industrielle RL-Anwendung. RLHF (Reinforcement Learning from Human Feedback) ist Standardphase der Frontier-LLM-Trainingspipeline; Constitutional AI (Anthropic) und RLAIF (Reinforcement Learning from AI Feedback) sind verwandte Methoden.

Reasoning Models

Seit September 2024 etabliert RL als Trainingsmethode für interne Reasoning-Spuren in Sprachmodellen (o1, o3, o4, DeepSeek R1, Claude-Reasoning-Modus, Gemini 2.5 Pro Thinking). 2025/2026 wurde das Verfahren auf weitere Frontier-Modelle ausgeweitet – darunter GPT-5 mit integriertem Reasoning-Router (OpenAI, August 2025) und Gemini 3 Deep Think (Google DeepMind, November 2025).

Empfehlungssysteme und Anzeigenoptimierung

Industrielle Hauptanwendung – News-Feeds, Werbeplatzierungen, Produktempfehlungen. Verwandt mit Contextual Bandits.

Wissenschaftliche Anwendungen

Chip-Layout-Optimierung (Google AlphaChip 2024), Algorithmenentdeckung (Fawzi u. a. 2022, AlphaTensor; AlphaProof 2024), Materials Discovery, Plasma-Steuerung in Fusionsreaktoren (DeepMind/EPFL 2022).

Herausforderungen

Sample Efficiency

RL-Verfahren benötigen typisch sehr viele Interaktions-Episoden – bei DQN auf Atari mehrere Millionen Frames. In der realen Welt (Robotik, autonomes Fahren) ist diese Datenmenge problematisch.

Reward Engineering

Die Spezifikation geeigneter Belohnungsfunktionen ist nicht trivial. Schlecht spezifizierte Belohnungen führen zu Reward Hacking und Specification Gaming. Inverse Reinforcement Learning (IRL) versucht, Belohnungsfunktionen aus Demonstrationen zu inferieren.

Stabilität und Reproduzierbarkeit

Deep-RL-Verfahren sind häufig instabil und schwer reproduzierbar (Henderson u. a. AAAI 2018, Deep Reinforcement Learning that Matters).

Sicherheitsaspekte

RL-Verfahren können in offen formulierten Umgebungen unvorhergesehene Verhaltensweisen entwickeln. Verwandte Forschungsfelder sind AI Alignment, Specification Gaming und Goal Misgeneralization.

Generalisierung

RL-Agenten generalisieren schlecht über Trainingsverteilungen hinaus; Procgen-Benchmark (Cobbe u. a. 2020) und vergleichbare Tests haben dies systematisch dokumentiert.

Stand 2025/2026

Stand Mai 2026 ist Reinforcement Learning in einer Phase intensiver Anwendung im LLM-Training und in einer Renaissance durch die Reasoning-Modell-Linie. PPO und GRPO sind die dominanten Algorithmen industrieller Anwendungen.

Die Verbindung zwischen RL und Foundation Models ist Gegenstand intensiver Forschung – sowohl in proprietären Frontier-Labs (OpenAI, Anthropic, DeepMind) als auch in der Open-Source-Community (DeepSeek, Qwen, Llama-Tradition).

Der Turing-Preis 2024 für Sutton und Barto markierte die offizielle akademische Anerkennung des Gebiets. Stuart Russells Programm einer provably beneficial AI und die Diskussion um Cooperative Inverse Reinforcement Learning (Hadfield-Menell u. a. 2016) verbinden RL mit der KI-Sicherheits-Forschung.

Offene Fragen umfassen Sample Efficiency in komplexen Umgebungen, Sim-to-Real-Transfer, Reward-Spezifikation in offenen Domänen, das Verhältnis zwischen modellfreiem und modellbasiertem RL, sowie die Skalierungs-Eigenschaften von RL in Reasoning-Modellen.

Verwandte Begriffe

• Markov-Entscheidungsprozess (MDP) – mathematischer Rahmen
• Q-Learning – Hauptlinie
• Temporal Difference Learning – Hauptlinie
• Deep Q-Network (DQN) – Deep-RL-Pionierarbeit
• Proximal Policy Optimization (PPO) – Standardalgorithmus
• Bellman-Gleichung – mathematische Grundlage
• Richard Sutton – Begründer
• Andrew Barto – Begründer

Quellenangaben

1. Association for Computing Machinery (2025): Andrew Barto and Richard Sutton Receive 2024 ACM A. M. Turing Award. Pressemitteilung, 5. März 2025.
2. Bellman, Richard, 1957. Dynamic Programming.
3. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
4. Cobbe, Karl / Hesse, Chris / Hilton, Jacob / Schulman, John, 2020. Leveraging Procedural Generation to Benchmark Reinforcement Learning. In: Proceedings of the 37th International Conference on Machine Learning (ICML 2020), PMLR 119, S. 2048–2056. arXiv: 1912.01588.
5. DeepSeek-AI / Guo, Daya / Yang, Dejian u. a., 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv: 2501.12948. Später erschienen als DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning. In: Nature 645 (8081), S. 633–638.
6. Fawzi, Alhussein / Balog, Matej / Huang, Aja / Hubert, Thomas / Romera-Paredes, Bernardino u. a., 2022. Discovering Faster Matrix Multiplication Algorithms with Reinforcement Learning. In: Nature 610 (7930), S. 47–53. DOI: 10.1038/s41586-022-05172-4.
7. Google DeepMind, 2025. Gemini 3: Introducing the Latest Gemini AI Model From Google. Google Blog, 18. November 2025. https://blog.google/products-and-platforms/products/gemini/gemini-3/
8. Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
9. Henderson, Peter u. a., 2018. Deep Reinforcement Learning that Matters. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence, S. 3207–3214. arXiv: 1709.06560.
10. Mnih, Volodymyr u. a., 2015. Human-Level Control through Deep Reinforcement Learning. In: Nature 518 (7540), S. 529–533. DOI: 10.1038/nature14236.
11. Mnih, Volodymyr / Kavukcuoglu, Koray / Silver, David / Graves, Alex / Antonoglou, Ioannis / Wierstra, Daan / Riedmiller, Martin, 2013. Playing Atari with Deep Reinforcement Learning. arXiv: 1312.5602.
12. OpenAI, 2025. Introducing GPT-5. openai.com/index/introducing-gpt-5/, August 2025.
13. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
14. Samuel, Arthur L., 1959. Some Studies in Machine Learning Using the Game of Checkers. In: IBM Journal of Research and Development 3 (3), S. 210–229. DOI: 10.1147/rd.33.0210.
15. Schrittwieser, Julian u. a., 2020. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. In: Nature 588, S. 604–609. DOI: 10.1038/s41586-020-03051-4. (MuZero).
16. Schulman, John / Wolski, Filip / Dhariwal, Prafulla / Radford, Alec / Klimov, Oleg, 2017. Proximal Policy Optimization Algorithms. OpenAI. arXiv: 1707.06347.
17. Schulman, John / Levine, Sergey / Moritz, Philipp / Jordan, Michael I. / Abbeel, Pieter, 2015. Trust Region Policy Optimization. arXiv: 1502.05477.
18. Silver, David / Huang, Aja / Hassabis, Demis u. a., 2016. Mastering the Game of Go with Deep Neural Networks and Tree Search. In: Nature 529 (7587), S. 484–489. DOI: 10.1038/nature16961.
19. Silver, David u. a., 2017. Mastering the Game of Go without Human Knowledge. In: Nature 550 (7676), S. 354–359. DOI: 10.1038/nature24270.
20. Skinner, B. F., 1938. The Behavior of Organisms: An Experimental Analysis.
21. Stiennon, Nisan / Long, Long / Hou, Xinyu u. a., 2020. Learning to Summarize from Human Feedback. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2009.01325.
22. Sutton, Richard S. / Barto, Andrew G., 2018. Reinforcement Learning: An Introduction.
23. Sutton, Richard S., 1988. Learning to Predict by the Methods of Temporal Differences. In: Machine Learning 3 (1), S. 9–44. DOI: 10.1007/BF00115009.
24. Thorndike, Edward L., 1898. Animal Intelligence: An Experimental Study of the Associative Processes in Animals. In: Psychological Review: Monograph Supplements 2, Nr. 4.
25. Watkins, Christopher J. C. H., 1989. Learning from Delayed Rewards. Dissertation, King’s College, University of Cambridge.
26. Wen, Xumeng / Liu, Zihan / Zheng, Shun / Ye, Shengyu / Wu, Zhirong / Wang, Yang / Xu, Zhijian / Liang, Xiao / Li, Junjie / Miao, Ziming / Bian, Jiang / Yang, Mao, 2025. Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs. arXiv: 2506.14245.
27. Williams, Ronald J., 1992. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning. In: Machine Learning 8 (3-4), S. 229–256. DOI: 10.1007/BF00992696.

← Zurück zur Lexikon-Übersicht