Maschinelles Lernen

Maschinelles Lernen (englisch machine learning, Abkürzung ML) bezeichnet das Teilgebiet der Informatik und der Künstlichen Intelligenz, das sich mit Algorithmen befasst, die ihre Leistung bei einer Aufgabe auf der Grundlage von Erfahrungsdaten verbessern, ohne explizit für jede Situation programmiert worden zu sein.

Der Begriff wurde 1959 von dem IBM-Forscher Arthur L. Samuel in seinem Aufsatz Some Studies in Machine Learning Using the Game of Checkers (IBM Journal of Research and Development 3 [3]) eingeführt.

Tom Mitchell formulierte 1997 in seinem Lehrbuch Machine Learning die heute kanonische Definition: „Ein Computerprogramm lernt aus Erfahrung E in Bezug auf eine Klasse von Aufgaben T und ein Leistungsmaß P, wenn seine Leistung bei Aufgaben aus T, gemessen an P, sich mit der Erfahrung E verbessert.”

Zusammenfassung

Maschinelles Lernen unterscheidet sich vom klassischen regelbasierten Programmieren dadurch, dass nicht die Regeln zur Lösung einer Aufgabe explizit kodiert werden, sondern die Maschine die Regeln aus Beispieldaten selbst erschließt.

Vier Hauptparadigmen lassen sich unterscheiden: überwachtes Lernen (Lernen aus etikettierten Beispielen), unüberwachtes Lernen (Lernen von Strukturen ohne Etikettinformation), halbüberwachtes Lernen (Kombination beider) und bestärkendes Lernen (Lernen durch Interaktion mit einer Umwelt und Belohnungssignale).

Das Forschungsfeld gliedert sich in drei historische Phasen: eine symbolisch-statistische Periode (etwa 1959–1985, geprägt durch Perzeptron, Entscheidungsbäume und einfache statistische Verfahren), eine kernel- und probabilistische Periode (etwa 1985–2010, geprägt durch Support Vector Machines, Bayes’sche Netze und Ensemble-Verfahren wie Random Forest und Boosting) und eine Deep-Learning-Periode (seit 2012, geprägt durch tiefe neuronale Netze, GPU-Computing und große Datenmengen).

Maschinelles Lernen ist seit etwa 2015 in praktisch allen technologischen Anwendungsfeldern präsent – von medizinischer Diagnostik über Spracherkennung, Bilderkennung, Übersetzung und Empfehlungssystemen bis zur autonomen Fahrzeugführung – und bildet die methodische Grundlage der heutigen großen Sprachmodelle.

Begriffsgeschichte

Vorgeschichte

Die statistischen Vorformen des maschinellen Lernens reichen ins 19. Jahrhundert zurück: Carl Friedrich Gauß’ Methode der kleinsten Quadrate (1795/1809), Pierre-Simon Laplaces Wahrscheinlichkeitstheorie, Thomas Bayes’ posthum publiziertes Theorem (1763) und Karl Pearsons Korrelationsanalyse.

Die unmittelbaren technischen Wurzeln liegen in der Entwicklung der Kybernetik (Norbert Wiener 1948), der Informationstheorie (Claude Shannon 1948) und der frühen neuronalen Modelle von Warren McCulloch und Walter Pitts (1943).

Samuel und das Checkers-Programm

Arthur Samuel entwickelte ab 1952 bei IBM ein Damespiel-Programm, das durch Selbstspiel und die Aktualisierung interner Bewertungsfunktionen seine Spielstärke verbesserte.

Samuels Programm gilt als eine der ersten Anwendungen maschinellen Lernens im heute geläufigen Sinn – der Algorithmus lernte aus seinen eigenen Spielen, ohne dass die Strategien vorab kodiert worden wären. Samuels Definition des Begriffs „machine learning” als „field of study that gives computers the ability to learn without being explicitly programmed” prägte den Sprachgebrauch des Feldes.

Frühe Algorithmen (1950er–1970er Jahre)

Wichtige Markierungen der frühen ML-Geschichte sind das Perzeptron (Frank Rosenblatt, 1958), die Nearest Neighbor-Klassifikation (Cover/Hart 1967), die ID3-Entscheidungsbaum-Algorithmik (Ross Quinlan, 1979/1986), die EM-Algorithmus-Formalisierung (Dempster, Laird, Rubin 1977) und die ersten formalen Lernbarkeitsuntersuchungen in der Computational Learning Theory (Valiants PAC Learning, 1984).

Erster AI Winter und statistische Wende

Nach Marvin Minsky und Seymour Paperts kritischer Analyse des Perzeptrons (Perceptrons, 1969) und dem britischen Lighthill Report (1973) verlor die KI-Forschung erheblich an Förderung.

In dieser Phase entwickelte sich maschinelles Lernen zunehmend in Richtung statistischer Methoden weg von symbolischen Ansätzen – eine Wende, die in den 1990er Jahren zur Dominanz von Support Vector Machines (Cortes/Vapnik 1995), Bayes’schen Netzen (Pearl 1988), Boosting (Freund/Schapire 1997, AdaBoost) und Random Forests (Breiman 2001) führte.

Deep-Learning-Wende (ab 2012)

Mit dem ImageNet-Durchbruch von AlexNet (Krizhevsky, Sutskever, Hinton, NeurIPS 2012) – einem konvolutionellen neuronalen Netz, das die Top-5-Fehlerrate der Bildklassifikation um rund zehn Prozentpunkte senkte – begann die heute dominante Phase tiefer neuronaler Netze.

Drei Faktoren ermöglichten den Durchbruch: substantiell vergrößerte Datensätze (insbesondere ImageNet, Deng/Fei-Fei u. a. 2009), GPU-Computing (NVIDIA CUDA seit 2007) und algorithmische Verfeinerungen (Dropout-Regularisierung, ReLU-Aktivierungen, Batch Normalization).

Die Folgearchitekturen – VGGNet, GoogLeNet, ResNet – und insbesondere die Transformer-Architektur (Vaswani u. a. 2017) bildeten die Grundlage der seit etwa 2020 öffentlichkeitswirksamen großen Sprachmodelle (GPT, Claude, Gemini, Llama).

Lernparadigmen

Überwachtes Lernen

Beim überwachten Lernen (supervised learning) erhält der Algorithmus Trainingsdaten in Form von Paaren (Eingabe, gewünschte Ausgabe). Ziel ist es, eine Funktion zu lernen, die für neue, im Training nicht gesehene Eingaben eine möglichst korrekte Ausgabe liefert.

Zwei Hauptaufgabentypen werden unterschieden: Klassifikation (diskrete Ausgaben – etwa Spam/Nicht-Spam) und Regression (kontinuierliche Ausgaben – etwa Hauspreise). Wichtige Algorithmen: lineare und logistische Regression, Entscheidungsbäume, Random Forest, Support Vector Machines, k-Nearest Neighbors und tiefe neuronale Netze.

Unüberwachtes Lernen

Beim unüberwachten Lernen (unsupervised learning) erhält der Algorithmus nur die Eingabedaten ohne Etiketten und soll selbst Strukturen in den Daten entdecken.

Hauptaufgaben sind Clustering (Zusammenfassung ähnlicher Datenpunkte – etwa k-Means, hierarchisches Clustering, DBSCAN), Dimensionsreduktion (Verringerung der Variablenzahl bei Erhaltung relevanter Information – etwa Hauptkomponentenanalyse, t-SNE, UMAP, Autoencoder) und Dichte-Schätzung (Modellierung der Verteilung der Daten – etwa Gauß’sche Mischverteilungen, Kerndichte-Schätzung).

Halbüberwachtes und selbstüberwachtes Lernen

Halbüberwachtes Lernen (semi-supervised learning) kombiniert eine kleine Menge etikettierter mit einer großen Menge unetikettierter Daten.

Selbstüberwachtes Lernen (self-supervised learning) – die Grundlage moderner Sprachmodelle – generiert die Trainingssignale aus den Daten selbst, etwa indem das Modell trainiert wird, fehlende Teile einer Sequenz vorherzusagen. Die Vorhersage des nächsten Wortes in einem Text – die Grundaufgabe der GPT-Familie – ist ein selbstüberwachtes Verfahren.

Bestärkendes Lernen

Beim bestärkenden Lernen (reinforcement learning, RL) lernt ein Agent durch Interaktion mit einer Umwelt: Er führt Aktionen aus, erhält Belohnungs- oder Bestrafungssignale und passt seine Verhaltensstrategie so an, dass die kumulative Belohnung maximiert wird.

Klassische Algorithmen sind Q-Learning (Watkins 1989), SARSA, Policy Gradient-Verfahren und ihre tiefen Lernvarianten Deep Q-Networks (Mnih u. a. 2015, Nature). Anwendungsbeispiele umfassen Spielsysteme wie AlphaGo (DeepMind 2016), Robotersteuerung und das Reinforcement Learning from Human Feedback (RLHF), das im Training großer Sprachmodelle eingesetzt wird.

Methodische Grundbegriffe

Trainings-, Validierungs- und Testdaten

Datensätze werden in der ML-Praxis typischerweise in drei Teile aufgeteilt: Trainingsdaten (zur Anpassung der Modellparameter), Validierungsdaten (zur Auswahl von Hyperparametern und Modellvarianten) und Testdaten (zur abschließenden Bewertung der Generalisierungsfähigkeit).

Eine strikte Trennung der drei Mengen ist zentral, da Bewertungen auf Trainings- oder Validierungsdaten zu systematischer Überschätzung der tatsächlichen Leistung führen.

Bias-Variance-Tradeoff

Zentral für das Verständnis ML-typischer Fehlerquellen ist die Zerlegung des Vorhersagefehlers in Bias (systematische Abweichung durch zu einfache Modellannahmen) und Varianz (Streuung der Modellvorhersagen über verschiedene Trainingsdatensätze, oft durch zu komplexe Modelle).

Klassische Lernalgorithmen sind durch einen Kompromiss zwischen diesen beiden Fehlerquellen charakterisiert. In tiefen neuronalen Netzen wurde dieser Tradeoff in der jüngeren Forschung (Belkin u. a. 2019, Reconciling Modern Machine Learning Practice and the Bias-Variance Trade-off) durch das Double-Descent-Phänomen relativiert.

Overfitting und Regularisierung

Overfitting (Überanpassung) beschreibt das Phänomen, dass ein Modell sich zu eng an die Trainingsdaten anpasst und auf neuen Daten schlechter generalisiert. Gegen Overfitting werden Regularisierungstechniken eingesetzt: L1-/L2-Regularisierung der Modellparameter, Early Stopping (vorzeitiger Abbruch des Trainings), Dropout (Hinton u. a. 2012, in voll verbundenen Schichten zufällige Deaktivierung von Einheiten) und Datenanreicherung (data augmentation).

Generalisierung

Das zentrale theoretische Anliegen des maschinellen Lernens ist die Generalisierung: die Fähigkeit eines Modells, auf neuen, im Training nicht gesehenen Daten gut zu funktionieren.

Die Computational Learning Theory (Valiant 1984; Vapnik/Chervonenkis 1971) liefert obere Schranken für den Generalisierungsfehler in Abhängigkeit von der Modellkomplexität und der Trainingsdatenmenge. In tiefen Netzen bleiben die klassischen Generalisierungsabschätzungen oft pessimistisch – moderne Netze mit Milliarden Parametern generalisieren in der Praxis besser, als die klassische Theorie vorhersagen würde.

Anwendungen

Maschinelles Lernen ist seit etwa 2015 in einer Vielzahl praktischer Anwendungsfelder etabliert:

In der Bilderkennung (Computer Vision) wird ML in Diagnostik (Hautkrebs-Erkennung, Radiologie-Befundung), Industrieautomation, autonomen Fahrzeugen und Gesichtserkennung eingesetzt.

In der Sprachverarbeitung (Natural Language Processing) prägen ML-basierte Verfahren die maschinelle Übersetzung (Google Translate, DeepL), Spracherkennung (Siri, Alexa), Textgenerierung (große Sprachmodelle) und Sentiment-Analyse.

In der medizinischen Diagnostik werden ML-Verfahren zunehmend für Bildauswertung, Risikoabschätzung und Wirkstoffentdeckung eingesetzt – bekannt etwa DeepMinds AlphaFold (Jumper u. a. 2021, Nature), das die Vorhersage von Proteinstrukturen revolutionierte und 2024 zum Chemie-Nobelpreis (an Demis Hassabis und John Jumper) beitrug.

In der Empfehlung und Personalisierung prägen ML-Systeme die Suchergebnisse, Produktempfehlungen, Newsfeeds und Werbeplatzierung praktisch aller großen Online-Plattformen.

In der Finanzwirtschaft werden ML-Verfahren für Kreditrisiko-Bewertung, Hochfrequenzhandel, Betrugserkennung und automatisierte Vermögensverwaltung verwendet.

In der Robotik und autonomen Fahrzeugführung sind ML-Verfahren – insbesondere bestärkendes Lernen und Computer Vision – zentrale Komponenten.

Kritik und Risiken

Substantielle Kritik richtet sich auf mehrere Linien:

Bias und Diskriminierung: ML-Systeme reproduzieren systematisch die Verzerrungen ihrer Trainingsdaten. Bekannte Beispiele sind diskriminierende Effekte in Gesichtserkennungssystemen (Buolamwini/Gebru 2018, Gender Shades) und in algorithmischen Entscheidungssystemen der Justiz (COMPAS-Kontroverse, ProPublica 2016). Die Disziplin der Fair Machine Learning befasst sich mit der formalen Modellierung und Minderung solcher Effekte.

Interpretierbarkeit: Tiefe Modelle mit Millionen oder Milliarden Parametern sind in ihrem internen Funktionieren schwer nachzuvollziehen. Die Forschungslinie der Explainable AI (XAI) und Mechanistic Interpretability versucht, diese Black-Box-Eigenschaft zu adressieren.

Datenschutz: Trainingsdaten enthalten oft personenbezogene Informationen, die durch das Modell in Form von Memorisierung oder Membership-Inference rekonstruierbar sein können. Differential Privacy (Dwork u. a. 2006) ist ein formaler Rahmen zur Modellierung solcher Risiken.

Ressourcenverbrauch: Das Training großer Modelle ist energie- und rechenintensiv. Strubell, Ganesh, McCallum (2019, Energy and Policy Considerations for Deep Learning in NLP) haben die ökologischen Folgen der jüngeren Skalierung erstmals systematisch diskutiert.

Robustheit und adversariale Angriffe: ML-Modelle sind anfällig für gezielte, kleine Manipulationen der Eingabedaten (adversarial examples, Szegedy u. a. 2014), die zu großen Fehlausgaben führen können.

Stand 2025/2026

Maschinelles Lernen ist im Verlauf der 2020er Jahre zur dominanten Methodik der Künstlichen Intelligenz geworden. Die jüngere Forschung konzentriert sich auf große Sprachmodelle und multimodale Systeme (Text-Bild-Audio-Video), auf Reinforcement Learning from Human Feedback (RLHF) und auf agentische Systeme, die Werkzeuge nutzen und mehrstufige Aufgaben ausführen können.

Parallel verstärkt sich die Forschung zu Sicherheits-, Interpretierbarkeits- und Governance-Fragen – sowohl in der akademischen Welt (Future of Life Institute, Center for AI Safety) als auch in industriellen Sicherheitsteams (Anthropic, OpenAI Safety, Google DeepMind Safety).

Das International AI Safety Report (Bengio u. a. 2025), publiziert im Vorfeld des AI Action Summit Paris im Februar 2025, fasst den wissenschaftlichen Konsensstand zu Risiken fortgeschrittener ML-Systeme zusammen.

Eine aktualisierte zweite Ausgabe (Bengio u. a. 2026) erschien im Februar 2026 im Vorfeld des India AI Impact Summit und aktualisiert den wissenschaftlichen Konsensstand zu Fähigkeiten, Risiken und Sicherheitsmaßnahmen fortgeschrittener KI- und ML-Systeme.

Quellenangaben

Angwin, Julia / Larson, Jeff / Mattu, Surya / Kirchner, Lauren, 2016. Machine Bias. ProPublica, 23. Mai 2016.
Belkin, Mikhail / Hsu, Daniel / Ma, Siyuan / Mandal, Soumik, 2019. Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off. In: Proceedings of the National Academy of Sciences 116 (32), S. 15849–15854. DOI: 10.1073/pnas.1903070116.
Bengio, Yoshua u. a., 2025. International AI Safety Report. Department for Science, Innovation and Technology (DSIT), Research Series 2025/001, 29. Januar 2025. arXiv: 2501.17805.
Bengio, Yoshua u. a., 2026. International AI Safety Report 2026. DSIT, Research Series 2026/001, 3. Februar 2026. arXiv: 2602.21012.
Bishop, Christopher M., 2006. Pattern Recognition and Machine Learning.
Breiman, Leo, 2001. Random Forests. In: Machine Learning 45 (1), S. 5–32. DOI: 10.1023/A:1010933404324.
Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), Proceedings of Machine Learning Research 81, S. 77–91.
Cortes, Corinna / Vapnik, Vladimir, 1995. Support-Vector Networks. In: Machine Learning 20 (3), S. 273–297. DOI: 10.1007/BF00994018.
Cover, Thomas M. / Hart, Peter E., 1967. Nearest Neighbor Pattern Classification. In: IEEE Transactions on Information Theory 13 (1), S. 21–27. DOI: 10.1109/TIT.1967.1053964.
Dempster, Arthur P. / Laird, Nan M. / Rubin, Donald B., 1977. Maximum Likelihood from Incomplete Data via the EM Algorithm. In: Journal of the Royal Statistical Society: Series B 39 (1), S. 1–22. DOI: 10.1111/j.2517-6161.1977.tb01600.x.
Deng, Jia / Dong, Wei / Socher, Richard / Li, Li-Jia / Li, Kai / Fei-Fei, Li, 2009. ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), S. 248–255. DOI: 10.1109/CVPR.2009.5206848.
Dwork, Cynthia / McSherry, Frank / Nissim, Kobbi / Smith, Adam, 2006. Calibrating Noise to Sensitivity in Private Data Analysis. In: Theory of Cryptography (TCC 2006), S. 265–284. DOI: 10.1007/11681878_14.
Freund, Yoav / Schapire, Robert E., 1997. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. In: Journal of Computer and System Sciences 55 (1), S. 119–139. DOI: 10.1006/jcss.1997.1504.
Goodfellow, Ian / Bengio, Yoshua / Courville, Aaron, 2016. Deep Learning.
Hastie, Trevor / Tibshirani, Robert / Friedman, Jerome, 2009. The Elements of Statistical Learning: Data Mining, Inference, and Prediction.
Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
LeCun, Yann / Bengio, Yoshua / Hinton, Geoffrey, 2015. Deep Learning. In: Nature 521 (7553), S. 436–444. DOI: 10.1038/nature14539.
Mitchell, Tom M., 1997. Machine Learning.
Mnih, Volodymyr u. a., 2015. Human-Level Control through Deep Reinforcement Learning. In: Nature 518 (7540), S. 529–533. DOI: 10.1038/nature14236.
Pearl, Judea, 1988. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference.
Samuel, Arthur L., 1959. Some Studies in Machine Learning Using the Game of Checkers. In: IBM Journal of Research and Development 3 (3), S. 210–229. DOI: 10.1147/rd.33.0210.
Strubell, Emma / Ganesh, Ananya / McCallum, Andrew, 2019. Energy and Policy Considerations for Deep Learning in NLP. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), S. 3645–3650. DOI: 10.18653/v1/P19-1355.
Sutton, Richard S. / Barto, Andrew G., 2018. Reinforcement Learning: An Introduction.
Szegedy, Christian u. a., 2014. Intriguing Properties of Neural Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2014). arXiv: 1312.6199.
Valiant, Leslie G., 1984. A Theory of the Learnable. In: Communications of the ACM 27 (11), S. 1134–1142. DOI: 10.1145/1968.1972.
Vapnik, Vladimir N. / Chervonenkis, Alexey Ya., 1971. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. In: Theory of Probability and Its Applications 16 (2), S. 264–280. DOI: 10.1137/1116025.
Vapnik, Vladimir N., 1995. The Nature of Statistical Learning Theory.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
Watkins, Christopher J. C. H., 1989. Learning from Delayed Rewards. Dissertation, King’s College, University of Cambridge.

← Zurück zur Lexikon-Übersicht