Boosting bezeichnet eine Familie von Ensemble-Verfahren des maschinellen Lernens, die viele einzeln schwache, nacheinander trainierte Klassifikatoren zu einem gemeinsamen, deutlich stärkeren Modell kombinieren.
Zusammenfassung
Ein schwacher Lerner ist ein einfaches Modell, dessen Vorhersagen nur geringfügig besser als Zufallsraten sind. Boosting trainiert eine Folge solcher schwachen Lerner nacheinander, wobei jeder neue Lerner gezielt auf jene Trainingsbeispiele fokussiert wird, die die bisherigen Lerner falsch klassifiziert haben. Die gewichtete Kombination aller schwachen Lerner ergibt am Ende einen deutlich genaueren, „starken” Klassifikator.
Begriffsgeschichte
Die theoretische Frage, ob sich aus beliebig schwachen Lernern stets ein starker Lerner konstruieren lässt, stellten Michael Kearns und Leslie Valiant bereits 1988 im Rahmen der PAC-Lerntheorie. Robert Schapire beantwortete sie 1990 mit dem ersten konkreten Boosting-Algorithmus.
Yoav Freund und Schapire stellten 1997 mit AdaBoost (Adaptive Boosting) die bis heute bekannteste klassische Variante vor, die die Gewichtung falsch klassifizierter Beispiele nach jeder Runde adaptiv anpasst.
Methodische Grundlagen
AdaBoost erhöht nach jeder Trainingsrunde das Gewicht jener Trainingsbeispiele, die der zuletzt hinzugefügte schwache Lerner falsch klassifiziert hat, sodass der nächste Lerner gezielt auf diese schwierigeren Fälle trainiert wird.
Spätere Gradient-Boosting-Verfahren verallgemeinerten dieses Prinzip: Statt Beispielgewichte anzupassen, trainiert jeder neue schwache Lerner direkt auf dem verbleibenden Fehler (dem Gradienten der Verlustfunktion) der bisherigen Kombination.
Anwendungsfelder
Moderne Gradient-Boosting-Implementierungen wie XGBoost, LightGBM und CatBoost – meist mit Entscheidungsbäumen als schwachen Lernern – gehören zu den erfolgreichsten Verfahren für strukturierte, tabellarische Daten und dominieren bis heute viele Wettbewerbe und praktische Anwendungen in diesem Bereich. Deep Learning bleibt dagegen bei Bild-, Text- und Audiodaten überlegen.
Kontroversen und Kritik
Boosting-Verfahren neigen bei zu vielen Trainingsrunden oder verrauschten Daten zu Überanpassung, da spätere Lerner zunehmend versuchen, auch einzelne Ausreißer und Fehletiketten im Trainingsdatensatz zu erklären. Anders als neuronale Netze verarbeiten klassische Boosting-Verfahren zudem keine unstrukturierten Rohdaten wie Bilder oder Audiosignale direkt, sondern benötigen bereits vorverarbeitete, tabellarische Merkmale.
Verwandte Begriffe
- Overfitting – die Überanpassung, zu der Boosting bei zu vielen Runden neigt
- Support Vector Machines – konkurrierendes klassisches Verfahren für strukturierte Daten
Quellenangaben
- Freund, Yoav / Schapire, Robert E., 1997. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences 55 (1), S. 119–139.
- Schapire, Robert E., 1990. The Strength of Weak Learnability. Machine Learning 5 (2), S. 197–227.