Support Vector Machines (SVM, deutsch gelegentlich Stützvektormaschinen) sind ein überwachtes Lernverfahren, das Datenpunkte zweier Klassen durch eine Hyperebene trennt, die den größtmöglichen Abstand zu den nächstgelegenen Punkten beider Klassen hält.
Zusammenfassung
Support Vector Machines gehen auf Arbeiten von Vladimir Vapnik und Kollegen an den Bell Labs zurück und wurden 1995 von Corinna Cortes und Vladimir Vapnik in ihrer klassischen Form vorgestellt (Cortes / Vapnik 1995). Das Verfahren sucht die sogenannte Maximum-Margin-Hyperebene: diejenige Trenngerade (in höheren Dimensionen: Trennebene), die den Abstand zu den nächstgelegenen Trainingsbeispielen beider Klassen maximiert. Diese nächstgelegenen Beispiele heißen Stützvektoren (englisch support vectors) und geben dem Verfahren seinen Namen – sie allein bestimmen die Lage der Trennebene, alle übrigen Trainingspunkte sind für das Ergebnis irrelevant.
Durch den sogenannten Kernel-Trick (Boser u. a. 1992) lassen sich auch nicht linear trennbare Daten verarbeiten, ohne sie explizit in einen höherdimensionalen Raum zu übertragen. In den 1990er- und 2000er-Jahren galten SVMs neben Entscheidungsbäumen und Boosting-Verfahren als Standardwerkzeug für Klassifikationsaufgaben und wurden in vielen Bereichen eingesetzt, in denen Deep Learning dominiert, etwa Texterkennung, Bildklassifikation in kleinerem Maßstab und Bioinformatik. Mit dem Aufstieg tiefer neuronaler Netze ab den frühen 2010er-Jahren verloren SVMs für viele dieser Aufgaben an Bedeutung, bleiben aber bei kleinen bis mittleren, tabellarischen Datensätzen und begrenzter Rechenleistung ein robustes, gut verstandenes Verfahren.
Abgrenzung
Neuronale Netze – lernen ihre Repräsentation der Daten selbst über mehrere Schichten, während SVMs auf einer festen, wenn auch durch den Kernel flexibel wählbaren Ähnlichkeitsfunktion zwischen Datenpunkten aufbauen. SVMs besitzen keine verborgenen Schichten im Sinne eines neuronalen Netzes.
Deep Learning – benötigt in der Regel deutlich größere Datenmengen und Rechenkapazität, liefert dafür aber bei hochdimensionalen, strukturierten Daten wie Bildern oder Text meist bessere Ergebnisse als SVMs. Bei kleinen, tabellarischen Datensätzen kehrt sich dieser Vorteil häufig um.
Begriffsgeschichte
Die theoretischen Grundlagen legte Vladimir Vapnik gemeinsam mit Alexey Chervonenkis bereits in den 1960er- und 1970er-Jahren in der Sowjetunion mit der statistischen Lerntheorie, aus der später die sogenannte VC-Dimension (Vapnik-Chervonenkis-Dimension) als Maß für die Kapazität eines Lernverfahrens hervorging. Nach Vapniks Übersiedlung in die USA und seinem Wechsel zu den Bell Labs stellten Bernhard Boser, Isabelle Guyon und Vladimir Vapnik 1992 auf der Conference on Learning Theory (COLT) den Kernel-Trick für Maximum-Margin-Klassifikatoren vor. 1995 veröffentlichten Corinna Cortes und Vladimir Vapnik in der Zeitschrift Machine Learning den Artikel „Support-Vector Networks”, der die Soft-Margin-Variante einführte – eine Erweiterung, die auch bei nicht perfekt trennbaren Daten funktioniert, indem sie eine kontrollierte Zahl von Fehlklassifikationen zulässt.
In den folgenden anderthalb Jahrzehnten entwickelte sich die SVM zu einem der meistverwendeten Verfahren des maschinellen Lernens, insbesondere nachdem effiziente Optimierungsalgorithmen wie Sequential Minimal Optimization (SMO, John Platt 1998) das Training auf größeren Datensätzen praktikabel machten. Bibliotheken wie LIBSVM (Chang & Lin, ab 2001) trugen zur breiten praktischen Verfügbarkeit bei. Mit dem Durchbruch tiefer neuronaler Netze in der Bilderkennung ab 2012 (siehe AlexNet) verlagerte sich der Forschungsschwerpunkt zunehmend auf Deep Learning, ohne dass SVMs als Verfahren dadurch obsolet wurden.
Methodische Grundlagen
Im linear trennbaren Fall sucht eine SVM die Hyperebene, die die beiden Klassen mit maximalem Rand (Margin) trennt. Formal wird das Problem als konvexes Optimierungsproblem formuliert: Minimiere die Norm des Gewichtsvektors unter der Nebenbedingung, dass alle Trainingspunkte korrekt und mit mindestens dem geforderten Abstand klassifiziert werden. Weil das Problem konvex ist, existiert stets ein eindeutiges globales Optimum – ein praktischer Vorteil gegenüber dem nicht-konvexen Optimierungsproblem beim Training neuronaler Netze.
Bei nicht perfekt trennbaren Daten erlaubt die Soft-Margin-SVM eine begrenzte Anzahl von Verletzungen des Randes, gewichtet durch einen Regularisierungsparameter (üblicherweise C genannt), der den Kompromiss zwischen möglichst breitem Rand und möglichst wenigen Fehlklassifikationen steuert.
Der Kernel-Trick erlaubt es, nicht linear trennbare Daten implizit in einen höherdimensionalen Merkmalsraum zu überführen, in dem eine lineare Trennung möglich wird – ohne diesen Raum jemals explizit zu berechnen. Stattdessen ersetzt eine Kernelfunktion das Skalarprodukt zwischen zwei Datenpunkten durch ein Maß ihrer Ähnlichkeit im höherdimensionalen Raum. Gebräuchliche Kernel sind der lineare Kernel, der polynomiale Kernel und der Gauß’sche beziehungsweise Radial-Basis-Funktion-Kernel (RBF-Kernel), der auch bei stark nichtlinearen Zusammenhängen flexibel Trenngrenzen modellieren kann.
Für Regressionsaufgaben existiert mit der Support Vector Regression (SVR) eine Erweiterung, die statt einer Trennhyperebene einen möglichst schmalen Schlauch um die Datenpunkte sucht, innerhalb dessen Abweichungen nicht bestraft werden.
Anwendungsfelder
SVMs wurden und werden in einer Reihe von Bereichen eingesetzt, in denen die Zahl der Trainingsbeispiele begrenzt, die Zahl der Merkmale aber hoch ist – ein Verhältnis, mit dem SVMs traditionell gut umgehen. Dazu zählen die Texterkennung und Textklassifikation (etwa Spam-Filter und frühe Verfahren zur Sentiment-Analyse), die Handschrifterkennung, die Bioinformatik (etwa die Klassifikation von Genexpressionsdaten oder Proteinstrukturen) sowie Teilbereiche der medizinischen Bildanalyse. In der Objekterkennung dienten SVMs vor der Deep-Learning-Ära häufig als letzte Klassifikationsstufe auf zuvor von Hand entworfenen Merkmalen (Feature Engineering).
SVMs bleiben Stand 2025/2026 eine gebräuchliche Wahl in Situationen mit begrenzten Trainingsdaten, begrenzter Rechenleistung oder wenn die Interpretierbarkeit des Modells wichtiger ist als die letzte erreichbare Genauigkeit – etwa in eingebetteten Systemen oder als robuste Baseline, gegen die aufwendigere Verfahren verglichen werden.
Kontroversen und Kritik
Die zentrale Einschränkung von SVMs betrifft die Skalierbarkeit: Das klassische Training skaliert in der Rechenzeit typischerweise quadratisch bis kubisch mit der Zahl der Trainingsbeispiele, was SVMs für sehr große Datensätze, wie sie beim Training moderner Sprachmodelle anfallen, ungeeignet macht. Zudem erfordert die Wahl des Kernels und seiner Hyperparameter (etwa des Regularisierungsparameters C und, beim RBF-Kernel, des Parameters Gamma) sorgfältige Abstimmung, meist über Kreuzvalidierung, was den praktischen Einsatz aufwendiger macht als bei Verfahren mit weniger Hyperparametern.
Ein wiederkehrender Vergleichspunkt in der Fachliteratur betrifft die Frage, unter welchen Bedingungen SVMs neuronalen Netzen überlegen bleiben. Empirisch zeigt sich, dass SVMs bei kleinen bis mittelgroßen, tabellarischen Datensätzen mit klar definierten Merkmalen häufig konkurrenzfähig oder überlegen sind, während neuronale Netze bei großen Datenmengen und hochdimensionalen, strukturierten Eingaben wie Bildern, Audio oder Text in aller Regel im Vorteil sind, weil sie relevante Merkmale selbst aus den Rohdaten lernen, statt auf vorab konstruierte Merkmale angewiesen zu sein.
Stand 2025/2026
SVMs spielen im Training und Betrieb großer Sprachmodelle und multimodaler Systeme keine zentrale Rolle mehr, bleiben aber Teil des Standardrepertoires im klassischen maschinellen Lernen und werden in einführenden Lehrbüchern und Kursen weiterhin als Beispiel für ein theoretisch fundiertes, konvex optimierbares Lernverfahren behandelt. Bibliotheken wie scikit-learn stellen SVM-Implementierungen als Standardwerkzeug bereit, das insbesondere bei kleineren Datensätzen und in Kombination mit klassischen Verfahren des maschinellen Lernens weiterhin verwendet wird.
Verwandte Begriffe
- Maschinelles Lernen – Oberbegriff, dem SVMs als überwachtes Lernverfahren zugeordnet sind.
- Neuronale Netze – alternativer Ansatz, der Repräsentationen selbst lernt statt auf einer festen Kernelfunktion aufzubauen.
- Deep Learning – hat SVMs seit den 2010er-Jahren bei den meisten hochdimensionalen Aufgaben als Standardverfahren abgelöst.
Quellenangaben
- Cortes, Corinna; Vapnik, Vladimir, 1995. „Support-Vector Networks.” In: Machine Learning 20 (3), S. 273–297.
- Boser, Bernhard E.; Guyon, Isabelle M.; Vapnik, Vladimir N., 1992. „A Training Algorithm for Optimal Margin Classifiers.” In: Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT), S. 144–152.
- Platt, John, 1998. „Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines.” Microsoft Research Technical Report MSR-TR-98-14.