Small Language Models (SLMs) sind Sprachmodelle, die bewusst klein genug gehalten werden, um auf begrenzter Hardware – einem einzelnen Smartphone, Laptop oder einer einzelnen GPU – statt in einem Rechenzentrum zu laufen. Eine feste Parametergrenze gibt es nicht; gemeint sind üblicherweise Modelle deutlich unterhalb der Größe heutiger Frontier-Modelle.
Zusammenfassung
Zwischen 2023 und 2025 entstand eine ganze Welle offener, kompakter Sprachmodelle: Microsofts Phi-Reihe, Googles Gemma, Metas Llama-3.2-Varianten mit ein bis drei Milliarden Parametern und Mistral 7B. Ihr gemeinsamer Ansatz: kuratierte, hochwertige Trainingsdaten statt schierer Datenmenge, oft ergänzt um Knowledge Distillation aus einem größeren Lehrer-Modell.
Nvidia-Forschende argumentierten 2025 in einem viel diskutierten Positionspapier, SLMs seien nicht nur ausreichend leistungsfähig, sondern die eigentlich passendere und deutlich günstigere Wahl für die meisten Teilaufgaben agentischer KI-Systeme.
Begriffsgeschichte
Microsoft veröffentlichte im Juni 2023 mit Phi-1 das erste Modell einer Reihe, die gezielt zeigen sollte, dass Datenqualität Parametergröße teilweise ersetzen kann. Die These dahinter, „Textbooks Are All You Need”: lieber wenige, sorgfältig kuratierte, lehrbuchartige Trainingsdaten als riesige, unsortierte Textmengen aus dem Web.
Im April 2024 folgte mit Phi-3-mini ein offen gewichtetes Modell mit 3,8 Milliarden Parametern (Microsoft 2024), im Dezember 2024 Phi-4. Parallel dazu veröffentlichte Google 2024 seine Gemma-Modelle in den Größen 2, 9 und 27 Milliarden Parameter (Google 2024), während Meta mit Llama 3.2 erstmals auch Ein- bis Drei-Milliarden-Parameter-Varianten seiner sonst deutlich größeren Modellreihe anbot.
Methodische Grundlagen
SLMs entstehen selten durch Training von Grund auf in kleiner Größe. Häufiger übernehmen sie über Knowledge Distillation Wissen eines größeren Lehrer-Modells, ergänzt um sorgfältig ausgewählte, oft synthetisch erzeugte Trainingsdaten hoher Qualität statt roher Web-Textmengen.
Für den Einsatz auf Endgeräten kommt zusätzlich Quantisierung zum Einsatz: Modellgewichte werden von hochpräzisen Fließkommazahlen auf gröbere, speicherschonendere Formate reduziert. Eine 4-Bit-quantisierte Variante von Phi-3-mini läuft dadurch bereits auf Smartphones mit wenigen Gigabyte Arbeitsspeicher.
Anwendungsfelder
Der naheliegendste Anwendungsfall ist Ausführung direkt auf dem Endgerät: schnellere Antwortzeiten, geringere Kosten und keine Notwendigkeit, Daten an einen externen Server zu senden. Für datenschutzsensible Anwendungen ist das ein eigenständiger Vorteil gegenüber Cloud-basierten Frontier-Modellen.
Das Nvidia-Positionspapier von 2025 macht ein weiteres Feld stark: agentische Systeme, die viele kleine, spezialisierte Teilaufgaben ausführen – etwa Werkzeugaufrufe oder Formatumwandlungen –, statt eine einzelne, allgemeine Fähigkeit zu benötigen. Für solche eng umrissenen Teilaufgaben genüge ein SLM, während ein Frontier-Modell überdimensioniert und laut Studie um das Zehn- bis Dreißigfache teurer im laufenden Betrieb sei.
Kontroversen und Kritik
Der Begriff selbst ist unscharf: Je nach Quelle reicht „klein” von unter einer Milliarde bis über zwanzig Milliarden Parametern, eine feste Grenze existiert nicht. Das erschwert Vergleiche zwischen Studien, die unterschiedliche Modelle unter demselben Etikett führen.
Inhaltlich bleibt eine Fähigkeitslücke bei mehrstufigem logischem Schließen, Programmierung und komplexer Anweisungsbefolgung gegenüber großen Modellen bestehen – auch wenn sie sich durch bessere Trainingsdaten und Nachtrainings-Verfahren zuletzt deutlich verkleinert hat. Fachliteratur benennt zudem offene Fragen zu Halluzinationsrisiko, mehrsprachiger Generalisierung und Verhalten bei langem Kontext, die für SLMs bislang schlechter untersucht sind als für Frontier-Modelle.
Am Nvidia-Papier selbst wurde der naheliegende Interessenkonflikt bemerkt: Nvidia verkauft Hardware für den Betrieb vieler kleiner Modelle ebenso wie für wenige riesige – die Kernaussage lässt sich nicht unabhängig von diesem Geschäftsinteresse lesen.
Verwandte Begriffe
- Foundation Models – der gegenläufige Trend zu immer größeren, universell einsetzbaren Modellen, gegen den SLMs bewusst positioniert sind
- Agentic AI – das von Nvidia benannte Haupteinsatzfeld, in dem viele kleine statt eines großen Modells arbeiten sollen
Quellenangaben
- Gunasekar, Suriya / Zhang, Yi / Aneja, Jyoti u. a., 2023. Textbooks Are All You Need. arXiv: 2306.11644.
- Belcak, Peter / Heinrich, Greg / Diao, Shizhe u. a., 2025. Small Language Models Are the Future of Agentic AI. NVIDIA Research. arXiv: 2506.02153.
- World Economic Forum, 2025. What Is a Small Language Model and Should Businesses Invest in This AI Tool?
- Microsoft, 23. April 2024. Tiny but mighty: The Phi-3 small language models with big potential. news.microsoft.com.
- Google, 27. Juni 2024. Google launches Gemma 2, its next generation of open models. blog.google.