Lexikon-Thema: KI-Grundlagen & Architekturen

Small Language Models laufen auf einem Smartphone statt im Rechenzentrum – kleiner als Foundation Models, laut Nvidia die Zukunft agentischer KI.

Speculative Decoding beschleunigt Sprachmodelle um das Zwei- bis Dreifache: ein kleines Modell schlägt Tokens vor, ein großes bestätigt sie nur.

Knowledge Distillation trainiert ein kleines Modell, Vorhersagen eines größeren nachzuahmen – Grundlage effizienter Modelle, Streitpunkt bei OpenAI/DeepSeek.

Federated Learning trainiert ein Modell auf verteilten Geräten, ohne dass Rohdaten sie verlassen – Googles Gboard-Verfahren und dessen Grenzen.

Differential Privacy fügt Daten kalibriertes Rauschen hinzu, sodass keine einzelne Person aus dem Ergebnis herauslesbar ist – Grundlage des US-Zensus 2020.

State Space Models modellieren Sequenzen über einen kontinuierlichen Zustandsvektor mit linearer statt quadratischer Laufzeit – die Vorstufe zu Mamba.

Quantisierung reduziert die Zahlenpräzision von Modellgewichten (int8, int4) und macht große Sprachmodelle so auf gewöhnlicher Hardware lauffähig.

Prefix-Tuning (Li/Liang 2021) hängt trainierbare Vektoren vor die Eingabe statt das Modell selbst zu verändern – Fine-Tuning mit nur 0,1 Prozent der Parameter.

EfficientNet (Tan/Le 2019) skaliert Tiefe, Breite und Auflösung eines CNN nach fester Formel gemeinsam – weniger Parameter bei höherer Genauigkeit.

DenseNet (Huang u. a. 2017) verbindet jede Schicht mit jeder folgenden Schicht – weniger Parameter und stabileres Training als bei linearen CNN-Ketten.