Übersicht

Lexikon-Thema: KI-Grundlagen & Architekturen

Small Language Models

Small Language Models laufen auf einem Smartphone statt im Rechenzentrum – kleiner als Foundation Models, laut Nvidia die Zukunft agentischer KI.

Weiterlesen

Speculative Decoding

Speculative Decoding beschleunigt Sprachmodelle um das Zwei- bis Dreifache: ein kleines Modell schlägt Tokens vor, ein großes bestätigt sie nur.

Weiterlesen

Knowledge Distillation

Knowledge Distillation trainiert ein kleines Modell, Vorhersagen eines größeren nachzuahmen – Grundlage effizienter Modelle, Streitpunkt bei OpenAI/DeepSeek.

Weiterlesen

Federated Learning

Federated Learning trainiert ein Modell auf verteilten Geräten, ohne dass Rohdaten sie verlassen – Googles Gboard-Verfahren und dessen Grenzen.

Weiterlesen

Differential Privacy

Differential Privacy fügt Daten kalibriertes Rauschen hinzu, sodass keine einzelne Person aus dem Ergebnis herauslesbar ist – Grundlage des US-Zensus 2020.

Weiterlesen

State Space Models

State Space Models modellieren Sequenzen über einen kontinuierlichen Zustandsvektor mit linearer statt quadratischer Laufzeit – die Vorstufe zu Mamba.

Weiterlesen

Quantisierung

Quantisierung reduziert die Zahlenpräzision von Modellgewichten (int8, int4) und macht große Sprachmodelle so auf gewöhnlicher Hardware lauffähig.

Weiterlesen

Prefix-Tuning

Prefix-Tuning (Li/Liang 2021) hängt trainierbare Vektoren vor die Eingabe statt das Modell selbst zu verändern – Fine-Tuning mit nur 0,1 Prozent der Parameter.

Weiterlesen

EfficientNet

EfficientNet (Tan/Le 2019) skaliert Tiefe, Breite und Auflösung eines CNN nach fester Formel gemeinsam – weniger Parameter bei höherer Genauigkeit.

Weiterlesen

DenseNet

DenseNet (Huang u. a. 2017) verbindet jede Schicht mit jeder folgenden Schicht – weniger Parameter und stabileres Training als bei linearen CNN-Ketten.

Weiterlesen