Lexikon-Thema: KI-Grundlagen & Architekturen

Quantisierung reduziert die Zahlenpräzision von Modellgewichten (int8, int4) und macht große Sprachmodelle so auf gewöhnlicher Hardware lauffähig.

Prefix-Tuning (Li/Liang 2021) hängt trainierbare Vektoren vor die Eingabe statt das Modell selbst zu verändern – Fine-Tuning mit nur 0,1 Prozent der Parameter.

EfficientNet (Tan/Le 2019) skaliert Tiefe, Breite und Auflösung eines CNN nach fester Formel gemeinsam – weniger Parameter bei höherer Genauigkeit.

DenseNet (Huang u. a. 2017) verbindet jede Schicht mit jeder folgenden Schicht – weniger Parameter und stabileres Training als bei linearen CNN-Ketten.

Boosting kombiniert viele schwache Klassifikatoren nacheinander zu einem starken – von AdaBoost (1997) bis zu heutigem Gradient Boosting wie XGBoost.

Adapter-Module (Houlsby 2019) fügen kleine, trainierbare Zwischenschichten in ein eingefrorenes Modell ein – nur 3,6 statt 100 Prozent Parameter je Aufgabe.

VGGNet (Simonyan/Zisserman 2014) zeigte: Tiefe allein, aus lauter kleinen 3×3-Faltungen gestapelt, verbessert die Bilderkennung erheblich.

Restricted Boltzmann Machines beschränken die Boltzmann-Maschine auf zwei Schichten ohne Querverbindungen – trainierbar, Grundbaustein der Deep Belief Networks.

LoRA (Hu u. a. 2021) friert das vortrainierte Modell ein und trainiert nur kleine Low-Rank-Zusatzmatrizen – Fine-Tuning bei einem Bruchteil der Parameter.

LeNet-5 (LeCun u. a. 1998) erkannte handgeschriebene Ziffern per Convolutional Neural Network – die erste praktisch eingesetzte CNN-Architektur.