Quantisierung
Quantisierung reduziert die Zahlenpräzision von Modellgewichten (int8, int4) und macht große Sprachmodelle so auf gewöhnlicher Hardware lauffähig.
Übersicht
Quantisierung reduziert die Zahlenpräzision von Modellgewichten (int8, int4) und macht große Sprachmodelle so auf gewöhnlicher Hardware lauffähig.
Prefix-Tuning (Li/Liang 2021) hängt trainierbare Vektoren vor die Eingabe statt das Modell selbst zu verändern – Fine-Tuning mit nur 0,1 Prozent der Parameter.
EfficientNet (Tan/Le 2019) skaliert Tiefe, Breite und Auflösung eines CNN nach fester Formel gemeinsam – weniger Parameter bei höherer Genauigkeit.
DenseNet (Huang u. a. 2017) verbindet jede Schicht mit jeder folgenden Schicht – weniger Parameter und stabileres Training als bei linearen CNN-Ketten.
Boosting kombiniert viele schwache Klassifikatoren nacheinander zu einem starken – von AdaBoost (1997) bis zu heutigem Gradient Boosting wie XGBoost.
Adapter-Module (Houlsby 2019) fügen kleine, trainierbare Zwischenschichten in ein eingefrorenes Modell ein – nur 3,6 statt 100 Prozent Parameter je Aufgabe.
VGGNet (Simonyan/Zisserman 2014) zeigte: Tiefe allein, aus lauter kleinen 3×3-Faltungen gestapelt, verbessert die Bilderkennung erheblich.
Restricted Boltzmann Machines beschränken die Boltzmann-Maschine auf zwei Schichten ohne Querverbindungen – trainierbar, Grundbaustein der Deep Belief Networks.
LoRA (Hu u. a. 2021) friert das vortrainierte Modell ein und trainiert nur kleine Low-Rank-Zusatzmatrizen – Fine-Tuning bei einem Bruchteil der Parameter.
LeNet-5 (LeCun u. a. 1998) erkannte handgeschriebene Ziffern per Convolutional Neural Network – die erste praktisch eingesetzte CNN-Architektur.