Lexikon-Thema: KI-Grundlagen & Architekturen

Boosting kombiniert viele schwache Klassifikatoren nacheinander zu einem starken – von AdaBoost (1997) bis zu heutigem Gradient Boosting wie XGBoost.

Adapter-Module (Houlsby 2019) fügen kleine, trainierbare Zwischenschichten in ein eingefrorenes Modell ein – nur 3,6 statt 100 Prozent Parameter je Aufgabe.

VGGNet (Simonyan/Zisserman 2014) zeigte: Tiefe allein, aus lauter kleinen 3×3-Faltungen gestapelt, verbessert die Bilderkennung erheblich.

Restricted Boltzmann Machines beschränken die Boltzmann-Maschine auf zwei Schichten ohne Querverbindungen – trainierbar, Grundbaustein der Deep Belief Networks.

LoRA (Hu u. a. 2021) friert das vortrainierte Modell ein und trainiert nur kleine Low-Rank-Zusatzmatrizen – Fine-Tuning bei einem Bruchteil der Parameter.

LeNet-5 (LeCun u. a. 1998) erkannte handgeschriebene Ziffern per Convolutional Neural Network – die erste praktisch eingesetzte CNN-Architektur.

HNSW (Malkov/Yashunin 2016/2018) organisiert Vektoren in hierarchischen Graphschichten – der meistgenutzte Algorithmus für schnelle Ähnlichkeitssuche.

GoogLeNet/Inception (Szegedy u. a. 2014) gewann ILSVRC mit dem Inception-Modul – parallelen Filtergrößen statt fester Tiefe – bei deutlich weniger Parametern.

Denoising Autoencoders (Vincent u. a. 2008) lernen robuste Merkmale, indem sie absichtlich verrauschte Eingaben rekonstruieren müssen – statt nur zu kopieren.

Deep Speech 2 (Baidu 2015) erkannte Englisch und Mandarin mit demselben End-to-End-Netz – ohne handgefertigte linguistische Komponenten.