Lexikon-Thema: KI-Grundlagen & Architekturen

Das Hopfield-Netzwerk speichert Muster als Energieminima: Physik von 1982, assoziativer Speicher, Grenzen der Kapazität und die späte Rückkehr im Transformer.

Computational Neuroscience modelliert Gehirnfunktion mathematisch: Herkunft bei Hodgkin und Huxley, Ebenen der Modellierung und das Verhältnis zur KI.

Das U-Net entstand 2015 für medizinische Bildsegmentierung und wurde zum Rückgrat der Diffusionsmodelle: Aufbau, Überbrückungen, Anwendungen und Ablösung.

Stable Diffusion ist das offene Bildmodell von 2022: Entstehung, Aufbau, die Wirkung der freien Gewichte und der Streit um Trainingsdaten und Missbrauch.

Multimodale KI verarbeitet Bild, Text und Ton in einem Modell: der gemeinsame Raum, die drei Bauformen, Anwendungen und die ungelöste Bewertungsfrage.

Latent Diffusion Models entrauschen im komprimierten Raum statt im Bild: der Kunstgriff von 2021, Aufbau, Anwendungen und die Grenzen der Kompression.

Layer Normalization normiert je Beispiel statt über den Stapel: Herkunft 2016, Stellung im Transformer, die Verschiebung nach vorn und RMSNorm.

Batch Normalization normiert Zwischenwerte über den Stapel: Herkunft 2015, Funktionsweise, die widerlegte Begründung und warum Sprachmodelle sie meiden.

Multi-Head Attention lässt mehrere Aufmerksamkeitsköpfe parallel arbeiten: Herkunft 2017, Funktionsweise, Interpretierbarkeit und die Kritik am Ansatz.

FlashAttention beschleunigt Aufmerksamkeit durch Speicherordnung statt Näherung: die Bandbreitengrenze, das Verfahren, die Fassungen und seine Grenzen.