Lexikon-Thema: Sprachmodelle

ELMo erzeugte 2018 erstmals einen eigenen Vektor je Wortvorkommen statt je Wort – der Zwischenschritt, den BERT nach acht Monaten überholte.

GPT-3 ist OpenAIs Sprachmodell von 2020, das mit 175 Milliarden Parametern zeigte, dass Skalierung neue Fähigkeiten hervorbringt – ohne Nachtraining.

Wasserzeichen markieren KI-Ausgaben beim Erzeugen statt sie nachträglich zu erkennen – SynthID, das Verfahren dahinter und warum es bei Text an Grenzen stößt.

Perplexität misst, wie überrascht ein Sprachmodell von einem Text ist – Bewertungsmaß seit 1977, heute auch Grundlage der KI-Detektoren und ihrer Fehlurteile.

Open Weights bezeichnet die Freigabe der Modellparameter ohne Trainingsdaten und Code – die häufigste und folgenreichste Form von Offenheit bei KI-Modellen.

Frontier Models sind die jeweils leistungsfähigsten KI-Modelle: Begriffsprägung 2023, Definitionsversuche, Regulierung und die Kritik am Begriff selbst.

Induction Heads sind Aufmerksamkeitsköpfe, die Muster fortsetzen: Fund 2022, ihre Rolle beim In-Context-Lernen, der Trainingsknick und die Grenzen des Belegs.

Faithfulness fragt, ob die Begründung eines Modells seine tatsächlichen Gründe wiedergibt: Messverfahren, Befunde zur Gedankenkette und Folgen für die Aufsicht.

Transfer Learning nutzt ein vortrainiertes Modell für neue Aufgaben: Herkunft in der Bildverarbeitung, Verfahren, Grenzen und die Ablösung durch Anweisungen.

Direct Preference Optimization richtet Modelle ohne Belohnungsmodell aus: der Kunstgriff von 2023, das Verhältnis zu RLHF und die offenen Einwände.