Lexikon-Thema: Sprachmodelle

Halluzination bezeichnet, dass Sprachmodelle mit rhetorischer Sicherheit Falsches behaupten – Herkunft des Begriffs, Ursachen im Trainingsziel, Kritik daran.

Foundation Models ist der 2021 in Stanford geprägte Sammelbegriff für breit vortrainierte, vielfach anpassbare Modelle – samt der Kritik am Begriff selbst.

Fine-Tuning ist die zweite Trainingsphase: Anpassung eines vortrainierten Modells an Aufgabe, Domäne oder Verhalten – vom Volltraining bis zu LoRA.

Emergent Abilities sind Fähigkeiten, die erst ab bestimmter Modellgröße auftreten – samt dem Einwand, sie seien ein Artefakt der gewählten Messmetrik.

Chinchilla ist das Skalierungsgesetz von 2022: bei festem Rechenbudget rund 20 Trainings-Tokens je Parameter – samt Replikationsdebatte und Praxisfolgen.

Large Language Models sind auf riesigen Textkorpora trainierte Modelle, die seit ChatGPT die Sprachverarbeitung bestimmen – Architektur, Training, Einwände.

Generative KI erzeugt neue Daten statt Klassifikationen – von GANs und Diffusionsmodellen bis zu den Sprachmodellen hinter ChatGPT und der Bildsynthese.

Reasoning Models rechnen vor dem Antworten sichtbar zwischen und skalieren mit Inferenzzeit – von Chain-of-Thought über o1 bis DeepSeek-R1.

Warum fast alles, was Open-Source-LLM heißt, nur Open Weights ist: die OSI-Definition, der Streitfall Llama, die AI-Act-Ausnahme und die Sicherheitsdebatte.