Lexikon-Thema: Alignment & Sicherheit

Robustheit bezeichnet, ob ein KI-System unter manipulierten Bedingungen verlässlich bleibt – adversariale Beispiele sind der Standardbeleg für ihr Fehlen.

Ein Reward Model ist ein aus menschlichen Präferenzurteilen trainiertes Bewertungsmodell, das im RLHF-Verfahren die Belohnung für ein Sprachmodell ersetzt.

Scaling Monosemanticity (2024) skaliert Sparse Autoencoders erstmals auf ein produktives Sprachmodell – Millionen interpretierbare Merkmale in Claude 3 Sonnet.

Nachvollziehbarkeit bezeichnet die Möglichkeit, KI-Entscheidungen im Nachhinein zu prüfen und zu begründen – mehr als reine Interpretierbarkeit.

AI Safety Institutes sind staatliche Prüfstellen für Frontier-KI, seit Bletchley 2023 in über zehn Ländern entstanden – zwei zentrale haben sich 2025 umbenannt.

Toy Models of Superposition (2022) erklärt, warum Neuronen mehrere Konzepte kodieren – Gründungspapier der mechanistischen Interpretierbarkeit.

InstructGPT ist die erste mit RLHF trainierte GPT-3-Modellreihe (OpenAI, Januar 2022) – der Beleg, dass Ausrichtung mehr bringt als bloße Skalierung.

AI Safety Levels koppeln Anthropics Sicherheitsstandards an das Gefahrenpotenzial eines Modells – nach dem Vorbild biologischer Schutzstufen.

Sparse Autoencoders zerlegen die Aktivierungen eines Sprachmodells in einzelne, verständliche Merkmale – Anthropics Weg gegen das Superpositionsproblem.

Statement on AI Risk: der Satz von 2023, der KI neben Pandemien und Atomkrieg stellte – wer unterschrieb, wer nicht, und was empirisch daraus folgte.