Perplexität

Perplexität ist ein Maß dafür, wie überrascht ein Sprachmodell von einem Text ist: Sie gibt an, zwischen wie vielen gleich wahrscheinlichen Fortsetzungen das Modell im Durchschnitt zu wählen glaubt.

Formal ist sie die Exponentialfunktion der mittleren negativen Log-Wahrscheinlichkeit, die ein Modell den beobachteten Tokens zuweist. Ein Modell mit Perplexität 10 ist an jeder Stelle so unsicher, als stünden zehn gleichwertige Möglichkeiten zur Wahl. Niedrigere Werte bedeuten, dass das Modell den Text besser vorhersagt.

Die Größe hat zwei getrennte Anwendungen, die sich nicht vermischen lassen: Sie bewertet Modelle an festen Texten, und sie bewertet Texte unter einem festen Modell. Die zweite Verwendung trägt die KI-Detektoren – und deren Fehlurteile.

Zusammenfassung

Perplexität stammt aus der Spracherkennung. Frederick Jelinek und Mitarbeitende bei IBM führten sie 1977 ein, um die Schwierigkeit einer Erkennungsaufgabe zu beziffern (Jelinek u. a. 1977). Der Gedanke: Ein Vokabular von 1.000 Wörtern ist nicht automatisch schwerer als eines von 100, wenn die Wortfolgen stark vorhersehbar sind.

Beim Training von Sprachmodellen ist Perplexität bis heute die Standardgröße für den Fortschritt. Sie fällt mit wachsender Modellgröße und wachsender Datenmenge in einem bemerkenswert regelmäßigen Verhältnis – die Scaling Laws sind in Perplexität formuliert, nicht in Anwendungsleistung.

Als Werkzeug hat sie eine scharfe Grenze: Sie misst Vorhersagbarkeit, nicht Wahrheit, nicht Nützlichkeit und nicht Verständlichkeit. Ein Modell kann seine Perplexität senken, indem es vorsichtiger und blasser formuliert.

Begriffsgeschichte

Herkunft in der Spracherkennung (1977)

Die Größe entstand als praktisches Bedürfnis. Wer Erkennungssysteme vergleichen wollte, brauchte eine Kennzahl für die Schwierigkeit der Aufgabe, die unabhängig vom System selbst ist. Die Vokabulargröße taugte dafür nicht.

Jelineks Vorschlag war, stattdessen die mittlere Verzweigung zu messen: Wie viele Fortsetzungen kommen an einer typischen Stelle tatsächlich infrage? Diese Zahl heißt Perplexität. Sie ist die Exponentialfunktion der Entropie und übersetzt damit ein informationstheoretisches Maß in eine Größe, die sich als „Anzahl gleichwertiger Möglichkeiten“ lesen lässt.

Standardmaß der Sprachmodellierung

Mit den statistischen Sprachmodellen der 1990er Jahre wurde Perplexität zur Leitgröße. Sie hat drei Eigenschaften, die sie dafür geeignet machen: Sie ist ohne menschliche Bewertung berechenbar, sie ist über verschiedene Modelle vergleichbar, solange dieselbe Tokenisierung und dieselbe Textmenge zugrunde liegen, und sie reagiert empfindlich auf Verbesserungen.

Die letzte Bedingung wird häufig übersehen. Perplexitätswerte sind nicht zwischen Modellen mit unterschiedlichem Vokabular vergleichbar: Wer Text in mehr Tokens zerlegt, verteilt dieselbe Unsicherheit auf mehr Schritte und erhält niedrigere Werte, ohne besser zu sein.

Die Wende zur Textbewertung

Ab 2019 kehrte sich die Verwendung um. Statt ein Modell an festem Text zu messen, misst man einen Text unter festem Modell – und deutet niedrige Perplexität als Hinweis auf maschinelle Herkunft.

Die Begründung ist plausibel: Ein Sprachmodell erzeugt Text, indem es Schritt für Schritt wahrscheinliche Fortsetzungen wählt. Was es erzeugt, ist deshalb im Mittel erwartbarer als menschliches Schreiben, das öfter überrascht.

Methodische Grundlagen

Für eine Tokenfolge $$w_1 \dots w_N$$ und ein Modell mit den bedingten Wahrscheinlichkeiten $$p(w_i \mid w_{<i})$$ ist die Perplexität

$$\mathrm{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_{<i})\right)$$

Drei Eigenschaften folgen unmittelbar. Der Wert liegt nie unter 1. Er ist der Kehrwert der geometrischen mittleren Wahrscheinlichkeit je Token. Und er wächst exponentiell mit der mittleren Überraschung, was einzelne sehr unwahrscheinliche Tokens stark durchschlagen lässt.

Verwandt und in Detektoren häufig zusammen ausgewertet ist die Burstiness: die Streuung der Perplexität über den Text hinweg. Menschliches Schreiben wechselt zwischen erwartbaren und überraschenden Passagen; maschinelles bleibt gleichmäßiger.

Anwendungsfelder

Trainingsüberwachung. Der Verlauf der Perplexität auf zurückgehaltenen Daten zeigt, ob ein Modell noch lernt oder bereits auswendig lernt.

Vergleich von Modellständen. Innerhalb einer Modellfamilie mit gleicher Tokenisierung ist Perplexität die billigste belastbare Vergleichsgröße.

Datenauswahl. Perplexität unter einem Referenzmodell dient dazu, Trainingskorpora zu filtern: Texte mit extremen Werten sind oft Datenmüll.

KI-Detektoren. Nahezu alle textbasierten Detektoren beruhen auf Perplexität und Burstiness unter einem Referenzmodell.

Kontroversen und Kritik

Sie misst nicht, was man wissen will. Zwischen Perplexität und der Brauchbarkeit eines Modells besteht kein festes Verhältnis. Ein Modell kann seine Werte verbessern, indem es sich sprachlich glättet – und dabei an Aussagekraft verlieren. Für Bewertungszwecke haben sich deshalb aufgabenbezogene Prüfungen durchgesetzt.

Als Herkunftsnachweis ist sie untauglich, und der Fehler trifft systematisch dieselben. Weixin Liang und Kollegen prüften 2023 sieben handelsübliche Detektoren an zwei Textsammlungen: Aufsätzen US-amerikanischer Achtklässler und TOEFL-Essays von Menschen, deren Muttersprache nicht Englisch ist. Bei den Achtklässlern arbeiteten die Detektoren nahezu fehlerfrei.

Von den TOEFL-Essays wurde mehr als die Hälfte fälschlich als maschinell eingestuft (Liang u. a. 2023).

Die Essays, die alle sieben Detektoren einhellig für maschinell hielten, hatten die niedrigste Perplexität. Gemessen wurde also nicht Täuschung, sondern begrenzter Wortschatz. Wer in einer Fremdsprache schreibt, wählt häufiger das naheliegende Wort – genau das, was ein Sprachmodell tut.

Die Größe lässt sich gezielt verstellen. Dieselbe Arbeit zeigt, dass eine einfache Aufforderung an das Modell, gehobener zu formulieren, die Perplexität hebt und die Erkennung unterläuft. Das Maß ist damit gegen den Fall wehrlos, für den es eingesetzt wird: gegen jemanden, der es umgehen will.

Stand 2025/2026

Als Trainingsgröße ist Perplexität unangefochten. Als Erkennungsgrundlage gilt sie als überholt. Die Fachliteratur zu Herkunftsnachweisen hat sich von der nachträglichen Textanalyse abgewandt und Verfahren zugewandt, die beim Erzeugen ansetzen: Wasserzeichen, die während der Ausgabe in das Material gelegt werden.

Die zweite Schicht sind kryptografisch gesicherte Herkunftsangaben in den Metadaten, festgelegt im Standard C2PA.

Die europäische KI-Verordnung folgt dieser Linie: Sie verpflichtet die Anbieter zur maschinenlesbaren Kennzeichnung ihrer Ausgaben und verlangt nirgends eine nachträgliche Erkennung. Näheres regelt der EU AI Act.

Verwandte Begriffe

• Large Language Models – die Modelle, deren Güte in Perplexität gemessen wird
• Tokenisierung – bestimmt, worauf sich der Wert bezieht, und macht Vergleiche zwischen Modellen heikel
• Scaling Laws – in Perplexität formuliert, nicht in Anwendungsleistung
• Pre-Training – die Phase, in der Perplexität die Leitgröße ist
• Wasserzeichen – das Verfahren, das die Herkunftsfrage anders löst
• C2PA – Herkunftsangabe in den Metadaten statt Textanalyse
• EU AI Act – verlangt Kennzeichnung beim Erzeugen, nicht Erkennung im Nachhinein

Quellenangaben

1. Jelinek, Frederick / Mercer, Robert L. / Bahl, Lalit R. / Baker, James K., 1977. Perplexity – a Measure of the Difficulty of Speech Recognition Tasks. In: The Journal of the Acoustical Society of America 62 (S1), S. S63. DOI: 10.1121/1.2016299.
2. Liang, Weixin / Yuksekgonul, Mert / Mao, Yining / Wu, Eric / Zou, James Y., 2023. GPT Detectors Are Biased against Non-Native English Writers. In: Patterns 4 (7), Artikel 100779. DOI: 10.1016/j.patter.2023.100779.

← Zurück zur Lexikon-Übersicht