Language Models are Few-Shot Learners ist der Forschungsaufsatz von Tom B. Brown und 30 Koautor:innen, der im Mai 2020 als Preprint erschien und im Dezember 2020 auf der NeurIPS-Konferenz vorgestellt wurde. Er stellt GPT-3 vor und liefert den empirischen Beleg dafür, dass reine Modellgröße – ohne ein einziges Gradienten-Update zur neuen Aufgabe – Few-Shot-Lernen ermöglicht.
Das Paper ist von dem darin vorgestellten Modell zu unterscheiden: Es ist die Methodik und die Beweisführung, nicht die Technik selbst, die diesen Artikel trägt.
Zusammenfassung
Die zentrale These lautet: Ein hinreichend großes Sprachmodell kann eine neue Aufgabe allein aus ihrer Beschreibung und wenigen im Prompt gezeigten Beispielen lösen – ohne Fine-Tuning, ohne Anpassung der Modellparameter. Um das zu belegen, vergleichen die Autoren acht Modellgrößen derselben Architektur, von 125 Millionen bis 175 Milliarden Parametern, in drei Betriebsarten: Zero-Shot (nur Aufgabenbeschreibung), One-Shot (Beschreibung plus ein Beispiel) und Few-Shot (Beschreibung plus meist 10 bis 100 Beispiele im Kontextfenster). In keinem der drei Fälle wird das Modell selbst verändert – es “lernt” ausschließlich durch das, was im Kontext steht.
Über Dutzende Benchmarks hinweg – Sprachmodellierung, Übersetzung, Frage-Antwort-Aufgaben, Lesetextverständnis, Alltagslogik, SuperGLUE, einfache Arithmetik, Nachrichtenartikel-Generierung – zeigt sich: Der Abstand zwischen Zero-, One- und Few-Shot-Leistung wächst mit der Modellgröße. Beim größten Modell nähert sich die Few-Shot-Leistung teils der von eigens für die jeweilige Aufgabe fine-getunten Modellen an oder übertrifft sie vereinzelt.
Methodische Grundlagen
Das Modell trainierte auf rund 300 Milliarden Tokens aus einer gewichteten Mischung mehrerer Quellen: gefiltertes Common Crawl (rund 60 Prozent des Trainingsmixes), WebText2 (rund 22 Prozent), zwei Buchkorpora Books1 und Books2 (zusammen rund 16 Prozent) sowie die englischsprachige Wikipedia (rund 3 Prozent). Wichtig ist die Unterscheidung zwischen Rohgröße und Gewichtung: Hochwertigere Korpora wie WebText2 wurden im Training überproportional oft gesehen, teils mit fast drei vollen Durchläufen, während der roh weitaus größere Common-Crawl-Anteil nach einem Qualitätsklassifikator gefiltert und dedupliziert wurde.
Die Benchmark-Bilanz im Detail
Die Autoren präsentieren kein einseitiges Erfolgsbild. Few-Shot-GPT-3 war konkurrenzfähig bei Wortvervollständigung (LAMBADA), geschlossenen Frage-Antwort-Aufgaben wie TriviaQA, Übersetzung ins Englische, einfacher Alltagslogik (PIQA) und bei der Generierung von Nachrichtenartikeln, die für menschliche Leser:innen kaum von echten Artikeln zu unterscheiden waren. Zugleich blieb es hinter fine-getunten Spitzenmodellen zurück bei Aufgaben wie Natural Questions, adversarial konstruierten Inferenzaufgaben (ANLI), anspruchsvolleren Lesetextverständnis-Datensätzen und im SuperGLUE-Gesamtergebnis. Diese offene, gemischte Bilanz unterscheidet das Paper von reiner Erfolgsrhetorik.
Einen methodisch bemerkenswerten Abschnitt widmen die Autoren der Frage der Datenkontamination: Sie untersuchen selbst, ob Testdaten der verwendeten Benchmarks bereits im Common-Crawl-Trainingskorpus enthalten waren, räumen ein, dass eine vollständig saubere Trennung nicht gelang, und liefern eine zusätzliche, bereinigte Analyse mit meist moderaten Effekten auf einzelne Benchmarks.
Kontroversen und Kritik
Das Paper gilt neben den vorangegangenen Skalierungsgesetzen derselben Forschungsgruppe (Kaplan u. a. 2020) als der empirische Beleg für die Hypothese, dass Fähigkeiten mit wachsender Modellgröße auftreten, statt gezielt eingebaut zu werden – und prägte damit maßgeblich die spätere Debatte um Emergent Abilities.
Die prominenteste externe Gegenposition kam von Bender, Gebru, McMillan-Major und Mitchell 2021 mit ihrem vielzitierten Aufsatz über “stochastische Papageien”: Immer größere Sprachmodelle – wie sie mit diesem Paper einen sichtbaren Meilenstein erreichten – reihten Sprachmuster aneinander, ohne Bedeutung zu verstehen, verschlängen dabei enorme ökologische und finanzielle Ressourcen und bauten auf einer undurchsichtigen, überwiegend englischsprachigen Datenbasis auf, die Vorurteile eher verstärke als korrigiere. Der Aufsatz richtet sich gegen den Trend zu immer größeren Sprachmodellen im Allgemeinen, dessen sichtbarster damaliger Vertreter das hier beschriebene Paper war.
Verwandte Begriffe
- GPT-3 – das in diesem Paper vorgestellte Modell
- Emergent Abilities – die Debatte, die dieses Paper maßgeblich anstieß
- Stochastische Papageien – die prominenteste Gegenposition zur Skalierungslogik
- Skalierungshypothese – die These, die dieses Paper empirisch stützt
Quellenangaben
- Brown, Tom B. u. a. 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
- Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Mitchell, Margaret 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), S. 610–623.
- Kaplan, Jared u. a. 2020. Scaling Laws for Neural Language Models. arXiv: 2001.08361.