PaLM

PaLM (Pathways Language Model) ist ein von Google Research vorgestelltes großes Sprachmodell, das im April 2022 veröffentlicht wurde und zum Zeitpunkt seiner Vorstellung mit 540 Milliarden Parametern (Chowdhery u. a. 2022) zu den größten trainierten Transformer-Modellen zählte. Es wurde mit der Pathways-Systemarchitektur trainiert, die Google zuvor als Infrastruktur für das effiziente Training sehr großer Modelle über mehrere TPU-Pods hinweg vorgestellt hatte.

Zusammenfassung

PaLM entstand als Demonstration der Pathways-Infrastruktur, die es Google erlaubte, ein einzelnes Modell effizient über tausende TPU-v4-Chips hinweg zu trainieren, ohne auf mehrere getrennte Trainingsläufe für unterschiedliche Aufgaben zurückzugreifen. Das Modell erzielte bei zahlreichen Benchmarks aus dem Bereich Sprachverständnis, Programmierung und mehrstufigem logischen Schließen state-of-the-art-Ergebnisse und wurde vor allem für seine Leistungen bei sogenannten „Chain-of-Thought“-Aufgaben bekannt, bei denen ein Modell einen Lösungsweg in mehreren Zwischenschritten formuliert, statt direkt eine Antwort auszugeben (siehe Chain-of-Thought). PaLM war zum Zeitpunkt der Veröffentlichung nicht öffentlich als Produkt zugänglich, sondern diente Google intern als Forschungsmodell und als Grundlage für nachfolgende Modellgenerationen.

Begriffsgeschichte

Google Research kündigte PaLM im April 2022 in einem Blogbeitrag und einem begleitenden technischen Bericht an (Chowdhery u. a. 2022). Entwickelt wurde das Modell im Team Google Brain, das 2023 mit DeepMind zur heutigen Organisation Google DeepMind fusionierte. Das Modell folgte auf eine Reihe vorheriger großer Sprachmodelle aus dem Google-Umfeld, darunter LaMDA und GLaM, unterschied sich von diesen aber durch seinen Fokus auf die Pathways-Trainingsinfrastruktur. Pathways war als System konzipiert worden, um ein einziges Modell so zu trainieren, dass es viele unterschiedliche Aufgaben gleichzeitig lernen und dabei Rechenressourcen über mehrere TPU-Pods hinweg dynamisch nutzen kann, statt für jede Aufgabe ein separates Modell zu trainieren.

Mit PaLM demonstrierte Google, dass sich diese Infrastruktur auch für das Training eines einzelnen sehr großen Large Language Models einsetzen ließ. Das Training erstreckte sich über zwei TPU-v4-Pods, die über ein Rechenzentrumsnetzwerk verbunden waren – nach Angaben von Google eine der größten bis dahin bekannten TPU-Konfigurationen für das Training eines einzelnen Modells.

Im Mai 2023 stellte Google mit PaLM 2 eine Nachfolgegeneration vor (Anil u. a. 2023), die nach Unternehmensangaben effizienter trainiert wurde und in mehreren Größenvarianten verfügbar war; sie bildete zeitweise die Grundlage für Produkte wie Bard, bevor Google mit der Modellfamilie Gemini eine grundlegend neue, nativ multimodale Architektur einführte.

Methodische Grundlagen

PaLM ist ein reiner Decoder-Transformer, der im Wesentlichen der etablierten Transformer-Architektur folgt, dabei aber mehrere Anpassungen vornimmt, die Google in der Modellbeschreibung als Beitrag zur Trainingseffizienz und -stabilität großer Modelle darstellt. Dazu zählen unter anderem Änderungen an der Aktivierungsfunktion sowie am Aufbau der Aufmerksamkeitsschichten, mit denen sich nach Angaben der Entwickler Trainingsdurchsatz und Speichereffizienz verbessern ließen.

Trainiert wurde PaLM auf einem breiten Korpus aus gefilterten Webtexten, Büchern, Wikipedia-Artikeln, Nachrichtentexten, Quellcode aus öffentlichen GitHub-Repositories sowie mehrsprachigen Konversationen aus sozialen Medien (Chowdhery u. a. 2022). Die Pathways-Infrastruktur ermöglichte dabei eine Skalierung des Trainings über mehrere Rechenzentrums-Pods hinweg, ohne dass die Trainingsdaten oder das Modell auf einen einzelnen Pod beschränkt blieben – eine technische Voraussetzung, die frühere Google-Modelle in dieser Form nicht hatten.

Ein zentrales Ergebnis der Modellbeschreibung war die Beobachtung, dass bestimmte Fähigkeiten – etwa das Lösen mehrstufiger Rechen- und Textaufgaben mittels Chain-of-Thought-Prompting – bei PaLM in einer Modellgröße auftraten, in der kleinere Modelle vergleichbarer Architektur deutlich schlechter abschnitten. Google beschrieb dies als Hinweis auf sogenannte emergente Fähigkeiten, die erst ab einer bestimmten Modell- und Datenmenge sichtbar werden, statt sich linear mit der Modellgröße zu entwickeln.

Anwendungsfelder

Als internes Forschungsmodell diente PaLM zunächst primär der Untersuchung, wie sich Modellgröße, Trainingsdatenmenge und Trainingsinfrastruktur auf die Leistungsfähigkeit von Sprachmodellen auswirken. Google veröffentlichte im Zusammenhang mit PaLM auch spezialisierte Varianten für einzelne Anwendungsfelder, etwa PaLM-Coder für Programmieraufgaben und Med-PaLM für medizinische Frage-Antwort-Aufgaben, die auf der PaLM-Basisarchitektur aufbauten und für ihre jeweilige Domäne feinabgestimmt wurden (siehe Fine-Tuning).

Über PaLM 2 flossen Erkenntnisse und Teile der Trainingsmethodik in nachfolgende, teils öffentlich zugängliche Google-Produkte ein, bevor die Modellfamilie Gemini die Pathways-Modelle als aktuelle Generation ablöste.

Kontroversen und Kritik

Wie bei anderen sehr großen Sprachmodellen wurde auch bei PaLM diskutiert, inwieweit die berichteten Leistungssprünge auf tatsächlich neue Fähigkeiten des Modells zurückzuführen sind oder teilweise durch die Wahl der Benchmarks und Bewertungsmetriken begünstigt werden. Die Debatte um „emergente Fähigkeiten“ großer Sprachmodelle, die PaLM mitprägte, wurde in der Forschungsgemeinschaft in der Folge kontrovers diskutiert, unter anderem mit dem Einwand, dass scheinbar sprunghafte Verbesserungen teils auf nicht-linearen Bewertungsmetriken beruhen und bei anderen Metriken kontinuierlicher verlaufen.

Wie bei den meisten großen, auf breiten Webkorpora trainierten Sprachmodellen wurde zudem allgemein auf die mit dem Training verbundenen Kosten, den Energieverbrauch sowie die begrenzte Transparenz über die genaue Zusammensetzung der Trainingsdaten hingewiesen – ein Kritikpunkt, der sich nicht auf PaLM beschränkt, sondern die gesamte Kategorie der großen Sprachmodelle betrifft.

Quellenangaben

Anil, Rohan u. a., 2023. PaLM 2 Technical Report. Google. arXiv: 2305.10403.
Chowdhery, Aakanksha u. a., 2022. PaLM: Scaling Language Modeling with Pathways. Google Research. arXiv: 2204.02311.

← Zurück zur Lexikon-Übersicht