LoRA (Low-Rank Adaptation) ist eine 2021 von einem Microsoft-Forschungsteam um Edward J. Hu vorgestellte Methode zum Fine-Tuning großer Sprachmodelle, die statt aller Modellgewichte nur wenige, kleine Zusatzmatrizen trainiert.
Zusammenfassung
Klassisches Fine-Tuning passt sämtliche Parameter eines vortrainierten Modells an eine neue Aufgabe an – bei heutigen Sprachmodellen mit Milliarden Parametern ein erheblicher Rechen- und Speicheraufwand. LoRA hält die ursprünglichen Modellgewichte vollständig eingefroren und fügt stattdessen pro Gewichtsmatrix ein Paar kleiner, niedrigrangiger Matrizen hinzu, die während des Fine-Tunings trainiert werden.
Begriffsgeschichte
Die Arbeit erschien 2021 und baute auf der empirischen Beobachtung auf, dass die für eine neue Aufgabe nötige Gewichtsänderung selbst bei großen Modellen einen überraschend niedrigen intrinsischen Rang aufweist. Dieselbe Grundidee liegt auch der Attention-Approximation von Performer und Linformer zugrunde, hier jedoch auf das Fine-Tuning selbst angewandt.
Methodische Grundlagen
Statt eine vollständige Gewichtsmatrix direkt zu verändern, approximiert LoRA die nötige Änderung als Produkt zweier deutlich kleinerer Matrizen mit niedrigem Rang.
Nur diese beiden kleinen Matrizen werden trainiert, während die ursprüngliche, große Matrix unverändert bleibt. Dadurch sinkt die Zahl trainierbarer Parameter oft um mehrere Größenordnungen, ohne dass beim Einsatz zusätzliche Latenz entsteht, da sich die kleinen Matrizen nach dem Training in die Originalgewichte einrechnen lassen.
Anwendungsfelder
LoRA etablierte sich als Standardverfahren für ressourcenschonendes Fine-Tuning großer Sprachmodelle und Bildgenerierungsmodelle, insbesondere dort, wo viele verschiedene, aufgabenspezifische Anpassungen desselben Basismodells parallel benötigt werden. Da pro Aufgabe nur die kleinen LoRA-Matrizen gespeichert werden müssen, lassen sich zahlreiche spezialisierte Varianten eines Modells mit vertretbarem Speicheraufwand vorhalten.
Kontroversen und Kritik
Die Annahme eines niedrigen intrinsischen Rangs gilt nicht für jede Aufgabe gleichermaßen: Bei Aufgaben, die sich stark vom Vortrainingsverteilungsraum des Basismodells unterscheiden, kann LoRA hinter vollständigem Fine-Tuning zurückbleiben. Die Wahl des Rangs bleibt zudem ein empirisch zu bestimmender Kompromiss zwischen Anpassungsfähigkeit und Parametereffizienz.
Verwandte Begriffe
- Foundation Models – Modellklasse, für die LoRA-Anpassungen typischerweise entwickelt werden
- Prompt-Tuning – alternatives parameter-effizientes Anpassungsverfahren ohne Änderung der Modellgewichte
Quellenangaben
- Hu, Edward J. u. a., 2021. LoRA: Low-Rank Adaptation of Large Language Models. arXiv: 2106.09685.