Performer ist eine 2020 von Google-Forschenden vorgestellte Transformer-Variante, die den Attention-Mechanismus über eine Kernel-Approximation berechnet und damit den Rechenaufwand von quadratisch auf linear in der Sequenzlänge senkt.
Zusammenfassung
Der klassische, in Attention Is All You Need eingeführte Attention-Mechanismus vergleicht jedes Token einer Sequenz mit jedem anderen, was den Rechen- und Speicheraufwand quadratisch mit der Sequenzlänge wachsen lässt.
Performer umgeht dieses Problem mit dem FAVOR+-Verfahren (Fast Attention Via positive Orthogonal Random features), das die zugrunde liegende Kernel-Funktion der Softmax-Attention durch zufällige Merkmalsprojektionen approximiert, ohne die Attention-Matrix jemals vollständig zu berechnen.
Begriffsgeschichte
Choromanski und Kolleg:innen stellten Performer 2020 vor, in einer Phase, in der mehrere Forschungsgruppen unabhängig voneinander an effizienteren Alternativen zur quadratischen Standard-Attention arbeiteten. Anders als Verfahren, die die Sequenz strukturell einschränken – etwa durch begrenzte Kontextfenster –, approximiert Performer die ursprüngliche, uneingeschränkte Attention-Funktion mathematisch, ohne deren Reichweite zu beschneiden.
Methodische Grundlagen
FAVOR+ nutzt eine zufällige, positiv-definite Merkmalsabbildung, um das Skalarprodukt der Softmax-Kernel-Funktion näherungsweise als Skalarprodukt niedrigdimensionaler Zufallsvektoren darzustellen. Dadurch lässt sich die Attention-Berechnung so umformulieren, dass sie nicht mehr jedes Token-Paar einzeln vergleichen muss, sondern über die approximierten Merkmalsvektoren linear skaliert.
Anwendungsfelder
Performer eignet sich besonders für Aufgaben mit sehr langen Sequenzen, bei denen klassische Transformer an Speichergrenzen stoßen – etwa bei der Verarbeitung ganzer Dokumente, hochauflösender Bilddaten oder biologischer Sequenzen wie DNA.
Kontroversen und Kritik
Die Approximation ist nicht exakt: FAVOR+ liefert eine unverzerrte, aber stochastische Schätzung der wahren Attention-Werte, deren Genauigkeit von der Zahl der verwendeten Zufallsmerkmale abhängt. In der Praxis zeigte sich zudem, dass der theoretische Effizienzgewinn nicht immer die tatsächliche Trainingsgeschwindigkeit auf gängiger Hardware widerspiegelt, da die Umsetzung der Zufallsprojektionen zusätzlichen Overhead erzeugt.
Verwandte Begriffe
- Attention-Mechanismus – der Mechanismus, den Performer approximiert
- Longformer – alternativer Ansatz zur Effizienzsteigerung über strukturelle Einschränkung statt Approximation
- FlashAttention – späteres Verfahren, das die exakte Attention-Berechnung stattdessen hardwarenah beschleunigt
Quellenangaben
- Choromanski, Krzysztof u. a., 2021. Rethinking Attention with Performers. International Conference on Learning Representations (ICLR 2021). arXiv: 2009.14794.