Linformer ist eine 2020 von Facebook AI vorgestellte Transformer-Variante, die den Attention-Mechanismus über eine Low-Rank-Projektion approximiert und dadurch lineare statt quadratische Rechenkomplexität in der Sequenzlänge erreicht.
Zusammenfassung
Wang und Kolleg:innen zeigten empirisch, dass die Attention-Matrix klassischer Transformer häufig einen niedrigen effektiven Rang aufweist – ihre Information lässt sich also mit deutlich weniger Dimensionen darstellen, als die ursprüngliche Matrixgröße nahelegt.
Linformer nutzt diese Beobachtung, indem es die Schlüssel- und Wertematrizen der Attention-Berechnung über lineare Projektionen auf eine feste, niedrigere Dimension abbildet, bevor die eigentliche Attention berechnet wird.
Methodische Grundlagen
Statt jedes Token mit jedem anderen zu vergleichen, projiziert Linformer die Sequenz der Schlüssel- und Wertevektoren zunächst auf einen kleineren, festen Dimensionsraum. Die anschließende Attention-Berechnung erfolgt gegen diese komprimierte Repräsentation, wodurch der Rechenaufwand linear statt quadratisch mit der ursprünglichen Sequenzlänge wächst. Anders als beim Performer handelt es sich um eine deterministische, nicht stochastische Approximation.
Anwendungsfelder
Linformer eignet sich für dieselbe Klasse von Aufgaben wie andere effiziente Attention-Varianten – lange Dokumente, ausgedehnte Dialogverläufe und Aufgaben, bei denen der klassische Transformer an Speichergrenzen stößt. Da die Projektionsdimension unabhängig von der tatsächlichen Sequenzlänge festgelegt wird, skaliert die Architektur besonders gut auf sehr lange Eingaben.
Kontroversen und Kritik
Die Low-Rank-Annahme trifft nicht auf jede Aufgabe gleichermaßen zu: Bei Texten mit ungewöhnlich verteilten, nicht redundanten Abhängigkeiten kann die feste Projektionsdimension relevante Information verlieren. Zudem ist die optimale Projektionsdimension aufgabenabhängig und muss empirisch bestimmt werden, was den praktischen Einsatz gegenüber architektonisch einfacheren Alternativen erschwert.
Verwandte Begriffe
- Attention-Mechanismus – der Mechanismus, den Linformer approximiert
- Longformer – alternativer Ansatz über strukturelle Fenster-Einschränkung
Quellenangaben
- Wang, Sinong / Li, Belinda Z. / Khabsa, Madian / Fang, Han / Ma, Hao, 2020. Linformer: Self-Attention with Linear Complexity. arXiv: 2006.04768.