FlashAttention

FlashAttention ist ein Verfahren zur Berechnung der Aufmerksamkeit in Transformern, das den Speicherzugriff neu ordnet, statt die Rechnung zu vereinfachen. Es liefert dasselbe Ergebnis wie die übliche Berechnung, benötigt dafür aber deutlich weniger Zeit und Speicher.

Zusammenfassung

Der entscheidende Punkt liegt im Wort exakt. Vor 2022 versuchten zahlreiche Arbeiten, den quadratisch wachsenden Aufwand der Aufmerksamkeit durch Näherungen zu senken – sie rechneten nur mit ausgewählten Positionspaaren oder mit vereinfachten Formeln.

Tri Dao und Kollegen zeigten 2022, dass diese Näherungen einen falschen Engpass angingen. Nicht die Rechenoperationen waren die Grenze, sondern die Bewegung von Daten zwischen dem schnellen Zwischenspeicher des Beschleunigers und seinem großen, langsameren Hauptspeicher.

Ihr Verfahren zerlegt die Rechnung in Blöcke, die vollständig in den schnellen Speicher passen, und schreibt die große Zwischenmatrix nie vollständig heraus. Der Speicherbedarf wächst damit linear statt quadratisch mit der Folgenlänge.

Die Wirkung war unmittelbar: Kontextfenster, die zuvor am Speicher scheiterten, wurden möglich. Das Verfahren ist heute in praktisch allen gängigen Umsetzungen enthalten.

Begriffsgeschichte

Bis 2022 galt der quadratische Aufwand als das zentrale Hindernis der Architektur. Eine ganze Forschungslinie – unter Namen wie Longformer, Reformer oder Performer – suchte nach Näherungen mit besserem Wachstumsverhalten.

Diese Arbeiten erreichten in der Theorie deutlich bessere Werte. In der Praxis blieben ihre Vorteile hinter den Erwartungen zurück, und die Qualität litt spürbar. Kaum eine setzte sich in großen Modellen durch.

Die Erklärung lieferte 2022 die Untersuchung der Hardware. Ein Beschleuniger verfügt über einen sehr schnellen, sehr kleinen Zwischenspeicher und einen großen, um Größenordnungen langsameren Hauptspeicher. Die übliche Aufmerksamkeitsrechnung schreibt eine Matrix in der Größe des Folgenquadrats in den Hauptspeicher und liest sie mehrfach zurück.

Der Rechenkern war damit nicht durch Rechenleistung begrenzt, sondern durch Bandbreite. Wer diesen Verkehr vermeidet, gewinnt mehr als jede Näherung.

2023 folgte eine zweite Fassung mit besserer Arbeitsverteilung, 2024 eine dritte, die auf die Eigenheiten neuerer Beschleunigergenerationen zugeschnitten ist.

Methodische Grundlagen

Blockweise Verarbeitung. Anfrage-, Schlüssel- und Wertmatrizen werden in Blöcke zerlegt, die in den schnellen Zwischenspeicher passen. Für jeden Block wird die Teilrechnung vollständig dort ausgeführt.

Verschmelzung der Schritte. Ähnlichkeitsrechnung, Normierung und Gewichtung finden in einem einzigen Durchgang statt, statt als getrennte Schritte mit Zwischenergebnissen im Hauptspeicher.

Fortlaufende Normierung. Die Normierung über eine Zeile setzt eigentlich voraus, dass alle Werte vorliegen. Das Verfahren berechnet sie schrittweise mit und korrigiert frühere Teilergebnisse, sobald ein größerer Wert auftritt.

Neuberechnung statt Speicherung. Für den Rückwärtsdurchlauf wird die Zwischenmatrix nicht aufbewahrt, sondern erneut berechnet. Rechenzeit wird gegen Speicherbandbreite getauscht – ein Tausch, der sich lohnt.

Exaktheit. Das Ergebnis ist bis auf die übliche Rundung identisch mit der herkömmlichen Berechnung. Es entsteht kein Qualitätsverlust, der gegen den Geschwindigkeitsgewinn abzuwägen wäre.

Anwendungsfelder

Vortraining großer Modelle. Der unmittelbare Nutzen liegt in kürzerer Trainingszeit bei gleichem Ergebnis.

Lange Kontexte. Weil der Speicherbedarf linear wächst, wurden Fenster von Hunderttausenden Einheiten überhaupt erst durchführbar. Der Zusammenhang mit Long Context ist unmittelbar.

Betrieb auf kleinerer Hardware. Modelle, die zuvor mehrere Beschleuniger benötigten, passen auf einen einzelnen.

Übertragung des Prinzips. Der Grundgedanke – den Speicherverkehr statt der Operationszahl zu senken – wurde auf andere Rechenkerne übertragen und prägt inzwischen die Gestaltung von Bibliotheken für maschinelles Lernen.

Kontroversen und Kritik

Bindung an die Hardware. Das Verfahren ist auf konkrete Beschleunigerarchitekturen zugeschnitten. Jede neue Generation erfordert eine Anpassung, und für andere Hardware existieren nur teilweise Entsprechungen.

Verschiebung, keine Aufhebung. Der Rechenaufwand wächst weiterhin quadratisch. Verschoben wurde die Speichergrenze, nicht die Zeitgrenze – bei sehr langen Folgen bleibt die Rechenzeit die Schranke.

Hindernis für neue Ideen. Weil das Verfahren die übliche Aufmerksamkeit so stark beschleunigt, geraten alternative Mechanismen ins Hintertreffen: Sie müssten nicht nur besser sein, sondern besser als eine hochoptimierte Umsetzung des Bestehenden.

Konzentration der Fähigkeiten. Solche Rechenkerne werden von wenigen Fachleuten geschrieben. Das verschiebt Leistungsvorsprünge von der Modellidee zur Umsetzungskompetenz – ein Vorteil, der bei großen Anbietern konzentriert ist.

Schwierige Zurechnung. Wenn ein neues Modell schneller trainiert, ist selten trennbar, wie viel auf Architektur, Daten oder Rechenkerne entfällt. Veröffentlichungen berichten Ergebnisse, nicht die Anteile.

Was der Fall über Optimierung lehrt

Die Geschichte des Verfahrens ist ein Lehrstück über die Wahl des Maßstabs.

Jahrelang wurde die Aufmerksamkeit an der Zahl der Rechenoperationen gemessen, und alle Verbesserungsvorschläge zielten darauf. Das ist der Maßstab, den die Theorie nahelegt – und er war für diese Aufgabe der falsche.

Der tatsächliche Engpass war eine physikalische Eigenschaft der Hardware, die in keiner Aufwandsanalyse vorkommt: dass Speicher in Stufen unterschiedlicher Geschwindigkeit organisiert ist und die Bewegung zwischen ihnen Zeit kostet.

Daraus folgt eine allgemeinere Beobachtung. Eine ganze Forschungslinie hatte Näherungen entwickelt, die theoretisch überlegen und praktisch unterlegen waren, weil sie eine Größe optimierten, die nicht die knappe war. Der Fortschritt kam nicht von einem besseren Verfahren, sondern von einer besseren Frage danach, was eigentlich langsam ist.

Verwandte Begriffe

• Multi-Head Attention – Rechenschritt, den das Verfahren beschleunigt
• Transformer – Architektur, in der er sitzt
• Long Context – Eigenschaft, die dadurch praktikabel wurde
• GPU – Hardware, deren Speicherhierarchie den Ansatz begründet
• Compute – Größe, deren Verbrauch das Verfahren senkt
• Positional Encoding – zweite Stellschraube langer Kontexte
• Scaling Laws – Zusammenhang, dessen Rechnung sich dadurch verschiebt

Quellenangaben

1. Beltagy, Iz / Peters, Matthew E. / Cohan, Arman, 2020. Longformer: The Long-Document Transformer. arXiv: 2004.05150.
2. Dao, Tri (2024): FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. In: Proceedings of ICLR 2024. arXiv: 2307.08691.
3. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.