Layer Normalization

Layer Normalization (deutsch etwa Schichtnormierung) normiert die Zwischenwerte eines neuronalen Netzes für jedes Beispiel einzeln über alle Merkmale einer Schicht hinweg. Anders als die Batch Normalization benötigt sie keinen Stapel und ist damit unabhängig davon, welche anderen Beispiele gerade verarbeitet werden.

Zusammenfassung

Der Unterschied liegt in der Richtung, in der gemittelt wird. Die Stapelnormierung mittelt über die Beispiele, die Schichtnormierung über die Merkmale eines einzelnen Beispiels.

Diese Verschiebung löst genau die Probleme, an denen die ältere Fassung in der Sprachverarbeitung scheiterte: Sie verhält sich bei Training und Anwendung gleich, funktioniert bei einem einzelnen Beispiel ebenso wie bei tausend, und sie kommt mit Folgen unterschiedlicher Länge zurecht.

Jimmy Lei Ba, Jamie Ryan Kiros und Geoffrey Hinton schlugen das Verfahren 2016 vor. Mit der Transformer-Architektur von 2017 wurde es zum Standard und ist es bis heute geblieben.

Zwei spätere Änderungen prägen die praktische Umsetzung: die Verschiebung der Normierung an den Anfang jedes Blocks und eine vereinfachte Fassung, die auf die Mittelwertkorrektur verzichtet.

Begriffsgeschichte

Die Arbeit von 2016 war ausdrücklich als Antwort auf die Grenzen der Stapelnormierung gedacht. Die Autoren nannten drei: die Abhängigkeit von der Stapelgröße, den Bruch zwischen Training und Anwendung und die Unbrauchbarkeit bei rekurrenten Netzen.

Rekurrente Netze waren der eigentliche Anlass. Sie verarbeiten Folgen unterschiedlicher Länge, sodass an einer bestimmten Zeitposition unterschiedlich viele Beispiele vorliegen – eine Mittelung über den Stapel ist dort nicht sinnvoll definierbar.

Der Durchbruch kam mit dem Transformer. Dessen Bauform verwendet die Normierung an zwei Stellen je Block, jeweils in Verbindung mit einer Abkürzungsverbindung. Ohne sie ist die Architektur in der ursprünglichen Anordnung praktisch nicht trainierbar.

2020 zeigte eine Untersuchung, warum: In der ursprünglichen Anordnung – Normierung nach der Abkürzungsverbindung – sind die Gradienten zu Beginn des Trainings so ungünstig, dass eine Aufwärmphase mit sehr kleinen Schritten nötig ist. Wird die Normierung vor den Block gezogen, entfällt dieser Bedarf.

2019 war zudem eine vereinfachte Fassung erschienen, die nur die Streuung normiert und den Mittelwert unangetastet lässt. Sie ist schneller und wird in praktisch allen neueren großen Modellen verwendet.

Methodische Grundlagen

Normierung über die Merkmale. Für jedes Beispiel und jede Position werden Mittelwert und Streuung über die Merkmalsdimensionen berechnet. Bei einer Vektorlänge von 4096 wird also über diese 4096 Werte gemittelt.

Zwei gelernte Größen. Wie bei der Stapelnormierung erlauben eine Skalierung und eine Verschiebung dem Netz, die Normierung anzupassen.

Kein Unterschied zwischen den Betriebsarten. Weil nichts über den Stapel gemittelt wird, entfallen gleitende Mittelwerte. Das Verfahren verhält sich beim Training genauso wie bei der Anwendung – ein praktisch erheblicher Vorzug.

Anordnung vor oder nach dem Block. In der ursprünglichen Fassung folgt die Normierung auf die Addition der Abkürzungsverbindung, in der heute üblichen geht sie ihr voraus. Die zweite Anordnung trainiert stabiler, erreicht in manchen Vergleichen aber leicht schlechtere Endwerte.

Vereinfachte Fassung. Wird nur die Streuung normiert, entfällt die Berechnung des Mittelwerts. Der Geschwindigkeitsgewinn liegt im niedrigen zweistelligen Prozentbereich, die Qualität bleibt vergleichbar.

Anwendungsfelder

Transformer. Der Hauptanwendungsfall. Jedes große Sprachmodell enthält zwei Normierungsschichten je Block, bei Dutzenden bis Hunderten Blöcken.

Rekurrente Netze. Der ursprüngliche Anlass, heute von geringerer Bedeutung, weil rekurrente Architekturen weitgehend verdrängt wurden.

Bildverarbeitung mit Transformern. Der Vision Transformer übernimmt die Normierung mitsamt der Architektur – auch dort, wo die Stapelnormierung anwendbar wäre.

Bestärkendes Lernen. Weil die Verteilung der Beobachtungen sich während des Lernens ändert, ist die Unabhängigkeit vom Stapel hier ein sachlicher Vorzug.

Kontroversen und Kritik

Ungeklärte Wirkung. Wie bei der Stapelnormierung ist umstritten, warum das Verfahren hilft. Die ursprüngliche Begründung über die Stabilisierung der Zwischenwerte gilt als unvollständig; neuere Arbeiten verweisen auf die Wirkung der gelernten Skalierung und auf die Gradienten.

Anteil am Rechenaufwand. Die Normierung selbst ist billig, erzwingt aber eine Synchronisation über die gesamte Merkmalsdimension. Auf Beschleunigern ist sie deshalb ein Engpass, dessen Anteil an der Laufzeit über dem seines Rechenaufwands liegt.

Notwendigkeit umstritten. Arbeiten mit sorgfältig gewählter Anfangsbelegung zeigen, dass sich Transformer auch ohne Normierungsschichten trainieren lassen. Der Aufwand dafür ist hoch, und die Verfahren haben sich nicht durchgesetzt.

Wechselwirkung mit anderen Entscheidungen. Die Wahl der Anordnung beeinflusst, welche Lernrate, welche Aufwärmphase und welche Tiefe funktionieren. Vergleiche zwischen Architekturen sind deshalb nur bei gleicher Anordnung aussagekräftig.

Blinder Fleck in der Berichterstattung. Veröffentlichungen nennen die Anordnung häufig nicht, obwohl sie das Trainingsverhalten stärker prägt als manche Änderung, die als Beitrag ausgewiesen wird.

Warum die Richtung der Mittelung entscheidet

Der Unterschied zwischen den beiden Normierungsverfahren wirkt technisch und ist doch eine Entscheidung über die Beziehung zwischen Beispielen.

Die Stapelnormierung koppelt Beispiele aneinander. Was ein Netz aus einem Bild macht, hängt davon ab, welche anderen Bilder zufällig im selben Stapel lagen. Beim Training ist das ein nützliches Rauschen; bei der Anwendung wäre es unsinnig, weshalb dort ein Ersatz treten muss.

Die Schichtnormierung verzichtet auf diese Kopplung. Jedes Beispiel wird für sich behandelt, und die Ausgabe hängt allein von der Eingabe ab. Das ist nicht nur sauberer, sondern für Sprachmodelle notwendig: Ein Modell, dessen Antwort davon abhinge, welche anderen Anfragen gleichzeitig bearbeitet werden, wäre unbrauchbar.

Damit ist die Wahl weniger eine Frage der Wirksamkeit als eine der Anwendungsform. In der Bildverarbeitung, wo Beispiele stapelweise durchlaufen und Ausgaben nicht einzeln abgerufen werden, ist die Kopplung erträglich. In der Sprachverarbeitung, wo jede Anfrage für sich beantwortet wird, ist sie es nicht.

Quellenangaben

Ba, Jimmy Lei / Kiros, Jamie Ryan / Hinton, Geoffrey E., 2016. Layer Normalization. arXiv: 1607.06450.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
Xiong, Ruibin u. a., 2020. On Layer Normalization in the Transformer Architecture. Proceedings of Machine Learning Research (ICML), 119, 10524–10533. arXiv: 2002.04745
Zhang, Biao / Sennrich, Rico (University of Edinburgh) (2019): Root Mean Square Layer Normalization. In: Advances in Neural Information Processing Systems 32. arXiv: 1910.07467.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.