Batch Normalization

Batch Normalization (deutsch etwa Stapelnormierung) ist ein Verfahren, das die Zwischenwerte eines neuronalen Netzes während des Trainings normiert – jeweils über alle Beispiele eines Stapels hinweg. Es beschleunigt das Training tiefer Netze erheblich und war ab 2015 ein Standardbestandteil der Bildverarbeitung.

Zusammenfassung

Das Verfahren löst ein praktisches Problem. In einem tiefen Netz verändert jede Schicht die Verteilung dessen, was die nächste zu sehen bekommt – und zwar bei jedem Trainingsschritt neu. Die späteren Schichten müssen deshalb einem beweglichen Ziel folgen.

Sergey Ioffe und Christian Szegedy schlugen 2015 vor, die Zwischenwerte an jeder Schicht auf Mittelwert null und Streuung eins zu bringen. Zwei gelernte Größen erlauben dem Netz, diese Normierung bei Bedarf teilweise rückgängig zu machen.

Die Wirkung war unmittelbar und groß: Netze ließen sich mit deutlich größeren Lernschritten trainieren, konvergierten schneller und waren weniger empfindlich gegenüber der Anfangsbelegung der Gewichte.

Die Begründung, die die Autoren gaben, erwies sich später als unzutreffend. Eine Arbeit von 2018 zeigte, dass der behauptete Mechanismus nicht der wirksame ist – ohne dass die Wirksamkeit des Verfahrens dadurch in Frage stünde.

Begriffsgeschichte

Vor 2015 galt das Training sehr tiefer Netze als schwierig. Gradienten verschwanden oder wuchsen unkontrolliert, und der Erfolg hing empfindlich von der Anfangsbelegung und der Schrittweite ab.

Die Arbeit von 2015 führte den Begriff interner Kovariatenverschiebung ein: Weil sich die Gewichte früherer Schichten ändern, verschiebt sich die Verteilung der Eingaben späterer Schichten. Die Normierung sollte diese Verschiebung ausgleichen.

Der Erfolg war so deutlich, dass das Verfahren binnen eines Jahres in nahezu jede Bildarchitektur einzog. Die tiefen Restnetze, die 2015 die Bilderkennung umwälzten, verwendeten es durchgehend.

2018 untersuchten Shibani Santurkar und Kollegen die Begründung. Sie fügten nach der Normierungsschicht absichtlich Rauschen ein, verstärkten die Verteilungsverschiebung also – und das Training blieb dennoch schneller. Die angegebene Ursache war damit nicht die wirksame.

Ihre Erklärung: Das Verfahren glättet die Fehlerlandschaft. Die Gradienten werden verlässlicher, sodass größere Schritte möglich sind, ohne dass das Training entgleist.

Methodische Grundlagen

Normierung über den Stapel. Für jede Merkmalsdimension werden Mittelwert und Streuung über alle Beispiele des aktuellen Stapels berechnet und die Werte entsprechend verschoben und skaliert.

Zwei gelernte Größen. Eine Skalierung und eine Verschiebung werden mittrainiert. Damit kann das Netz die Normierung abschwächen oder aufheben, wenn sie ihm schadet – die Normierung ist ein Angebot, keine Vorschrift.

Unterschied zwischen Training und Anwendung. Beim Training werden die Kennwerte des Stapels verwendet, bei der Anwendung gleitende Mittelwerte aus dem Training. Diese Zweiteilung ist eine häufige Fehlerquelle, weil sich das Verhalten zwischen beiden Betriebsarten unterscheidet.

Nebenwirkung als Regularisierung. Weil die Kennwerte vom zufällig zusammengestellten Stapel abhängen, enthält jeder Trainingsschritt eine Portion Rauschen. Das wirkt der Überanpassung entgegen – ein Nebeneffekt, der lange als eigenständiger Vorzug galt.

Abhängigkeit von der Stapelgröße. Bei sehr kleinen Stapeln werden die Kennwerte unzuverlässig, und die Wirkung kehrt sich um. Diese Abhängigkeit ist der Ausgangspunkt aller Alternativverfahren.

Anwendungsfelder

Bilderkennung. Das angestammte Feld. Faltungsnetze für Bildklassifikation, Objekterkennung und Segmentierung verwenden es nahezu durchgehend.

Erzeugende Bildmodelle. Auch in Netzen zur Bilderzeugung ist das Verfahren verbreitet, dort allerdings mit besonderer Vorsicht wegen der Wechselwirkung mit dem Trainingsverfahren.

Bestärkendes Lernen. Hier ist die Anwendung heikel, weil die Verteilung der Beobachtungen sich während des Lernens grundlegend ändert und gleitende Mittelwerte hinterherlaufen.

Sprachverarbeitung. Praktisch nicht. Transformer verwenden durchgehend Layer Normalization – aus Gründen, die im Aufbau der Aufgabe liegen.

Kontroversen und Kritik

Die Begründung stimmt nicht. Der bemerkenswerteste Punkt: Das Verfahren wirkt, aber nicht aus dem angegebenen Grund. Die interne Kovariatenverschiebung ist als Erklärung widerlegt, die Glättung der Fehlerlandschaft als Ersatz nicht abschließend belegt.

Abhängigkeit vom Stapel. Die Normierung koppelt Beispiele aneinander, die nichts miteinander zu tun haben. Bei kleinen Stapeln – etwa in der Objekterkennung mit hochauflösenden Bildern – wird das zum Problem.

Bruch zwischen Training und Anwendung. Dass sich das Verfahren in beiden Betriebsarten anders verhält, ist eine wiederkehrende Fehlerquelle und erschwert die Fehlersuche.

Ungeeignet für veränderliche Längen. Bei Folgen unterschiedlicher Länge – dem Normalfall in der Sprachverarbeitung – ist unklar, worüber gemittelt werden soll. Das ist der sachliche Grund für die Ablösung dort.

Verdeckte Wechselwirkung. Das Verfahren wirkt zugleich als Regularisierung, was die Wirkung anderer Maßnahmen verzerrt. Vergleiche zwischen Architekturen mit und ohne Normierung sind deshalb schwer sauber zu führen.

Ein Verfahren ohne verstandene Wirkung

Der Fall ist in der Fachgeschichte ungewöhnlich und lehrreich zugleich.

Ein Verfahren wurde vorgeschlagen, wirkte, wurde binnen eines Jahres zum Standard – und die Begründung, mit der es eingeführt wurde, hielt der Prüfung nicht stand. Der Begriff, der ihm seinen Namen gab, beschreibt nicht, was es tut.

Bemerkenswert ist die Reaktion des Fachs. Die Widerlegung von 2018 führte nicht dazu, dass das Verfahren aufgegeben wurde, und auch nicht zu einer breiten Debatte. Es funktionierte weiter, also wurde es weiter verwendet.

Das ist verteidigbar: Ein Werkzeug muss nicht verstanden sein, um zu nützen. Es beschreibt aber eine Arbeitsweise, in der die Erklärung der Praxis nachläuft, statt sie zu leiten – und in der eine falsche Erklärung jahrelang unbeanstandet in Lehrbüchern steht, weil das Ergebnis stimmt.

Quellenangaben

He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
Santurkar, Shibani / Tsipras, Dimitris / Ilyas, Andrew / Madry, Aleksander (MIT) (2018): How Does Batch Normalization Help Optimization? In: Advances in Neural Information Processing Systems 31. arXiv: 1805.11604.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.