ResNet (Residual Network) ist eine 2015 von Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun bei Microsoft Research entwickelte Architektur für neuronale Netze, die durch sogenannte Residual- oder Skip-Connections das Training extrem tiefer Netze ermöglicht.
Zusammenfassung
Vor ResNet stießen sehr tiefe Netze auf zwei verwandte Probleme. Beim Vanishing-Gradient-Problem werden bei der Rückpropagation viele kleine Ableitungswerte miteinander multipliziert, wodurch der Gradient in frühen Schichten exponentiell schrumpft und diese kaum noch lernen.
Zusätzlich beobachteten He und Kolleg:innen das Degradationsproblem: Tiefere Netze wiesen paradoxerweise eine höhere Trainingsfehlerrate auf als flachere – ein reines Optimierungsproblem, kein Overfitting.
Begriffsgeschichte
Veröffentlicht wurde die Lösung als Preprint „Deep Residual Learning for Image Recognition” am 10. Dezember 2015 auf arXiv. Das Paper gewann den CVPR-2016-Best-Paper-Award und gilt als eines der meistzitierten der KI-Geschichte.
Methodische Grundlagen
Die Kernidee: Statt dass eine Schicht direkt eine Zielabbildung lernt, lernt sie nur die Restfunktion – die Differenz zwischen Zielabbildung und Identität. Der Eingabevektor wird über eine Skip-Connection unverändert um die Schicht herumgeführt und am Ende addiert. Ist die Identitätsabbildung bereits optimal, kann das Netz die Restfunktion einfach gegen null lernen – leichter zu optimieren als eine vollständige Abbildung von Grund auf.
Dieser Mechanismus lässt Gradienten über die Skip-Connections nahezu ungehindert zu früheren Schichten zurückfließen und mildert so Degradations- und Vanishing-Gradient-Problem zugleich.
Ergebnisse
ResNet gewann den ImageNet-Wettbewerb ILSVRC 2015 mit 3,57 Prozent Top-5-Fehlerrate im Ensemble – eine Verbesserung von fast der Hälfte gegenüber dem Vorjahressieger GoogLeNet mit 6,67 Prozent. Getestete Netztiefen reichten von 18 bis 152 Schichten, deutlich tiefer als alles zuvor bei ImageNet Gezeigte.
ResNet-Modelle belegten 2015 zusätzlich den ersten Platz bei ImageNet-Detektion, ImageNet-Lokalisierung sowie bei der COCO-Detektion und -Segmentierung.
Anwendungsfelder
Residual-Connections wurden zum Standardbaustein moderner Architekturen weit über Bildverarbeitung hinaus. Der Transformer übernimmt dasselbe Prinzip um jeden Teil-Layer – Self-Attention wie Feed-Forward – und ist damit die Grundlage praktisch aller heutigen großen Sprachmodelle.
Auch Vision Transformer und zahlreiche Architekturen in Audio- und Reinforcement-Learning-Anwendungen nutzen das residuale Lernprinzip.
Einordnung
Historisch markiert ResNet den Punkt, an dem sehr tiefe Netze mit hunderten Schichten erstmals praktisch trainierbar wurden – eine Voraussetzung für viele spätere Fortschritte im Deep Learning. Das Prinzip überlebte den Wechsel von Faltungsnetzen zu Transformern unverändert und gehört heute zum architektonischen Grundvokabular praktisch jedes tiefen Netzes.
Verwandte Begriffe
- Backpropagation – der Algorithmus, dessen Gradientenproblem ResNet mildert
- ImageNet – der Wettbewerb, den ResNet 2015 gewann
- AlexNet – frühere Architektur, die die Deep-Learning-Ära einleitete
- Attention Is All You Need – übernimmt dasselbe Skip-Connection-Prinzip
Quellenangaben
- He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2015. Deep Residual Learning for Image Recognition. arXiv: 1512.03385.
- He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.