DenseNet ist eine 2017 von Gao Huang und Kolleg:innen vorgestellte Convolutional-Neural-Network-Architektur, die jede Schicht direkt mit jeder nachfolgenden Schicht desselben Blocks verbindet, statt Informationen nur linear von Schicht zu Schicht weiterzureichen.
Zusammenfassung
Klassische CNN-Architekturen wie VGGNet reichen die Ausgabe jeder Schicht nur an die unmittelbar folgende Schicht weiter. DenseNet verbindet stattdessen jede Schicht innerhalb eines Dense Block mit sämtlichen nachfolgenden Schichten: Ein Netz mit L Schichten besitzt dadurch L(L+1)/2 direkte Verbindungen statt nur L.
Begriffsgeschichte
Die Arbeit erschien 2017 auf der Computer Vision and Pattern Recognition Conference (CVPR) und wurde dort mit dem Best-Paper-Award ausgezeichnet. Sie erschien in derselben Phase wachsender Konkurrenz um immer tiefere und effizientere CNN-Architekturen wie GoogLeNet und dessen Nachfolgeversionen.
Methodische Grundlagen
Da jede Schicht direkten Zugriff auf die Merkmalskarten aller vorangegangenen Schichten desselben Blocks erhält, muss sie selbst nur wenige neue Merkmale hinzulernen, statt bereits vorhandene Information erneut zu berechnen.
Diese explizite Wiederverwendung von Merkmalen ermöglicht schmalere Schichten mit weniger Filtern pro Schicht. Sie mildert zugleich das Problem verschwindender Gradienten in sehr tiefen Netzen, da Gradienten über die dichten Verbindungen direkt zu frühen Schichten zurückfließen können.
Anwendungsfelder
DenseNet erreichte bei vergleichbarer oder besserer Genauigkeit auf Standard-Bildklassifikationsbenchmarks einen deutlich geringeren Speicher- und Rechenbedarf als viele zeitgleiche Architekturen, was das Modell besonders für ressourcenbeschränkte Anwendungen attraktiv machte.
Kontroversen und Kritik
Die dichte Verbindungsstruktur erhöht trotz geringerer Parameterzahl den Speicherbedarf während des Trainings, da die Merkmalskarten aller vorangegangenen Schichten gleichzeitig im Arbeitsspeicher gehalten werden müssen. Spätere, noch effizientere Architekturen wie EfficientNet verdrängten DenseNet in vielen praktischen Anwendungen, in denen reine Recheneffizienz im Vordergrund steht.
Verwandte Begriffe
- ResNet – Architektur, deren Skip-Connections DenseNet zur dichten Verschaltung verallgemeinert
- Vanishing Gradient Problem – Trainingsproblem, das die dichte Verschaltung entschärft
- ImageNet – Datensatz, an dem die Architektur gemessen wurde
Quellenangaben
- Huang, Gao / Liu, Zhuang / van der Maaten, Laurens / Weinberger, Kilian Q., 2017. Densely Connected Convolutional Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), S. 2261–2269.