EfficientNet ist eine 2019 von Mingxing Tan und Quoc V. Le bei Google vorgestellte Familie von Convolutional-Neural-Network-Architekturen, die Netzwerktiefe, -breite und Eingabeauflösung nach einer festen, systematischen Formel gemeinsam skaliert.
Zusammenfassung
Frühere Architekturen wie DenseNet oder GoogLeNet wurden vergrößert, indem Forschende einzeln entschieden, ob mehr Schichten, breitere Schichten oder höher aufgelöste Eingabebilder den größten Genauigkeitsgewinn versprechen. Tan und Le zeigten, dass ein einheitlicher, aus einem einzigen Skalierungskoeffizienten abgeleiteter Kompromiss aus allen drei Dimensionen zuverlässig bessere Ergebnisse liefert als das isolierte Vergrößern einzelner Dimensionen.
Begriffsgeschichte
Die Arbeit erschien 2019 auf der International Conference on Machine Learning (ICML) und markierte einen methodischen Bruch gegenüber der bisherigen, überwiegend experimentellen Praxis der Architektursuche. Statt neue Bausteine zu erfinden, systematisierte sie die Frage, wie ein bestehendes Grundmodell am effizientesten vergrößert wird.
Methodische Grundlagen
Ausgehend von einem kompakten Grundmodell (EfficientNet-B0) skaliert ein einziger Compound-Koeffizient Tiefe, Breite und Auflösung gemeinsam nach festen, empirisch bestimmten Exponenten. Die Modellreihe B0 bis B7 entsteht durch schrittweises Erhöhen dieses einen Koeffizienten, statt jede Dimension einzeln von Hand nachzujustieren.
Anwendungsfelder
EfficientNet-B7 erreichte bei seiner Veröffentlichung state-of-the-art Genauigkeit auf dem ImageNet-Datensatz bei gleichzeitig deutlich weniger Parametern und geringerer Rechenzeit als vergleichbar genaue Vorgängermodelle. Die Modellfamilie eignete sich dadurch besonders für mobile und ressourcenbeschränkte Anwendungen, in denen Rechenleistung und Speicher knapp sind.
Kontroversen und Kritik
Kritiker:innen wiesen darauf hin, dass die tatsächliche Ausführungsgeschwindigkeit auf realer Hardware nicht immer proportional zur theoretischen Parameter- oder Rechenoperationenzahl sinkt, da bestimmte, für EfficientNet charakteristische Operationen auf manchen Beschleunigern ineffizient implementiert sind.
Der Begriff „effizient” bezieht sich damit primär auf Parameterzahl und FLOPs, nicht notwendigerweise auf die tatsächliche Latenz in jeder Einsatzumgebung.
Verwandte Begriffe
- ImageNet – Datensatz, an dem EfficientNet seine state-of-the-art-Ergebnisse erzielte
- GoogLeNet/Inception – Vorgängerarchitektur, die im Artikel als Beispiel für isoliertes Skalieren einzelner Dimensionen genannt wird
- Scaling Laws – verwandtes Konzept systematischer Skalierung, dort auf Sprachmodelle statt CNNs bezogen
Quellenangaben
- Tan, Mingxing / Le, Quoc V., 2019. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. Proceedings of the 36th International Conference on Machine Learning (ICML), arXiv: 1905.11946.