LeNet-5 ist eine 1998 von Yann LeCun und Kolleg:innen vorgestellte Convolutional-Neural-Network-Architektur zur Erkennung handgeschriebener Ziffern, die als erste praktisch im großen Maßstab eingesetzte CNN-Architektur gilt.
Zusammenfassung
LeNet-5 verarbeitet Bilder handgeschriebener Ziffern über abwechselnde Faltungs- und Pooling-Schichten, gefolgt von wenigen vollverbundenen Schichten zur Klassifikation. Trainiert wurde das Netz vollständig mit Backpropagation, damals noch auf vergleichsweise bescheidener Hardware.
Das System erreichte in kommerziellen Anwendungen von NCR praktische Reife: Ende der 1990er Jahre las es nach Angaben des Herstellers über zehn Prozent aller in den USA ausgestellten Bankschecks automatisch.
Begriffsgeschichte
Vorarbeiten zu LeNet reichen in die späten 1980er Jahre zurück, als LeCun bei AT&T Bell Labs erste Convolutional Networks für die Ziffernerkennung entwickelte. LeNet-5 stellt die ausgereifte, 1998 in einer vielzitierten Arbeit veröffentlichte Version dieser Architekturreihe dar.
Die Arbeit erschien in einer Zeit, in der neuronale Netze in der akademischen Mainstream-Forschung gegenüber statistischen Verfahren wie Support Vector Machines an Ansehen verloren hatten. Erst mit AlexNet und dem darauffolgenden Deep-Learning-Boom ab 2012 wurde die von LeNet-5 vorgezeichnete CNN-Architektur zum dominierenden Paradigma der Bildverarbeitung.
Methodische Grundlagen
Die Architektur kombiniert lokale rezeptive Felder, geteilte Gewichte (weight sharing) zwischen Faltungsfiltern und Subsampling-Schichten zu einem Prinzip, das Translationsinvarianz erzeugt: Ein einmal gelerntes Merkmal wird unabhängig von seiner Position im Bild erkannt.
Dieses Dreiergespann – lokale Verbindungen, geteilte Gewichte, räumliches Downsampling – bildet bis heute den strukturellen Kern praktisch aller CNN-Architekturen, von AlexNet bis zu modernen Vision-Transformern.
Anwendungsfelder
Über die ursprüngliche Scheckerkennung hinaus diente der MNIST-Datensatz handgeschriebener Ziffern, an dem LeNet-5 entwickelt und getestet wurde, jahrzehntelang als Standard-Benchmark für neue Klassifikationsverfahren im maschinellen Lernen.
Kontroversen und Kritik
LeNet-5s praktischer Erfolg blieb weitgehend auf das eng umrissene Problem der Ziffernerkennung beschränkt; die Übertragung auf komplexere, natürliche Bilder scheiterte zunächst an fehlender Rechenleistung und fehlenden großen, gelabelten Datensätzen.
Erst die Kombination aus GPU-Training und dem ImageNet-Datensatz über ein Jahrzehnt später bei AlexNet zeigte, dass dieselbe Grundarchitektur auch für weitaus schwierigere Bildklassifikationsaufgaben skaliert.
Verwandte Begriffe
- Deep Learning – übergeordnetes Forschungsfeld, dessen praktische Vorgeschichte LeNet-5 mitprägte
- Yann LeCun – Hauptautor der Architektur
- Support Vector Machines – konkurrierendes Verfahren, gegen das neuronale Netze in den 1990er Jahren akademisch an Boden verloren
Quellenangaben
- LeCun, Yann / Bottou, Léon / Bengio, Yoshua / Haffner, Patrick, 1998. Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE 86 (11), S. 2278–2324.