AlexNet

AlexNet bezeichnet ein 2012 von Alex Krizhevsky, Ilya Sutskever und Geoffrey E. Hinton an der University of Toronto entwickeltes konvolutionelles neuronales Netz (CNN), das in der ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 mit deutlichem Vorsprung den ersten Platz erreichte. Mit einer Top-5-Fehlerrate von 15,3 % gegenüber 26,2 % des zweitplatzierten Verfahrens (Krizhevsky u. a. 2012) verbesserte es die Bildklassifikation um etwa zehn Prozentpunkte.

Die zugrundeliegende Arbeit ImageNet Classification with Deep Convolutional Neural Networks (Krizhevsky, Sutskever, Hinton; NeurIPS 2012) gilt als der empirische Auslöser des seitherigen Deep-Learning-Booms.

Zusammenfassung

AlexNet ist nicht primär eine theoretische, sondern eine ingenieurtechnische Leistung. Die einzelnen Bestandteile – konvolutionelle neuronale Netze (LeCun u. a. 1989/1998), ReLU-Aktivierungsfunktionen (Hahnloser u. a. 2000, Nair/Hinton 2010), Dropout-Regularisierung (Hinton u. a. 2012), Data Augmentation, lokale Antwortnormalisierung – waren in der Forschungsliteratur weitgehend bekannt.

AlexNets historische Bedeutung liegt in ihrer Kombination, ihrer Skalierung auf eine bislang ungewöhnliche Tiefe (acht trainierbare Schichten, etwa 60 Millionen Parameter; Krizhevsky u. a. 2012) und ihrer Implementierung auf zwei NVIDIA GTX 580 Grafikkarten. Diese Hardware-Konfiguration reduzierte die Trainingsdauer von Wochen auf etwa fünf bis sechs Tage.

Das Netz wurde auf der ImageNet-Datenbank (Deng, Fei-Fei u. a. 2009; etwa 1,2 Millionen Trainingsbilder in 1000 Kategorien) trainiert. Es übertraf die damaligen klassischen Computer-Vision-Verfahren – überwiegend basierend auf handgefertigten Merkmalsextraktoren wie SIFT und HOG – um eine in der Disziplin bis dahin nicht beobachtete Größenordnung.

Die Sieger-Präsentation am 30. September 2012 in Florenz gilt in der Sekundärliteratur als der Moment, an dem Deep Learning von einer akademischen Randposition zum dominanten Paradigma der Computer Vision wurde.

Die Folge waren die rasche Übernahme der CNN-basierten Bildverarbeitung durch Google, Facebook, Microsoft und Baidu in den Jahren 2012–2014 sowie die Übernahme von Hintons Startup DNNresearch (mit Krizhevsky und Sutskever) durch Google im März 2013.

Architektur

AlexNet besteht aus acht trainierbaren Schichten – fünf konvolutionellen und drei voll verbundenen – mit der folgenden Struktur:

Eingabeschicht: 224 × 224 × 3 RGB-Bild (in der Originalpublikation, Krizhevsky u. a. 2012; die tatsächlich verwendeten Eingabebilder waren nach Korrekturen in späteren Implementierungen 227 × 227 × 3).

Konvolutionelle Schichten 1–5: Filtergrößen 11×11, 5×5 und 3×3 (Krizhevsky u. a. 2012), mit dazwischen liegenden Max-Pooling-Schichten und lokaler Antwortnormalisierung. Die Schichten sind über zwei GPUs verteilt – eine architekturelle Eigenheit, die durch den damaligen Speicher-Engpass der einzelnen NVIDIA GTX 580 (3 GB) erzwungen wurde und die das Modell faktisch in zwei parallele Pfade aufteilte, die in bestimmten Schichten Information austauschten.

Voll verbundene Schichten 6–8: Zwei verborgene Schichten mit jeweils 4096 Neuronen und einer Ausgabeschicht mit 1000 Neuronen (entsprechend den 1000 ImageNet-Kategorien), abgeschlossen durch eine Softmax-Funktion.

ReLU-Aktivierung: Statt der damals üblichen Tanh- oder Sigmoid-Funktionen verwendet AlexNet Rectified Linear Units (ReLU) – eine Wahl, die das Training nach Krizhevsky/Sutskever/Hinton (2012) um den Faktor sechs beschleunigte und die seither die dominante Aktivierungsfunktion in tiefen Netzen ist.

Dropout-Regularisierung: In den voll verbundenen Schichten 6 und 7 wird die Dropout-Technik (Hinton u. a. 2012, Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors) angewandt – pro Trainingsiteration werden zufällig 50 % der Neuronen deaktiviert. Dies reduziert Overfitting bei der hohen Parameteranzahl.

Data Augmentation: Während des Trainings werden die Eingabebilder durch zufällige Beschnitte, Spiegelungen und Farbveränderungen vervielfältigt – ein Verfahren, das die effektive Größe des Trainingsdatensatzes erheblich erhöht.

Training und Ergebnisse

Das Training erfolgte mit Stochastic Gradient Descent mit Momentum (0,9) und einer Anfangs-Lernrate von 0,01, die manuell reduziert wurde, wenn die Validierungsgenauigkeit stagnierte. Das vollständige Training auf den 1,2 Millionen ImageNet-Bildern (Krizhevsky u. a. 2012) dauerte fünf bis sechs Tage auf den zwei GTX-580-Karten.

Die ILSVRC-2012-Ergebnisse: AlexNet erreichte eine Top-5-Fehlerrate von 15,3 % gegenüber 26,2 % des zweitplatzierten Verfahrens (ISI Tokyo, basierend auf SIFT-Features und Fisher Vectors; Krizhevsky u. a. 2012).

Die Top-1-Fehlerrate lag bei 37,5 % (Krizhevsky u. a. 2012). Diese Differenz von etwa zehn Prozentpunkten wurde von der Computer-Vision-Community als außerordentlich wahrgenommen, weil die jährlichen Verbesserungen in den Vorjahren typischerweise im niedrigen einstelligen Bereich gelegen hatten.

Vorgeschichte und ideengeschichtliche Einordnung

Yann LeCuns CNN-Tradition

AlexNet ist architekturell eine direkte Erweiterung der von Yann LeCun seit 1989 entwickelten Convolutional Neural Networks.

LeNet-5 (LeCun u. a. 1998, Gradient-Based Learning Applied to Document Recognition) ist die kanonische Frühform der CNN-Architektur, die bereits in den 1990er Jahren produktiv für die Erkennung handgeschriebener Ziffern auf US-Bankautomaten eingesetzt wurde. Die Skalierung von LeNet-5 (sieben Schichten, etwa 60.000 Parameter; LeCun u. a. 1998) auf AlexNet (acht Schichten, etwa 60 Millionen Parameter; Krizhevsky u. a. 2012) ist eine Vergrößerung um drei Größenordnungen.

GPUs und Cresceptron

Die Nutzung von GPUs für das Training neuronaler Netze war 2012 nicht neu. Daniel Cireşan, Ueli Meier und Jürgen Schmidhuber an der IDSIA in Lugano hatten 2011 in der Arbeit Flexible, High Performance Convolutional Neural Networks for Image Classification (IJCAI 2011) gezeigt, dass GPU-trainierte CNNs auf kleineren Bilddatensätzen die damaligen Bestmarken übertreffen konnten.

Diese Vorarbeit ist in der Sekundärliteratur (und von Jürgen Schmidhuber selbst wiederholt) als wichtige Vorform betont worden.

AlexNets Beitrag liegt darin, diese Methodik auf die ungleich größere ImageNet-Datenbank zu skalieren und damit den breiten Wirkungsdurchbruch zu erzielen.

Ideengeschichtlich noch weiter zurück: Fukushimas Neocognitron (1980) ist die japanische Vorgängerarchitektur (Kunihiko Fukushima, Biological Cybernetics 36 [4], 1980), die bereits die Grundideen hierarchischer Merkmalsextraktion durch konvolutionelle und Pooling-Schichten enthielt – ohne die heute zentrale Backpropagation-Trainingsmethode.

Folgen und Wirkungsgeschichte

Akademisch-industrielle Rezeption

Die ILSVRC-2012-Ergebnisse lösten innerhalb von Monaten eine umfassende Neuorientierung der Computer-Vision-Forschung aus. Bis Mitte 2013 waren in praktisch allen führenden Computer-Vision-Konferenzen (CVPR, ICCV, ECCV) deep learning-basierte Verfahren dominant; die klassischen Pipeline-Ansätze (SIFT/HOG plus Klassifikator) wurden binnen weniger Jahre weitgehend verdrängt.

Industrielle Übernahmen

Im Dezember 2012 gründeten Hinton, Krizhevsky und Sutskever das Unternehmen DNNresearch Inc., das im März 2013 in einer Auktion von Google übernommen wurde – laut zeitgenössischer Berichterstattung gegen Konkurrenzgebote von Microsoft, Baidu und einer weiteren chinesischen Firma.

Hinton trat anschließend bei Google ein, Sutskever ebenso (er war später Mitgründer und Chief Scientist von OpenAI ab 2015). Diese Übernahme markiert den Beginn einer industriellen Konkurrenz um Spitzen-KI-Forscher:innen, die bis in die 2020er Jahre den akademischen Arbeitsmarkt der KI-Forschung wesentlich strukturiert.

Folgearchitekturen

Auf AlexNet folgten innerhalb weniger Jahre eine Reihe substantieller Architekturen, die jeweils die Tiefe und Leistungsfähigkeit erhöhten. Dazu zählen VGGNet (Simonyan/Zisserman 2014, Oxford), GoogLeNet/Inception (Szegedy u. a. 2014, Google), ResNet (He u. a. 2015, Microsoft Research, mit Residual Connections zur Lösung des Vanishing-Gradient-Problems in sehr tiefen Netzen), DenseNet, EfficientNet und weitere.

Diese Sequenz mündete in den späten 2010er Jahren in die Erkenntnis, dass die Transformer-Architektur (Vaswani u. a. 2017) auch für Bildverarbeitung anwendbar ist (Vision Transformer, Dosovitskiy u. a. 2020), womit die ausschließliche Dominanz der CNN-Architektur partiell zurücktrat.

Open-Source-Veröffentlichung

Hinton, Krizhevsky und Sutskever haben den AlexNet-Code im Herbst 2012 unter Open-Source-Lizenz veröffentlicht (cuda-convnet, später cuda-convnet2). Diese Veröffentlichung wird in der Sekundärliteratur regelmäßig als wichtige Bedingung der schnellen wissenschaftlichen Reproduzierbarkeit und Verbreitung genannt.

Der ursprüngliche, tatsächlich für das ILSVRC-2012-Training verwendete Quellcode war davon zu unterscheiden und blieb länger unveröffentlicht: Erst am 20. März 2025 machten das Computer History Museum (CHM) und Google – nach einer rund fünfjährigen Verhandlung eines von David Bieber geleiteten Google-Teams mit dem CHM – diesen historischen Original-Quellcode öffentlich zugänglich.

Google-DeepMind-Chefwissenschaftler Jeff Dean bezeichnete den Code als Grundlage der Arbeit, „die das Feld der Computer Vision revolutionierte”.

Einordnung

In AlexNet laufen mehrere Entwicklungslinien zusammen:

Personell verbindet AlexNet Geoffrey Hinton (Senior-Autor), Ilya Sutskever (Mit-Autor, später OpenAI-Mitgründer) und Alex Krizhevsky (Erst-Autor) mit der Forschungsgemeinschaft an der University of Toronto und führt über die DNNresearch-Übernahme 2013 zu Google.

Technisch setzt AlexNet die Convolutional Neural Networks-Tradition Yann LeCuns fort, nutzt Backpropagation als Trainingsmethode, erlernt durch Distributed Representations visuelle Merkmale in den verborgenen Schichten und wendet die Dropout-Regularisierung erstmals in einer breit wirkmächtigen Architektur an.

Wirkungsgeschichtlich ist AlexNet der empirische Auslöser des seitherigen Deep-Learning-Booms. Im weiteren Zusammenhang ist sie damit eine zentrale Voraussetzung der heutigen LLM-Landschaft – ohne den 2012er Durchbruch wäre die rasante Skalierung der 2010er Jahre, die zu GPT-, Claude-, Gemini– und Llama-Architekturen führte, nicht in dieser Form zustandegekommen.

Industriell markiert die DNNresearch-Übernahme 2013 den Beginn der industriellen Aneignung der akademischen Deep-Learning-Forschung – eine Bewegung, die mit der TESCREAL-Debatte (Gebru/Torres 2024) und der Frage des Verhältnisses von kommerzieller Frontier-Lab-Forschung und akademischer Mitsprache verbunden ist.

Kritik und Nachträge

Substantielle Kritik und Nachträge:

Priorität gegenüber Cireşan/Schmidhuber: Jürgen Schmidhuber hat in mehreren Stellungnahmen wiederholt darauf hingewiesen, dass die GPU-Implementierung von CNNs und ihre Anwendung auf Bildklassifikation in seiner Arbeitsgruppe (insbesondere durch Cireşan, Meier, Schmidhuber 2011) vor AlexNet publiziert wurde.

Diese Priorität wird in der Sekundärliteratur überwiegend anerkannt; gleichzeitig wird AlexNets Bedeutung in der Verbindung von Methodik mit dem skalierungsentscheidenden ImageNet-Datensatz und mit der medialen Wirkung der ILSVRC-2012-Niederlage der klassischen Verfahren gesehen.

Reproduzierbarkeitsfragen: Die genaue Architektur der ursprünglichen AlexNet-Implementierung weicht in einigen Details (insbesondere der Eingabebildgröße: 224 vs. 227 Pixel) von den späteren standardisierten Implementierungen ab, was in der Sekundärliteratur diskutiert wird.

Critical AI Studies: Aus der Tradition der kritischen AI-Studies (Crawford 2021, Atlas of AI; Gebru u. a.) ist die ImageNet-Datenbank selbst – auf der AlexNet trainiert wurde – Gegenstand substantieller Kritik.

Die Klassifikations-Taxonomie umfasste Kategorien mit problematischen rassischen, geschlechtlichen und sozialen Konnotationen, die teils nachträglich (insbesondere durch das Excavating AI-Projekt, Crawford/Paglen 2019) öffentlich gemacht und teilweise aus der Datenbank entfernt wurden. Diese Kritik adressiert nicht die AlexNet-Architektur als solche, sondern die epistemischen und ethischen Implikationen des für ihre Validierung verwendeten Datensatzes.

Verwandte Begriffe

• Convolutional Neural Networks (CNNs) – Architekturklasse
• Ilya Sutskever – Mit-Autor, später OpenAI-Mitgründer
• Distributed Representations – verwandtes Konzept

Quellenangaben

1. Cireşan, Dan C. / Meier, Ueli / Masci, Jonathan / Gambardella, Luca Maria / Schmidhuber, Jürgen, 2011. Flexible, High Performance Convolutional Neural Networks for Image Classification. In: Proceedings of the 22nd International Joint Conference on Artificial Intelligence (IJCAI 2011), S. 1237–1242.
2. Computer History Museum, 2025. CHM Makes AlexNet Source Code Available to the Public. Pressemitteilung, 20. März 2025.
3. Crawford, Kate / Paglen, Trevor, 2019. Excavating AI: The Politics of Images in Machine Learning Training Sets. In: AI & Society (2021) 36, S. 1105–1116. DOI: 10.1007/s00146-021-01162-8.
4. Deng, Jia / Dong, Wei / Socher, Richard / Li, Li-Jia / Li, Kai / Fei-Fei, Li, 2009. ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), S. 248–255. DOI: 10.1109/CVPR.2009.5206848.
5. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
6. Fukushima, Kunihiko, 1980. Neocognitron: A Self-Organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position. In: Biological Cybernetics 36 (4), S. 193–202. DOI: 10.1007/BF00344251.
7. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
8. Hahnloser, Richard H. R. / Sarpeshkar, Rahul / Mahowald, Misha A. / Douglas, Rodney J. / Seung, H. Sebastian, 2000. Digital Selection and Analogue Amplification Coexist in a Cortex-Inspired Silicon Circuit. In: Nature 405 (6789), S. 947–951. DOI: 10.1038/35016072.
9. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
10. Hinton, Geoffrey E. / Srivastava, Nitish / Krizhevsky, Alex / Sutskever, Ilya / Salakhutdinov, Ruslan, 2012. Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors. arXiv: 1207.0580.
11. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
12. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2017. ImageNet Classification with Deep Convolutional Neural Networks. In: Communications of the ACM 60 (6), S. 84–90. DOI: 10.1145/3065386.
13. LeCun, Yann u. a., 1989. Backpropagation Applied to Handwritten Zip Code Recognition. In: Neural Computation 1 (4), S. 541–551. DOI: 10.1162/neco.1989.1.4.541.
14. LeCun, Yann / Bottou, Léon / Bengio, Yoshua / Haffner, Patrick, 1998. Gradient-Based Learning Applied to Document Recognition. In: Proceedings of the IEEE 86 (11), S. 2278–2324. DOI: 10.1109/5.726791.
15. Nair, Vinod / Hinton, Geoffrey E., 2010. Rectified Linear Units Improve Restricted Boltzmann Machines. In: Proceedings of the 27th International Conference on Machine Learning (ICML 2010), S. 807–814.
16. Russakovsky, Olga u. a., 2015. ImageNet Large Scale Visual Recognition Challenge. In: International Journal of Computer Vision 115 (3), S. 211–252. DOI: 10.1007/s11263-015-0816-y.
17. Schmidhuber, Jürgen, 2015. Deep Learning in Neural Networks: An Overview. In: Neural Networks 61, S. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
18. Simonyan, Karen / Zisserman, Andrew, 2015. Very Deep Convolutional Networks for Large-Scale Image Recognition. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). Zuerst erschienen als Preprint arXiv: 1409.1556, September 2014.
19. Szegedy, Christian u. a., 2014. Intriguing Properties of Neural Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2014). arXiv: 1312.6199.
20. Szegedy, Christian u. a., 2015. Going Deeper with Convolutions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2015), S. 1–9. DOI: 10.1109/CVPR.2015.7298594.
21. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht