Capsule Networks

Capsule Networks (deutsch Kapselnetzwerke; auch CapsNets) bezeichnen eine von Geoffrey E. Hinton und Mitarbeitenden in mehreren Schritten – 2011, 2017 und 2018 – vorgeschlagene neuronale Netzwerkarchitektur. In ihr geben Gruppen von Neuronen, die capsules, jeweils einen Vektor oder eine Matrix zur Repräsentation einer erkannten Entität aus.

Die Länge dieses Vektors kodiert die Existenzwahrscheinlichkeit der Entität, seine Orientierung deren Instantiierungsparameter: Pose, Lage, Verformung, Beleuchtung.

Die heute bekannteste Variante wurde 2017 von Sara Sabour, Nicholas Frosst und Hinton in dem NeurIPS-Beitrag Dynamic Routing Between Capsules (arXiv: 1710.09829) eingeführt; die Erweiterung mit EM-Routing folgte 2018 als ICLR-Beitrag Matrix Capsules with EM Routing (Hinton, Sabour, Frosst).

Zusammenfassung

Capsule Networks sind Hintons konzeptionell ambitionierter Versuch, eine zentrale Schwäche der seit AlexNet dominanten Convolutional Neural Networks (CNNs) zu adressieren: das Pooling-bedingte Verlieren räumlicher Beziehungsinformation.

Hinton hat seit den späten 2000er Jahren wiederholt argumentiert, dass die translationale Invarianz der heutigen CNN-Architekturen (durch Max-Pooling erzeugt) den falschen Generalisierungstyp implementiere – gefordert sei stattdessen Äquivarianz: Wenn sich das Eingangsbild transformiert, sollten sich die internen Repräsentationen in vorhersagbarer Weise mittransformieren, statt unverändert zu bleiben.

Diese Forderung wird in Capsule Networks operationalisiert, indem jede Kapsel die Pose (Position, Orientierung, Skalierung) ihrer detektierten Entität explizit kodiert. Das Routing-Verfahren – Dynamic Routing by Agreement (2017) bzw. EM-Routing (2018) – bestimmt, welche Kapsel einer unteren Schicht ihre Ausgabe an welche Kapsel der höheren Schicht weiterleitet, basierend auf der Übereinstimmung der Pose-Vorhersagen.

Trotz erheblicher konzeptioneller Originalität und prominenter Urheberschaft konnten Capsule Networks ihre experimentellen Ergebnisse auf großen Datensätzen (insbesondere ImageNet) nicht in dem Maße skalieren, das einer Ablösung der CNN- oder Transformer-Architekturen entsprochen hätte; in der Forschungs- und Industriepraxis blieben sie ein methodisch interessanter, aber praktisch begrenzt durchgesetzter Vorschlag.

Motivation und Vorgeschichte

Hintons Kritik am Pooling

Geoffrey Hinton hat seit etwa 2011 wiederholt öffentlich erklärt, dass das Pooling-Verfahren in CNNs „ein großer Fehler” sei (englisches Originalzitat: „The pooling operation used in convolutional neural networks is a big mistake and the fact that it works so well is a disaster”, Hinton 2014).

Die Kritik richtet sich gegen die Annahme, dass das Verwerfen exakter Positionsinformation durch Max-Pooling der richtige Weg zur Erzielung translationaler Invarianz sei. Aus Hintons Sicht ist Invarianz nicht das Ziel – gefordert ist Äquivarianz: Eine korrekte interne Repräsentation soll die räumlichen Beziehungen ihrer Bestandteile so kodieren, dass eine Transformation des Inputs eine vorhersagbare Transformation der Repräsentation erzeugt.

Transforming Autoencoders (2011)

Die erste Operationalisierung der Capsule-Idee findet sich in dem von Hinton, Alex Krizhevsky und Sida D. Wang publizierten Aufsatz Transforming Auto-Encoders (Hinton/Krizhevsky/Wang 2011, ICANN). Dort werden bereits Gruppen von Neuronen vorgeschlagen, die explizite Instantiierungsparameter ausgeben und sich kohärent unter Bildtransformationen verhalten. Der Begriff capsule in der heute geläufigen Form ist hier eingeführt.

Architektur und Funktionsweise

Kapseln als Vektorausgaben

In klassischen neuronalen Netzen gibt jedes Neuron einen Skalar aus. In Capsule Networks gibt eine Kapsel – bestehend aus mehreren Neuronen – einen Vektor aus.

Die Länge dieses Vektors wird durch eine Squash-Aktivierungsfunktion auf das Intervall [0, 1] beschränkt und repräsentiert die geschätzte Wahrscheinlichkeit, dass die Kapsel das ihr zugeordnete Konzept detektiert hat. Die Richtung des Vektors kodiert die Instantiierungsparameter (Pose, Beleuchtung, Verformung, Position) der detektierten Entität.

Dynamic Routing by Agreement (Sabour u. a. 2017)

Das Dynamic Routing by Agreement-Verfahren bestimmt, wie eine untere Kapsel ihre Ausgabe an die Kapseln der höheren Schicht weitergibt. Für jede untere Kapsel i und jede obere Kapsel j wird zunächst eine Vorhersage berechnet, wie die obere Kapsel aus Sicht der unteren aussehen sollte.

Die Routing-Koeffizienten cᵢⱼ werden iterativ angepasst (typischerweise drei Routing-Iterationen): Wenn die Vorhersage einer unteren Kapsel mit der tatsächlichen Ausgabe der oberen Kapsel übereinstimmt (agreement), wird der Koeffizient erhöht; bei Nichtübereinstimmung wird er reduziert. Das Verfahren ist eine Form von Routing by agreement und unterscheidet sich substantiell von der einfachen Vorwärtspropagation klassischer Netze.

Matrix Capsules mit EM-Routing (2018)

Die 2018 von Hinton, Sabour und Frosst in Matrix Capsules with EM Routing (ICLR 2018) vorgeschlagene Variante ersetzt die Vektor-Kapseln durch Matrix-Kapseln (mit zusätzlich getrennter Aktivierungs-Skalar) und das Dynamic-Routing-Verfahren durch ein Expectation-Maximization-Verfahren. Die Verbindungen zwischen Kapseln werden als Mischung von Gauß-Verteilungen modelliert, deren Parameter durch iteratives EM angepasst werden.

Anwendung auf MNIST und CIFAR-10

Die ursprüngliche 2017er Architektur (CapsNet) wurde auf der MNIST-Datenbank (handgeschriebene Ziffern) auf eine Fehlerrate von 0,25 % gebracht – ein damals führendes Ergebnis.

Die Architektur zeigte robuste Klassifikation überlappender Ziffern (MultiMNIST-Datensatz) und eine ausgeprägte Interpretierbarkeit der gelernten Aktivierungs-Vektoren: einzelne Vektor-Dimensionen kodieren systematisch Eigenschaften wie Strichstärke, Rotation oder Schräge der Ziffern. Auf CIFAR-10 erreichten Capsule Networks Ergebnisse, die zwar respektabel, aber nicht überlegen gegenüber damaligen CNN-Architekturen waren.

Einordnung

Capsule Networks sind ein eigenständiger Zweig in Hintons Werk. Sie verbinden:

• die AlexNet– und CNN-Tradition (als Gegenstand der Kritik),
• die Distributed Representations-Tradition (Kapseln als strukturierte verteilte Repräsentationen mit explizit kodierten Pose-Parametern),
• die historische Debatte um symbolische vs. konnektionistische Architekturen: Capsule Networks sind ein Versuch, ohne explizite symbolische Komponenten dennoch strukturierte, kompositionale Repräsentationen zu erzeugen,
• die heutige Geometric Deep Learning-Forschung (Bronstein u. a. 2017ff.), die die Äquivarianz-Idee in einem allgemeineren mathematischen Rahmen weiterführt.

Wirkungsgeschichtlich gilt Capsule Networks als prominentes Beispiel einer ambitionierten Innovation, die in der akademischen Diskussion erhebliche Aufmerksamkeit erfuhr, sich aber in der industriellen Praxis nicht gegen die parallel entwickelnden Transformer-Architekturen (Vaswani u. a. 2017) durchsetzen konnte.

Kritik und Limitationen

Substantielle Kritik richtet sich auf vier Linien:

Skalierungsschwierigkeiten: Capsule Networks konnten auf größeren Datensätzen wie ImageNet nicht die in der CNN-Literatur etablierten State-of-the-Art-Ergebnisse erreichen. Das Dynamic Routing-Verfahren ist iterativ und damit rechnerisch teurer als klassische Feedforward-Schichten; die Skalierung auf hochauflösende Bilder und tiefe Architekturen blieb experimentell unterentwickelt.

Theoretische Unschärfen des Routing-Verfahrens: Wang/Liu (2018, An Optimization View on Dynamic Routing Between Capsules) und weitere Arbeiten haben gezeigt, dass das ursprüngliche Routing-Verfahren formal nicht klar als Lösung eines Optimierungsproblems charakterisiert ist und in manchen Fällen nicht zu einer Verbesserung der Repräsentation gegenüber einfacheren Verfahren führt.

Wettbewerb durch Vision Transformer: Mit dem Aufkommen des Vision Transformer (Dosovitskiy u. a. 2020) ist die Frage der Pose-Sensitivität in einem alternativen Rahmen – über Attention-Mechanismen – adressiert worden, der sich in der Praxis breiter durchsetzt hat als Capsule Networks.

Geringe industrielle Adoption: In der Frontier-Lab-Forschung der späten 2010er und 2020er Jahre (Google DeepMind, OpenAI, Anthropic, Meta AI) spielen Capsule Networks praktisch keine Rolle. Hinton selbst hat in mehreren Interviews die ursprünglichen Erwartungen relativiert, ohne die zugrundeliegende Äquivarianz-Diagnose zurückzunehmen.

Stand 2025/2026

Capsule Networks sind im Verlauf der 2020er Jahre Gegenstand einer kontinuierlichen, aber zahlenmäßig begrenzten Forschungsaktivität geblieben. Varianten wie Efficient-CapsNet (Mazzia u. a. 2021), Group Capsule Networks (Lenssen u. a. 2018), Path Capsule Networks (Amer/Maul 2020) und Adaptionen auf 3D-Daten oder graphbasierte Strukturen erweitern das Konzept .

In der medizinischen Bildverarbeitung und in spezialisierten Computer-Vision-Domänen mit geringen Trainingsdatenmengen wird die Architektur teilweise weiter eingesetzt; in der allgemeinen Frontier-AI-Forschung bleibt sie eine Randposition.

Verwandte Begriffe

• Äquivarianz – zentrale konzeptuelle Forderung
• Dynamic Routing by Agreement – Verfahren 2017
• Convolutional Neural Networks (CNNs) – Bezugsfeld
• Deep Learning – übergeordneter Ansatz
• Max-Pooling – kritisierter Mechanismus
• Neuronale Netze – grundlegende Architektur
• Sara Sabour – Mit-Autorin 2017/2018
• Transforming Autoencoders – Vorgängerarbeit 2011

Quellenangaben

1. Amer, Mohammed / Maul, Tomás, 2020. Path Capsule Networks. In: Neural Processing Letters 52 (1), S. 545–559. DOI: 10.1007/s11063-020-10273-0.
2. Bronstein, Michael M. / Bruna, Joan / LeCun, Yann / Szlam, Arthur / Vandergheynst, Pierre, 2017. Geometric Deep Learning: Going Beyond Euclidean Data. In: IEEE Signal Processing Magazine 34 (4), S. 18–42. DOI: 10.1109/MSP.2017.2693418.
3. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
4. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
5. Hinton, Geoffrey E. / Sabour, Sara / Frosst, Nicholas, 2018. Matrix Capsules with EM Routing. In: Proceedings of the International Conference on Learning Representations (ICLR 2018).
6. Hinton, Geoffrey E. / Krizhevsky, Alex / Wang, Sida D., 2011. Transforming Auto-Encoders. In: Proceedings of the 21st International Conference on Artificial Neural Networks (ICANN 2011), S. 44–51. DOI: 10.1007/978-3-642-21735-7_6.
7. Hinton, Geoffrey E., 2014. Online-Diskussion: „The pooling operation used in convolutional neural networks is a big mistake.” Reddit AMA, 28. Februar 2014; mehrfach in Vorträgen wiederholt.
8. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
9. LeCun, Yann / Bottou, Léon / Bengio, Yoshua / Haffner, Patrick, 1998. Gradient-Based Learning Applied to Document Recognition. In: Proceedings of the IEEE 86 (11), S. 2278–2324. DOI: 10.1109/5.726791.
10. Lenssen, Jan Eric / Fey, Matthias / Libuschewski, Pascal, 2018. Group Equivariant Capsule Networks. In: Advances in Neural Information Processing Systems 31 (NeurIPS 2018), S. 8844–8853.
11. Mazzia, Vittorio / Salvetti, Francesco / Chiaberge, Marcello, 2021. Efficient-CapsNet: Capsule Network with Self-Attention Routing. In: Scientific Reports 11, 14634. DOI: 10.1038/s41598-021-93977-0.
12. Sabour, Sara / Frosst, Nicholas / Hinton, Geoffrey E., 2017. Dynamic Routing Between Capsules. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 3856–3866. arXiv: 1710.09829.
13. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
14. Wang, Dilin / Liu, Qiang, 2018. An Optimization View on Dynamic Routing Between Capsules. In: ICLR 2018 Workshop Track.

← Zurück zur Lexikon-Übersicht