URWORTE

Blog

7. August 2026

Künstliche Neuronale Netze

Künstliche Neuronale Netze (englisch artificial neural networks, kurz KNN oder ANN; oft schlicht Neuronale Netze genannt) bezeichnen eine Familie von Berechnungsmodellen des maschinellen Lernens, die in ihrer Grundstruktur an die Verschaltung biologischer Neuronen angelehnt sind.

Sie bestehen aus einer Vielzahl miteinander verbundener, einfacher Recheneinheiten – den künstlichen Neuronen –, die durch gewichtete Verbindungen Eingaben weiterleiten, summieren und über eine nichtlineare Aktivierungsfunktion in Ausgaben überführen.

Die mathematische Grundform geht auf das 1943 von Warren S. McCulloch und Walter Pitts publizierte Modell A Logical Calculus of the Ideas Immanent in Nervous Activity (Bulletin of Mathematical Biophysics 5) zurück.

Die heute praktisch relevante Form lernfähiger mehrschichtiger Netze entstand dagegen in mehreren Wellen: über die Perzeptron-Arbeiten Frank Rosenblatts (ab 1958), die konnektionistische Wende der 1980er Jahre und den Deep-Learning-Durchbruch ab 2006/2012.

Zusammenfassung

Künstliche Neuronale Netze sind das technische Substrat praktisch aller heutigen leistungsfähigen Systeme des maschinellen Lernens – von Bilderkennung über Spracherkennung und maschinelle Übersetzung bis zu großen Sprachmodellen.

Ein Neuronales Netz besteht aus Neuronen (oder Einheiten), die in Schichten organisiert sind, und gewichteten Verbindungen zwischen ihnen.

Jede Einheit berechnet eine gewichtete Summe ihrer Eingaben und gibt das Ergebnis durch eine nichtlineare Aktivierungsfunktion an die nächste Schicht weiter. Das Lernen eines Netzes besteht in der schrittweisen Anpassung der Gewichte auf der Grundlage von Trainingsdaten – typischerweise durch Backpropagation (Rumelhart, Hinton, Williams 1986) und gradientenbasierte Optimierungsverfahren wie Stochastic Gradient Descent oder Adam.

Die heutige Forschungslandschaft unterscheidet eine Reihe von Architekturklassen:

Die Begriffsgeschichte ist von mehrfachen Aufschwüngen und Abschwüngen geprägt – zwei sogenannte AI Winter (frühe 1970er, späte 1980er) folgten auf Phasen optimistischer Erwartungen – bevor mit dem Deep-Learning-Durchbruch ab 2012 die dominante Stellung erreicht wurde.

Begriffsgeschichte

Frühe Modelle (1943–1958)

Die ideengeschichtliche Erstformulierung künstlicher Neuronen erfolgte 1943 durch den Neurophysiologen Warren S. McCulloch und den Logiker Walter Pitts: Sie modellierten Neuronen als binäre Schwellwert-Einheiten und zeigten, dass ein hinreichend großes Netz solcher Einheiten beliebige aussagenlogische Funktionen berechnen kann.

Donald Hebb formulierte 1949 in The Organization of Behavior die später Hebb’sche Lernregel genannte Grundannahme, dass synaptische Verbindungen sich verstärken, wenn die verbundenen Neuronen zeitlich korreliert aktiv sind – eine Grundlage späterer Lernalgorithmen.

Frank Rosenblatt entwickelte ab 1958 am Cornell Aeronautical Laboratory das Perzeptron – ein lernfähiges einschichtiges Netz, das einfache lineare Klassifikationsaufgaben durch automatische Gewichtsanpassung lösen konnte. Das Perzeptron wurde 1960 als spezialisierte Maschine Mark I Perceptron implementiert und löste eine erste Welle öffentlichen Interesses an neuronalen Berechnungsmodellen aus.

Erster AI Winter und konnektionistische Wende

1969 publizierten Marvin Minsky und Seymour Papert das einflussreiche Buch Perceptrons, in dem sie die formalen Grenzen einschichtiger Netze nachwiesen – insbesondere die Unfähigkeit, die XOR-Funktion zu lernen. In Verbindung mit anderen Faktoren (eingeschränkte Rechenleistung, übersteigerte Erwartungen) trug dies zur ersten Phase reduzierten Förderinteresses bei, dem ersten AI Winter.

Die Wiederbelebung erfolgte in den 1980er Jahren durch die Parallel Distributed Processing Group an der University of California, San Diego (David Rumelhart, James McClelland, Geoffrey Hinton, Paul Smolensky und andere). Die 1986 in Nature publizierte Arbeit Learning Representations by Back-Propagating Errors von Rumelhart, Hinton und Williams etablierte den Backpropagation-Algorithmus als praktikable Methode des Trainings mehrschichtiger Netze.

Der Backpropagation-Algorithmus selbst wurde mehrfach unabhängig erfunden – die heute zumeist zitierten Urheberschaften sind Seppo Linnainmaa (1970, finnischsprachige Masterarbeit) und Paul Werbos (1974, Harvard-Dissertation). Die 1986er Arbeit von Rumelhart, Hinton und Williams ist dagegen die für die Verbreitung in der KI-Forschung entscheidende Publikation.

In dieser Phase entstanden zentrale Architekturklassen:

Zweiter AI Winter (späte 1980er–frühe 2000er)

Trotz dieser methodischen Fortschritte stagnierte die praktische Anwendung mehrschichtiger Netze in den 1990er Jahren aus mehreren Gründen:

Deep-Learning-Renaissance (ab 2006)

Hintons 2006er Arbeit A Fast Learning Algorithm for Deep Belief Nets (mit Osindero und Teh, Neural Computation 18) führte das Verfahren des schichtweisen Vortrainings durch Restricted Boltzmann Machines ein und ermöglichte erstmals praktisch erfolgreiches Training tiefer Netze.

Der eigentliche Durchbruch erfolgte 2012, als Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton mit AlexNet die ImageNet-Klassifikations-Challenge mit deutlichem Vorsprung gewannen. Seitdem sind tiefe neuronale Netze die dominante Methode der Künstlichen Intelligenz.

Aufbau und Funktionsweise

Das künstliche Neuron

Ein künstliches Neuron erhält n numerische Eingaben x₁, …, xₙ. Es berechnet zunächst eine gewichtete Summe dieser Eingaben mit Gewichten w₁, …, wₙ und einem Bias-Term b:

z = w₁x₁ + w₂x₂ + … + wₙxₙ + b

Anschließend wendet es eine Aktivierungsfunktion σ auf diese Summe an, um die Ausgabe y = σ(z) zu erhalten. Übliche Aktivierungsfunktionen sind die Rectified Linear Unit (ReLU: σ(z) = max(0, z)), die Sigmoid-Funktion, die Tangens hyperbolicus-Funktion (tanh) und ihre Varianten wie Leaky ReLU, GELU oder Swish.

Die Nichtlinearität der Aktivierungsfunktion ist entscheidend: Ohne sie könnte ein mehrschichtiges Netz nur lineare Funktionen darstellen und wäre nicht ausdrucksstärker als ein einschichtiges Netz.

Schichtenstruktur

Künstliche Neuronen sind typischerweise in Schichten organisiert: eine Eingabeschicht, in der die Daten in das Netz eingespeist werden, eine oder mehrere verborgene Schichten (englisch hidden layers), in denen die eigentliche Berechnung erfolgt, und eine Ausgabeschicht, die das Ergebnis erzeugt.

Die Bezeichnung tiefes Netz (deep network) bezieht sich auf Architekturen mit vielen verborgenen Schichten – Größenordnungen reichen von wenigen Schichten in klassischen Modellen bis zu hunderten oder tausenden Schichten in modernen Frontier-Modellen.

Universelle Approximation

Ein zentrales theoretisches Resultat ist der Universalapproximationssatz (Cybenko 1989, Hornik 1991): Ein Feedforward-Netz mit einer hinreichend großen einzigen verborgenen Schicht kann jede stetige Funktion auf einem kompakten Definitionsbereich mit beliebiger Genauigkeit approximieren.

Der Satz garantiert die theoretische Repräsentationsfähigkeit, sagt aber nichts über die Lernbarkeit, Trainingseffizienz oder Generalisierungsfähigkeit aus – Aspekte, die in der Praxis durch die Architekturwahl, Trainingsmethode und Datenmenge bestimmt werden.

Training: Backpropagation und gradientenbasierte Optimierung

Das Lernen eines neuronalen Netzes besteht in der schrittweisen Anpassung der Gewichte, sodass eine Verlustfunktion (typisch die mittlere quadratische Abweichung für Regression oder die Cross-Entropy für Klassifikation) auf den Trainingsdaten möglichst gering wird.

Die zentrale Trainingsmethode ist Backpropagation (Rumelhart, Hinton, Williams 1986): Sie berechnet die partiellen Ableitungen der Verlustfunktion nach jedem Gewicht durch rückwärtige Anwendung der Kettenregel der Differentialrechnung. Die so gewonnenen Gradienten werden in einem Optimierungsverfahren – typisch Stochastic Gradient Descent mit Momentum oder Adam (Kingma/Ba 2014) – zur Aktualisierung der Gewichte verwendet.

Generalisierung und Regularisierung

Ein zentrales Anliegen ist die Generalisierung: Das Netz soll nicht nur die Trainingsdaten korrekt verarbeiten, sondern auch auf neuen Daten gut funktionieren.

Gegen Overfitting (Überanpassung an die Trainingsdaten) werden Regularisierungstechniken eingesetzt: L1- und L2-Regularisierung der Gewichte, Early Stopping, Dropout (Hinton u. a. 2012), Datenanreicherung (data augmentation) und Normalisierungstechniken wie Batch Normalization (Ioffe/Szegedy 2015) und Layer Normalization.

Architekturklassen

Feedforward Networks (Multilayer Perceptrons)

Die einfachste Form sind voll verbundene Feedforward-Netze, in denen jede Einheit einer Schicht mit allen Einheiten der nächsten Schicht verbunden ist. Sie sind die kanonische Grundform und Bestandteil komplexerer Architekturen.

Convolutional Neural Networks (CNNs)

Convolutional Neural Networks, ab 1989 von Yann LeCun entwickelt, sind biologisch durch den visuellen Cortex inspiriert und für räumlich strukturierte Daten – insbesondere Bilder – optimiert. Sie nutzen Konvolutionsschichten, die mit lernbaren Filtern translationsinvariant Merkmale extrahieren, in Kombination mit Pooling-Schichten.

LeCuns LeNet-5 (1998) ist die kanonische Frühform; AlexNet (Krizhevsky/Sutskever/Hinton 2012) markiert den Durchbruch in der breiten Anwendung; ResNet (He u. a. 2015) löste durch Residual Connections das Problem der Trainierbarkeit sehr tiefer Netze.

Recurrent Neural Networks (RNNs)

Recurrent Neural Networks verarbeiten Sequenzdaten, indem sie die Aktivierung einer Schicht zum nächsten Zeitschritt in dieselbe Schicht zurückführen – sie haben damit einen internen Zustand, der Informationen über vorausgehende Sequenzelemente trägt.

Klassische RNNs leiden am Vanishing-Gradient-Problem über lange Sequenzen; Long Short-Term Memory (LSTM, Hochreiter/Schmidhuber 1997) und Gated Recurrent Units (GRU, Cho u. a. 2014) adressieren dies durch spezielle Gating-Mechanismen. RNNs dominierten die NLP-Forschung von etwa 2010 bis 2017.

Transformer

Die 2017 von Ashish Vaswani und Kollegen bei Google in Attention Is All You Need (NeurIPS 2017) eingeführte Transformer-Architektur ersetzt die rekurrente Sequenzverarbeitung durch Self-Attention-Mechanismen, die alle Sequenzpositionen parallel verarbeiten und Beziehungen zwischen ihnen lernen.

Transformer sind die Grundlage praktisch aller heutigen großen Sprachmodelle (GPT, Claude, Gemini, Llama) und haben seit 2020 auch in der Computer Vision (Vision Transformer, Dosovitskiy u. a. 2020) substantielle Bedeutung gewonnen.

Generative Modellklassen

Mehrere generative Architekturklassen ermöglichen die Erzeugung neuer Datenpunkte aus gelernten Verteilungen:

Generative Adversarial Networks (GANs, Goodfellow u. a. 2014) bestehen aus einem Generator-Netz und einem Diskriminator-Netz, die in einem adversarialen Spiel gegeneinander trainiert werden.

Variational Autoencoders (VAEs, Kingma/Welling 2013) modellieren die Datenverteilung über einen probabilistischen Latent-Variable-Ansatz.

Diffusionsmodelle (Ho u. a. 2020) lernen die Umkehrung eines Rauschprozesses und sind Grundlage moderner Bildgenerierungssysteme (DALL·E, Stable Diffusion, Midjourney).

Weitere Klassen

Zu den weiteren relevanten Klassen zählen:

Anwendungen

Künstliche Neuronale Netze sind seit etwa 2015 in praktisch allen technologischen Anwendungsfeldern präsent:

Beziehung zu biologischen neuronalen Netzen

Trotz ihrer namensgebenden Anlehnung an biologische Neuronen sind künstliche Neuronale Netze als Modelle des Gehirns nur sehr begrenzt aussagekräftig.

Biologische Neuronen sind weitaus komplexer (kontinuierliche statt diskreter Signale, komplexe dendritische Berechnungen, eine Vielzahl von Neurotransmittern, modulatorische und neurochemische Einflüsse, plastische morphologische Veränderungen), und biologisches Lernen erfolgt nicht offensichtlich durch einen Mechanismus, der der Backpropagation entspricht (Crick 1989).

Innerhalb der computationalen Neurowissenschaft werden eigene Modellklassen – Predictive Coding (Rao/Ballard 1999), Feedback Alignment (Lillicrap u. a. 2016), Equilibrium Propagation (Scellier/Bengio 2017), Hintons Forward-Forward Algorithm (2022) – als biologisch plausiblere Alternativen diskutiert.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Theoretische Unschärfe: Trotz der erheblichen empirischen Erfolge bleibt das theoretische Verständnis begrenzt. Warum sehr große Netze trotz Überparametrisierung gut generalisieren (Double-Descent-Phänomen, Belkin u. a. 2019), wie sie ihre internen Repräsentationen organisieren und welche Aufgaben sie nicht zuverlässig lösen können, sind aktive Forschungsfragen.

Interpretierbarkeit: Tiefe Netze mit Millionen oder Milliarden Parametern sind in ihrem internen Funktionieren schwer nachzuvollziehen. Die Forschungslinien der Explainable AI (XAI) und Mechanistic Interpretability befassen sich mit dieser Problematik, ohne sie bislang abschließend zu lösen.

Robustheit: Neuronale Netze sind anfällig für adversarial examples (Szegedy u. a. 2014) – kleine, gezielt konstruierte Manipulationen der Eingabedaten, die zu grob falschen Ausgaben führen können. Diese Anfälligkeit ist sowohl theoretisch als auch sicherheitsrelevant.

Bias und gesellschaftliche Folgen: Trainierte Netze reproduzieren systematisch die Verzerrungen ihrer Trainingsdaten (Buolamwini/Gebru 2018, Gender Shades). Diese Kritik betrifft nicht die Architektur, sondern die typischen Datenpraktiken und die soziale Einbettung der Verfahren.

Ressourcenverbrauch: Das Training großer Netze ist energie- und rechenintensiv. Strubell, Ganesh, McCallum (2019) haben die ökologischen Folgen erstmals systematisch quantifiziert.

Symbolisch-konnektionistische Kritik: Aus der hybriden Tradition (Gary Marcus The Algebraic Mind, 2001) wird argumentiert, dass neuronale Netze für statistische Mustererkennung gut geeignet seien, aber durch symbolische Komponenten ergänzt werden müssten, um robuste Reasoning-Fähigkeiten zu erlangen.

Stand 2025/2026

Künstliche Neuronale Netze sind im Verlauf der 2020er Jahre zur dominanten Technologie der Künstlichen Intelligenz geworden.

Die jüngere Forschung konzentriert sich auf große Sprach- und multimodale Modelle, Reasoning-Modelle mit längeren Berechnungswegen, agentische Systeme mit Werkzeuggebrauch, mechanistische Interpretierbarkeit, sicherheitsbezogene Evaluation und auf wissenschaftliche Anwendungen in Strukturbiologie, Materialwissenschaft und Klimatologie.

Parallel verstärken sich politisch-regulatorische Diskussionen (EU AI Act 2024, internationale AI Safety Reports) und Forschungsprogramme zu energieeffizienter und biologisch plausiblerer Architektur.

Die Modellgrößen wachsen dabei weiter: Anfang August 2026 stellte Alibaba mit Qwen3.8-Max ein Modell mit 2,4 Billionen Parametern vor (Mixture-of-Experts-Architektur mit rund 95 Milliarden aktiven Parametern pro Anfrage). Nach Unternehmensangaben ist das bis dahin größte Modell der Qwen-Familie ein Beleg dafür, dass das Parameter-Wachstum auch jenseits der US-amerikanischen Frontier-Labore anhält.

Verwandte Begriffe

Quellenangaben

  1. Ackley, David H. / Hinton, Geoffrey E. / Sejnowski, Terrence J., 1985. A Learning Algorithm for Boltzmann Machines. In: Cognitive Science 9 (1), S. 147–169. DOI: 10.1207/s15516709cog0901_7.
  2. Belkin, Mikhail / Hsu, Daniel / Ma, Siyuan / Mandal, Soumik, 2019. Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-Off. In: Proceedings of the National Academy of Sciences 116 (32), S. 15849–15854. DOI: 10.1073/pnas.1903070116.
  3. Breiman, Leo, 2001. Random Forests. In: Machine Learning 45 (1), S. 5–32. DOI: 10.1023/A:1010933404324.
  4. Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), Proceedings of Machine Learning Research 81, S. 77–91.
  5. Chen, Ricky T. Q. / Rubanova, Yulia / Bettencourt, Jesse / Duvenaud, David, 2018. Neural Ordinary Differential Equations. In: Advances in Neural Information Processing Systems 31 (NeurIPS 2018). arXiv: 1806.07366.
  6. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
  7. Cortes, Corinna / Vapnik, Vladimir, 1995. Support-Vector Networks. In: Machine Learning 20 (3), S. 273–297. DOI: 10.1007/BF00994018.
  8. Crick, Francis, 1989. The Recent Excitement About Neural Networks. In: Nature 337 (6203), S. 129–132. DOI: 10.1038/337129a0.
  9. Cybenko, George, 1989. Approximation by Superpositions of a Sigmoidal Function. In: Mathematics of Control, Signals, and Systems 2 (4), S. 303–314. DOI: 10.1007/BF02551274.
  10. Deutscher, Maria, 2026. Alibaba debuts Qwen3.8-Max model with 2.4T parameters. SiliconANGLE, 3. August 2026.
  11. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
  12. Freund, Yoav / Schapire, Robert E., 1997. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. In: Journal of Computer and System Sciences 55 (1), S. 119–139. DOI: 10.1006/jcss.1997.1504.
  13. Goodfellow, Ian / Pouget-Abadie, Jean / Mirza, Mehdi / Xu, Bing / Warde-Farley, David / Ozair, Sherjil / Courville, Aaron / Bengio, Yoshua, 2014. Generative Adversarial Nets. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 2672–2680. arXiv: 1406.2661.
  14. Goodfellow, Ian / Bengio, Yoshua / Courville, Aaron, 2016. Deep Learning.
  15. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
  16. Hebb, Donald O., 1949. The Organization of Behavior: A Neuropsychological Theory.
  17. Hinton, Geoffrey E. / Osindero, Simon / Teh, Yee-Whye, 2006. A Fast Learning Algorithm for Deep Belief Nets. In: Neural Computation 18 (7), S. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527.
  18. Hinton, Geoffrey E. / Srivastava, Nitish / Krizhevsky, Alex / Sutskever, Ilya / Salakhutdinov, Ruslan, 2012. Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors. arXiv: 1207.0580.
  19. Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
  20. Hochreiter, Sepp, 1991. Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Institut für Informatik, Technische Universität München.
  21. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
  22. Hopfield, John J., 1982. Neural Networks and Physical Systems with Emergent Collective Computational Abilities. In: Proceedings of the National Academy of Sciences 79 (8), S. 2554–2558. DOI: 10.1073/pnas.79.8.2554.
  23. Hornik, Kurt, 1991. Approximation Capabilities of Multilayer Feedforward Networks. In: Neural Networks 4 (2), S. 251–257. DOI: 10.1016/0893-6080(91)90009-T.
  24. Ioffe, Sergey / Szegedy, Christian, 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), S. 448–456. arXiv: 1502.03167.
  25. Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
  26. Kingma, Diederik P. / Welling, Max, 2013. Auto-Encoding Variational Bayes. In: Proceedings of the International Conference on Learning Representations (ICLR 2014). arXiv: 1312.6114.
  27. Kingma, Diederik P. / Ba, Jimmy, 2014. Adam: A Method for Stochastic Optimization. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1412.6980.
  28. Kipf, Thomas N. / Welling, Max, 2017. Semi-Supervised Classification with Graph Convolutional Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2017). arXiv: 1609.02907.
  29. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
  30. LeCun, Yann / Bottou, Léon / Bengio, Yoshua / Haffner, Patrick, 1998. Gradient-Based Learning Applied to Document Recognition. In: Proceedings of the IEEE 86 (11), S. 2278–2324. DOI: 10.1109/5.726791.
  31. Lillicrap, Timothy P. / Cownden, Daniel / Tweed, Douglas B. / Akerman, Colin J., 2016. Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning. In: Nature Communications 7, 13276. DOI: 10.1038/ncomms13276.
  32. McCulloch, Warren S. / Pitts, Walter, 1943. A Logical Calculus of the Ideas Immanent in Nervous Activity. In: Bulletin of Mathematical Biophysics 5 (4), S. 115–133. DOI: 10.1007/BF02478259.
  33. Minsky, Marvin / Papert, Seymour, 1969. Perceptrons: An Introduction to Computational Geometry. Cambridge, MA: MIT Press.
  34. Rao, Rajesh P. N. / Ballard, Dana H., 1999. Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects. In: Nature Neuroscience 2 (1), S. 79–87. DOI: 10.1038/4580.
  35. Rosenblatt, Frank, 1958. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. In: Psychological Review 65 (6), S. 386–408. DOI: 10.1037/h0042519.
  36. Rumelhart, David E. / Hinton, Geoffrey E. / Williams, Ronald J., 1986. Learning Representations by Back-Propagating Errors. In: Nature 323 (6088), S. 533–536. DOI: 10.1038/323533a0.
  37. Rumelhart, David E. / McClelland, James L. (Hrsg.), 1986. Parallel Distributed Processing: Explorations in the Microstructure of Cognition.
  38. Scarselli, Franco / Gori, Marco / Tsoi, Ah Chung / Hagenbuchner, Markus / Monfardini, Gabriele, 2009. The Graph Neural Network Model. In: IEEE Transactions on Neural Networks 20 (1), S. 61–80. DOI: 10.1109/TNN.2008.2005605.
  39. Scellier, Benjamin / Bengio, Yoshua, 2017. Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation. In: Frontiers in Computational Neuroscience 11, 24. DOI: 10.3389/fncom.2017.00024.
  40. Schmidhuber, Jürgen, 2015. Deep Learning in Neural Networks: An Overview. In: Neural Networks 61, S. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
  41. Szegedy, Christian u. a., 2014. Intriguing Properties of Neural Networks. In: Proceedings of the International Conference on Learning Representations (ICLR 2014). arXiv: 1312.6199.
  42. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht