Generative KI

Generative KI (englisch Generative AI, GenAI) bezeichnet jene Familie von Verfahren des maschinellen Lernens, die nicht zwischen bestehenden Klassen unterscheidet oder Werte vorhersagt. Stattdessen erzeugt sie neue Datenpunkte einer bestimmten Modalität – Text, Bild, Audio, Video, Code, Moleküle, dreidimensionale Strukturen –, die statistisch denen ähneln, auf denen sie trainiert wurde.

Generative Modelle werden vom diskriminativen oder klassifizierenden Lernen abgegrenzt: Ein diskriminatives Modell lernt die bedingte Verteilung p(Klasse | Eingabe). Ein generatives Modell modelliert dagegen die gemeinsame Verteilung p(Eingabe) oder die bedingte Verteilung p(Eingabe | Bedingung) und kann aus dieser Verteilung neue Samples ziehen.

Der Begriff hat seit der Veröffentlichung von ChatGPT im November 2022 und der parallelen Etablierung von Bild-Generatoren wie DALL·E 2, Midjourney und Stable Diffusion eine breite öffentliche und kommerzielle Bedeutung erhalten. Er gilt seither als die methodisch und wirtschaftlich folgenreichste Linie der zeitgenössischen KI-Entwicklung.

Zusammenfassung

Generative KI ist keine einzelne Technik, sondern eine Familie unterschiedlicher Modellarchitekturen mit gemeinsamem Ziel: die Erzeugung neuer Daten aus einer gelernten Verteilung.

Die heute dominanten Familien sind autoregressive Modelle (insbesondere Transformer-basierte große Sprachmodelle), Diffusionsmodelle (für Bild, Audio, Video), Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), Flow-Modelle und hybride multimodale Modelle.

Die Vorgeschichte reicht bis in die 1980er Jahre zurück – die Boltzmann-Maschine (Hinton/Sejnowski 1985) und die Helmholtz-Maschine (Hinton u. a. 1995) sind frühe konnektionistische Vorläufer.

Die heute prägende Phase begann jedoch erst mit drei Schlüsselarbeiten der Jahre 2013 und 2014: Variational Autoencoders (Kingma/Welling 2013), Generative Adversarial Networks (Goodfellow u. a. 2014) und Recurrent Neural Network Language Models in skalierbarer Form.

Die Skalierung erfolgte durch die Transformer-Architektur (Vaswani u. a. 2017) und die GPT-Reihe (Radford u. a. 2018–2023).

Anwendungsfelder umfassen Konversations-Assistenten (ChatGPT, Claude, Gemini), Bild-Generierung (DALL·E, Stable Diffusion, Midjourney, Imagen), Video-Generierung (Sora, Veo, Runway), Code-Assistenz (Copilot, Cursor, Claude Code), Audio-Synthese (Suno, Udio, ElevenLabs), Molekül-Design (RFdiffusion, Chai-1) und Protein-Strukturvorhersage (AlphaFold 2 und 3).

Zentrale Herausforderungen umfassen Halluzinationen, Trainingsdaten-Rechtsfragen, Energieverbrauch, Detektion synthetischer Inhalte und Sicherheits- und Alignment-Fragen.

Begriffsgeschichte

Vorgeschichte: konnektionistische Wurzeln (1980er–1990er Jahre)

Die Vorgeschichte generativer Modelle reicht bis in die Boltzmann-Maschinen-Forschung der 1980er Jahre zurück.

Die Boltzmann-Maschine (Hinton/Sejnowski 1985) und ihre Erweiterung Restricted Boltzmann Machines (Hinton 2002) lieferten erste konnektionistische Verfahren zur Modellierung von Wahrscheinlichkeitsverteilungen über binäre Datenvektoren. Die Helmholtz-Maschine (Hinton/Dayan/Frey/Neal 1995) und das Wake-Sleep-Verfahren legten Grundlagen für die spätere Variational-Autoencoder-Linie.

Im selben Zeitraum entwickelten sich die Recurrent Neural Network Language Models (Bengio u. a. 2003; Mikolov 2010) als Vorform der späteren autoregressiven Sprachmodelle. Sie modellierten die bedingte Wahrscheinlichkeit jedes Wortes gegeben des vorangegangenen Kontextes und konnten in begrenztem Umfang Text generieren.

Die methodische Wende 2013–2014

Drei konstitutive Arbeiten markieren den Übergang zur heutigen generativen KI:

Variational Autoencoders (Kingma/Welling, Auto-Encoding Variational Bayes, ICLR 2014, vorab arXiv 2013). VAEs verbinden eine probabilistische Latent-Variable-Modellierung mit der praktischen Trainierbarkeit neuronaler Netze durch den Reparametrization Trick. Sie wurden zur Grundlage zahlreicher späterer Modelle.

Generative Adversarial Networks (Goodfellow, Pouget-Abadie, Mirza, Xu, Warde-Farley, Ozair, Courville, Bengio, Generative Adversarial Nets, NeurIPS 2014). GANs etablierten das Trainingsparadigma zweier konkurrierender Netze – Generator und Diskriminator – und dominierten die Bild-Generierungsforschung bis zur Etablierung der Diffusionsmodelle.

Sequence to Sequence Learning with Neural Networks (Sutskever, Vinyals, Le, NeurIPS 2014). Dieser Beitrag etablierte die Architektur für Encoder-Decoder-basierte Generierungsaufgaben und prägte die spätere maschinelle Übersetzung und Textgenerierung.

Transformer und GPT-Linie (2017–2022)

Die wirkungsmächtigste Architektur der heutigen generativen KI ist der Transformer (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, Attention Is All You Need, NeurIPS 2017). Die Transformer-Architektur ersetzte die rekurrenten Verarbeitungsschritte der älteren RNN-Modelle durch Self-Attention und ermöglichte substantielle Skalierung.

Die GPT-Reihe (Generative Pre-trained Transformer) von OpenAI etablierte den Ansatz autoregressiver Sprachmodelle: GPT-1 (Radford u. a. 2018, 117 Mio. Parameter), GPT-2 (Radford u. a. 2019, 1,5 Mrd. Parameter), GPT-3 (Brown u. a. NeurIPS 2020, 175 Mrd. Parameter), GPT-4 (OpenAI 2023). Parallel entwickelten Google (BERT 2018, T5 2019, PaLM 2022, Gemini 2023), DeepMind (Gopher 2021, Chinchilla 2022) und Anthropic (Claude 2022ff.) eigene Modellreihen.

Bild-Generierung: GAN zu Diffusion (2014–2022)

Die Hauptlinie der Bild-Generierung wurde bis etwa 2020 durch GANs dominiert (DCGAN Radford u. a. 2015; StyleGAN Karras u. a. 2018ff.). Eine Verschiebung erfolgte mit der Etablierung der Denoising Diffusion Probabilistic Models (Ho/Jain/Abbeel, DDPM, NeurIPS 2020), die einen iterativen Entrauschungsprozess als generatives Verfahren formulierten.

Latent Diffusion Models (Rombach/Blattmann u. a. CVPR 2022) machten diese Methode rechentechnisch skalierbar und wurden zur Grundlage von Stable Diffusion (StabilityAI, August 2022).

Parallel veröffentlichte OpenAI DALL·E (Januar 2021) und DALL·E 2 (April 2022); Google publizierte Imagen (Mai 2022); Midjourney veröffentlichte sein gleichnamiges Produkt im Juli 2022. Diese Modelle etablierten die Verbindung von Text- und Bild-Modalitäten über CLIP-basierte Text-Encoder (Radford u. a. OpenAI 2021).

ChatGPT und die kommerzielle Massenwirkung (November 2022)

Am 30. November 2022 veröffentlichte OpenAI ChatGPT, einen auf GPT-3.5 basierenden Chat-Assistenten mit RLHF-Training.

ChatGPT erreichte in fünf Tagen eine Million Nutzer und in zwei Monaten 100 Millionen Nutzer – die schnellste Adoption einer Verbraucher-Anwendung in der dokumentierten Internet-Geschichte. Die Veröffentlichung markiert den methodischen Beginn der kommerziellen Massenwirkung generativer KI und löste eine breite öffentliche und regulatorische Diskussion aus.

Multimodale und agentische Erweiterungen (2023–2026)

Im Verlauf der Jahre 2023 bis 2026 wurde die Reichweite generativer KI erheblich erweitert:

Multimodalität: GPT-4V (September 2023), Gemini 1.5 (Februar 2024), Claude 3 (März 2024) und nachfolgende Modelle integrierten Bild-, Audio- und Video-Verarbeitung in die LLM-Architektur.

Video-Generierung: OpenAI Sora (Demo Februar 2024, Public Release Dezember 2024), Google Veo 2 (Dezember 2024) und Veo 3 (Mai 2025), Runway Gen-3 und Gen-4 etablierten die Skalierung auf zeitliche Generierungsaufgaben.

Reasoning-Modelle: OpenAI o1 (September 2024), DeepSeek R1 (Januar 2025), Claude 3.7 Sonnet (Februar 2025), Gemini 2.5 (März 2025), OpenAI o3 und o4 (2025) etablierten eine Erweiterung um interne Reasoning-Spuren vor der Antwortgenerierung.

Agentische Systeme: Generative Modelle wurden zunehmend als Komponenten autonomer Agenten eingesetzt, die mehrstufige Aufgaben planen und ausführen (Anthropic Computer Use Oktober 2024; OpenAI Operator Januar 2025; Claude Code, Cursor, Codex).

Neue Frontier-Modellgenerationen (2025–2026)

Im weiteren Verlauf wurde die Modell-Landschaft durch drei bedeutsame neue Generationen erweitert.

OpenAI veröffentlichte am 7. August 2025 GPT-5, das native Multimodalität, verbesserte agentische Fähigkeiten (autonome Browser- und Desktop-Nutzung) und ein „Safe-Completions”-Sicherheitsverfahren einführte.

CEO Sam Altman bezeichnete das Modell als „a significant step along the path to AGI”, während Fachpresse (MIT Technology Review) die tatsächliche Leistungssteigerung gegenüber vorherigen Reasoning-Modellen als eher inkrementell denn als Sprung einordnete.

Bis Mitte 2026 folgten mehrere Zwischenversionen (u. a. GPT-5.5, GPT-5.6). Google veröffentlichte am 18. November 2025 Gemini 3 mit einem „Deep Think”-Modus für komplexe Reasoning-Aufgaben und beanspruchte Bestwerte auf mehreren Benchmarks (u. a. 37,5 Prozent auf Humanity’s Last Exam ohne Werkzeugnutzung, 76,2 Prozent auf SWE-bench Verified).

Anthropic erweiterte die Claude-3-Reihe über Claude 4 und mehrere Claude-Opus-4.x-Versionen (Mai 2025 bis Mai 2026) bis zur Veröffentlichung von Claude Sonnet 5 am 30. Juni 2026 mit einem auf 1 Million Tokens erweiterten Kontextfenster. Stand August 2026 markieren diese drei Modellgenerationen die jeweils aktuellen Frontier-Angebote von OpenAI, Google und Anthropic.

Methodische Hauptlinien

Autoregressive Modelle

Dominant für Text-, Code- und teilweise multimodale Generierung. Das Modell sagt den nächsten Token aus dem bisherigen Kontext vorher; durch wiederholte Anwendung wird Text generiert. Die heutige Implementierung erfolgt fast ausschließlich über Transformer-Architekturen. Beispiele: GPT-Reihe, Claude, Gemini, Llama, Mistral, DeepSeek, Qwen.

Diffusionsmodelle

Dominant für Bild-, Video- und Audio-Generierung. Das Modell lernt, schrittweise verrauschte Versionen der Trainingsdaten zu entrauschen; zur Generierung wird vom Rauschen schrittweise zu einer realistischen Probe iteriert. Latent-Diffusion-Modelle führen den Prozess in einem komprimierten Latentraum aus. Beispiele: Stable Diffusion, GPT Image, Imagen, Flux, Sora, Veo.

Generative Adversarial Networks (GANs)

Zwei Netze konkurrieren: Ein Generator erzeugt Samples, ein Diskriminator versucht, sie von echten Daten zu unterscheiden. Wirkungsmächtig in der 2014er bis frühen 2020er Phase der Bild-Generierung, in der LLM-dominierten Gegenwart weniger zentral. Beispiele: DCGAN, StyleGAN, BigGAN, CycleGAN.

Variational Autoencoders (VAEs)

Probabilistische Latent-Variable-Modelle mit Encoder-Decoder-Struktur. Eigenständig, in heutigen Frontier-Modellen meist als Komponente komplexerer Architekturen (etwa Latent Diffusion). Beispiele: Vanilla VAE, β-VAE, VQ-VAE, Discrete VAEs.

Normalizing Flows und Energy-Based Models

Eigenständige Linien zur Modellierung von Wahrscheinlichkeitsverteilungen, in spezifischen Anwendungsdomänen (Molekülmodellierung, wissenschaftliche Simulationen) eingesetzt, in der allgemeinen Frontier-Modell-Landschaft weniger zentral.

Hybride und multimodale Architekturen

Heutige Frontier-Modelle kombinieren häufig mehrere Verfahren: Transformer-basierte Sprachmodelle mit Diffusions-basierten Bild-Decodern, oder integrierte multimodale Token-Räume. Die Entwicklung ging dabei von getrennten Bildmodellen zur Bilderzeugung im Sprachmodell selbst – OpenAI ersetzte im März 2025 den Aufruf von DALL·E 3 durch die native Bildausgabe von GPT-4o.

Anwendungsfelder

Konversations-Assistenten und Schreib-Hilfen

Die quantitativ wichtigste Anwendung. ChatGPT, Claude, Gemini, Copilot und vergleichbare Produkte haben Stand 2025/2026 mehrere hundert Millionen wöchentliche aktive Nutzer:innen.

Code-Generierung und Software-Entwicklung

GitHub Copilot (öffentlich seit Juni 2022), Cursor, Claude Code, OpenAI Codex und vergleichbare Werkzeuge haben substantielle Veränderungen in der Software-Entwicklungspraxis ausgelöst.

Bild- und Video-Generierung

Stable Diffusion, Midjourney, DALL·E, Adobe Firefly für Bilder; Sora, Veo, Runway, Kling für Video. Anwendungen in Werbung, Film, Spieleentwicklung, Bildung.

Audio und Musik

ElevenLabs (Sprachsynthese), Suno und Udio (Musik), AudioCraft (Meta), MusicLM (Google).

Wissenschaftliche Anwendungen

AlphaFold 2 und 3 (Protein-Strukturvorhersage, Nobelpreis Chemie 2024 für Hassabis/Jumper/Baker), RFdiffusion und Chai-1 (Molekül-Design), Materials-Discovery-Modelle (Microsoft MatterGen 2025), Weather-Forecasting-Modelle (Google GraphCast, Pangu-Weather).

Suche und Information Retrieval

Perplexity, You.com, Google AI Overviews, Microsoft Copilot Search etablieren generative KI als Komponente der Web-Suche. Retrieval Augmented Generation (RAG) ist die Hauptlinie.

Embodied AI und Robotik

Generative Modelle werden zunehmend in Robotik-Steuerung integriert (Google RT-2, Figure 01, Physical Intelligence π0). Diese Linie ist noch in früher Skalierung.

Methodische Herausforderungen

Halluzinationen

Generative Modelle erzeugen plausibel wirkende, faktisch falsche Inhalte. Dieses Problem ist insbesondere für LLMs in Wissens- und Reasoning-Anwendungen zentral. Ansätze zur Reduktion umfassen RAG, Tool-Use, Reasoning-Modelle, Constitutional AI und verbesserte Trainingsverfahren.

Trainingsdaten und Urheberrecht

Die meisten Frontier-Modelle wurden auf großen Web-Datensätzen trainiert, deren urheberrechtlicher Status umstritten ist. Mehrere Klagen – New York Times vs. OpenAI, Getty Images vs. Stability AI, Authors Guild vs. OpenAI – sind seit 2023 anhängig.

Energieverbrauch und Klima

Training und Inferenz großer Modelle erfordern substantielle elektrische Leistung. Schätzungen für GPT-3-Training (Strubell u. a. 2019; Patterson u. a. 2021) und neuere Frontier-Modelle dokumentieren signifikante CO₂-Bilanzen.

Detektion synthetischer Inhalte

Mit zunehmender Qualität synthetischer Inhalte wird ihre Detektion immer anspruchsvoller. Wasserzeichen (Google SynthID), kryptographische Provenienz (C2PA), und detektorbasierte Verfahren werden parallel entwickelt.

Bias und Repräsentation

Generative Modelle reproduzieren statistische Muster ihrer Trainingsdaten – einschließlich gesellschaftlicher Vorurteile. Die Operationalisierung dieser Befunde erfolgt etwa durch Model Cards, Bias-Audits und Fairness-Evaluierungen.

Sicherheits- und Alignment-Fragen

Frontier-Modelle erzeugen unter geeigneten Bedingungen problematische Inhalte – gefährliche Anleitungen, manipulative Texte, agentische Fehlverhalten. Die Reaktionen umfassen RLHF, Constitutional AI, Sicherheits-Filterung und das Forschungsfeld AI Alignment.

Stand 2025/2026

Stand Mai 2026 ist generative KI in einer Phase intensiver Skalierung und Diversifizierung. Die dominante Achse ist die Konvergenz zwischen autoregressiven Sprachmodellen und Diffusionsmodellen zu integrierten multimodalen Systemen.

Reasoning-Modelle (OpenAI o3 und o4, Claude 4-Reihe, Gemini 2.5 Pro, DeepSeek R1) haben sich als eigene Modellklasse etabliert. Mit GPT-5 (August 2025), Gemini 3 (November 2025) und Claude Sonnet 5 (Juni 2026) haben die drei größten proprietären Anbieter Stand August 2026 jeweils eine neue Frontier-Modellgeneration veröffentlicht.

Video-Generierung erreichte mit Sora, Veo 3 und Konkurrenten produktive Qualität für Marketing-, Bildungs- und Unterhaltungs-Anwendungen.

Der globale Markt für generative KI wurde Stand 2025 auf über 200 Milliarden US-Dollar geschätzt; die Investitionen führender Frontier-Labs (OpenAI, Anthropic, Google DeepMind, xAI, Meta, Microsoft) haben kumuliert dreistellige Milliarden-Beträge erreicht.

Regulatorische Rahmen – der EU AI Act (Verabschiedung März 2024, schrittweises Inkrafttreten 2025/2026), die US Executive Orders zur KI, das Vereinigte Königreich-AI-Safety-Institute, vergleichbare Initiativen in Japan, Südkorea, Kanada – haben sich substantiell ausgeweitet.

Offene Fragen umfassen die Skalierungs-Grenzen aktueller Architekturen, die Verlässlichkeit von Reasoning-Modellen, die Detektion synthetischer Inhalte, die Energie-Effizienz von Inferenz und das Verhältnis zwischen proprietären (OpenAI, Anthropic, Google) und Open-Source-Modellen (Meta Llama, DeepSeek, Mistral, Qwen, Hugging Face).

Quellenangaben

Abramson, Josh u. a., 2024. Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3. In: Nature 630 (8016), S. 493–500. DOI: 10.1038/s41586-024-07487-w.
Ackley, David H. / Hinton, Geoffrey E. / Sejnowski, Terrence J., 1985. A Learning Algorithm for Boltzmann Machines. In: Cognitive Science 9 (1), S. 147–169. DOI: 10.1207/s15516709cog0901_7.
Anthropic, 2024. The Claude 3 Model Family: Opus, Sonnet, Haiku.
Anthropic, 2026. Introducing Claude Sonnet 5. Anthropic, 30. Juni 2026. https://www.anthropic.com/news/claude-sonnet-5
Bengio, Yoshua / Ducharme, Réjean / Vincent, Pascal / Jauvin, Christian, 2003. A Neural Probabilistic Language Model. In: Journal of Machine Learning Research 3, S. 1137–1155.
Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
Europäische Union, 2024. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz. In: Amtsblatt der Europäischen Union L, 2024/1689, 12. Juli 2024. (Artikel 9 Risikomanagementsystem; Artikel 17 Qualitätsmanagementsystem.)
Goodfellow, Ian / Pouget-Abadie, Jean / Mirza, Mehdi / Xu, Bing / Warde-Farley, David / Ozair, Sherjil / Courville, Aaron / Bengio, Yoshua, 2014. Generative Adversarial Nets. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 2672–2680. arXiv: 1406.2661.
Google DeepMind, 2025. Gemini 3: Introducing the Latest Gemini AI Model From Google. Google Blog, 18. November 2025. https://blog.google/products-and-platforms/products/gemini/gemini-3/
Hinton, Geoffrey E. / Sejnowski, Terrence J., 1986. Learning and Relearning in Boltzmann Machines.
Hinton, Geoffrey E. / Dayan, Peter / Frey, Brendan J. / Neal, Radford M., 1995. The „Wake-Sleep” Algorithm for Unsupervised Neural Networks. In: Science 268 (5214), S. 1158–1161. DOI: 10.1126/science.7761831.
Hinton, Geoffrey E., 2002. Training Products of Experts by Minimizing Contrastive Divergence. In: Neural Computation 14 (8), S. 1771–1800. DOI: 10.1162/089976602760128018.
Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
Huckins, Grace, 2025. GPT-5 Is Here. Now What? MIT Technology Review, 7. August 2025. https://www.technologyreview.com/2025/08/07/1121308/gpt-5-is-here-now-what/
Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
Karras, Tero / Laine, Samuli / Aila, Timo, 2019. A Style-Based Generator Architecture for Generative Adversarial Networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019). arXiv: 1812.04948.
Kingma, Diederik P. / Welling, Max, 2014. Auto-Encoding Variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014). Zuerst erschienen als Preprint arXiv: 1312.6114, Dezember 2013. arXiv: 1312.6114.
Mikolov, Tomáš / Karafiát, Martin / Burget, Lukáš / Černocký, Jan / Khudanpur, Sanjeev, 2010. Recurrent Neural Network Based Language Model. In: Proceedings of INTERSPEECH 2010, S. 1045–1048.
OpenAI, 2023. GPT-4 Technical Report. arXiv: 2303.08774.
OpenAI, 2024. Sora System Card. OpenAI Technical Report.
OpenAI, 2025. Introducing GPT-5. openai.com/index/introducing-gpt-5/, August 2025.
Patterson, David u. a., 2021. Carbon Emissions and Large Neural Network Training. arXiv: 2104.10350.
Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
Strubell, Emma / Ganesh, Ananya / McCallum, Andrew, 2019. Energy and Policy Considerations for Deep Learning in NLP. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), S. 3645–3650. DOI: 10.18653/v1/P19-1355.
Sutskever, Ilya / Vinyals, Oriol / Le, Quoc V., 2014. Sequence to Sequence Learning with Neural Networks. In: Advances in Neural Information Processing Systems 27 (NeurIPS 2014), S. 3104–3112. arXiv: 1409.3215.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht