Large Language Models

Large Language Models (deutsch große Sprachmodelle, Abkürzung LLM) bezeichnen eine Klasse von Modellen des maschinellen Lernens, die auf der Grundlage massiver Textkorpora trainiert werden, um Wahrscheinlichkeitsverteilungen über Wortfolgen zu lernen. Auf dieser Basis generieren sie Text, verstehen, übersetzen und fassen ihn zusammen oder führen andere sprachverarbeitende Aufgaben aus.

Sie sind seit etwa 2018 – wesentlich begründet durch die Transformer-Architektur (Vaswani u. a. 2017) – die dominante Form der Sprachverarbeitung in der Künstlichen Intelligenz. Seit der Veröffentlichung von ChatGPT im November 2022 stehen sie zudem im Mittelpunkt einer breiten öffentlichen Diskussion über die Möglichkeiten und Folgen leistungsfähiger Sprachsysteme.

Zusammenfassung

Large Language Models sind im Wesentlichen autoregressive neuronale Netze, die das nächste Token einer Sequenz vorhersagen, gegeben sind die vorausgehenden Tokens.

Diese scheinbar einfache Trainingsaufgabe – next token prediction – führt bei hinreichender Modellgröße, Datenmenge und Rechenleistung zu Systemen, die ein breites Spektrum sprachlicher Aufgaben ausführen können, ohne explizit dafür trainiert worden zu sein (emergent abilities, Wei u. a. 2022).

Die zentralen architekturellen Komponenten sind: Tokenisierung der Eingabe in Subwort-Einheiten, Token Embeddings als erste Schicht, dutzende bis hunderte Transformer-Schichten mit Self-Attention und Feedforward-Komponenten, und eine Output-Schicht, die eine Wahrscheinlichkeitsverteilung über das Vokabular erzeugt.

Die Trainingspipeline gliedert sich heute in drei Phasen: Pre-Training (autoregressive Sprachmodellierung auf großen Textkorpora), Supervised Fine-Tuning (SFT, Anpassung auf instruktionsorientierte Daten) und Reinforcement Learning from Human Feedback (RLHF) oder Constitutional AI (Anpassung an menschliche Präferenzen und Sicherheitskriterien).

Die seit etwa 2018 entwickelten Modellfamilien – GPT (OpenAI), BERT/T5 (Google), Claude (Anthropic), Gemini (Google DeepMind), Llama (Meta), Mistral und seit 2024/2025 DeepSeek, Qwen und andere – sind teils proprietär, teils unter offenen Lizenzen verfügbar.

Mit den Reasoning Models (OpenAI o-Serie, DeepSeek R1, Claude mit Extended Thinking, Gemini 2.5) hat sich seit 2024 eine zweite Stufe der LLM-Entwicklung etabliert, in der Modelle mehrstufige, intern strukturierte Argumentationsketten erzeugen.

Begriffsgeschichte

Vorgeschichte: Statistische und neuronale Sprachmodellierung

Sprachmodelle als Wahrscheinlichkeitsverteilungen über Wortsequenzen sind ein klassischer Gegenstand der Computerlinguistik seit den 1950er Jahren (Shannon 1948 zur Informationstheorie). Klassische n-Gramm-Modelle schätzen die Wahrscheinlichkeit eines Wortes aus den unmittelbar vorangehenden n − 1 Wörtern und waren bis in die 2000er Jahre die Standardform.

Yoshua Bengio, Réjean Ducharme, Pascal Vincent und Christian Jauvin publizierten 2003 in A Neural Probabilistic Language Model (Journal of Machine Learning Research 3) das erste neuronale Sprachmodell mit erlernten distributed word representations und etablierten damit die Brücke zur heutigen LLM-Architektur.

In den 2010er Jahren wurden zunehmend Recurrent Neural Networks mit Long Short-Term Memory (LSTM, Hochreiter/Schmidhuber 1997) und Gated Recurrent Units (GRU, Cho u. a. 2014) für Sprachmodellierung eingesetzt.

Transformer-Wende (2017–2018)

Die entscheidende Wende erfolgte 2017 mit der Veröffentlichung von Attention Is All You Need (Vaswani u. a., NeurIPS 2017), in dem die Transformer-Architektur eingeführt wurde. Innerhalb eines Jahres entstanden auf dieser Basis mehrere einflussreiche Sprachmodelle:

ELMo (Peters u. a., NAACL 2018, Deep Contextualized Word Representations) führte kontextabhängige Wortrepräsentationen ein, basierte aber noch auf LSTM-Architekturen.

GPT-1 (Radford, Narasimhan, Salimans, Sutskever, OpenAI Juni 2018, Improving Language Understanding by Generative Pre-Training) demonstrierte erstmals das heute kanonische Pretrain-Finetune-Paradigma mit einer Decoder-only-Transformer-Architektur (117 Mio. Parameter).

BERT (Devlin, Chang, Lee, Toutanova, Google Oktober 2018, NAACL 2019, Bidirectional Encoder Representations from Transformers) führte das Masked Language Modeling ein und etablierte Encoder-only-Modelle für Verstehensaufgaben. BERT-Base hat 110 Mio. Parameter, BERT-Large 340 Mio.

Skalierungsphase (2019–2022)

Die folgenden Jahre waren geprägt von rapider Modellgrößen-Skalierung. GPT-2 (Radford u. a. 2019, 1,5 Mrd. Parameter) und insbesondere GPT-3 (Brown u. a., NeurIPS 2020, Language Models are Few-Shot Learners, 175 Mrd. Parameter) demonstrierten In-Context Learning. Modelle konnten damit Aufgaben aus wenigen Beispielen im Prompt lernen, ohne ihre Gewichte zu aktualisieren.

Die parallel publizierten Scaling Laws (Kaplan u. a., OpenAI 2020) erhärteten empirisch, dass Modellverluste mit Modellgröße, Datenmenge und Rechenleistung nach Potenzgesetzen abfallen. Die DeepMind-Arbeit Training Compute-Optimal Large Language Models (Hoffmann u. a. 2022, Chinchilla) verfeinerte diese Befunde und zeigte, dass viele damalige Modelle relativ zu ihrer Größe unzureichend trainiert worden waren.

In diese Phase fallen auch T5 (Raffel u. a., JMLR 2020, Exploring the Limits of Transfer Learning), das alle NLP-Aufgaben als Text-zu-Text-Probleme reformuliert, und PaLM (Chowdhery u. a. 2022, Google, 540 Mrd. Parameter).

Alignment-Wende und ChatGPT (2022)

Eine zentrale Verschiebung erfolgte 2022 mit der Veröffentlichung von InstructGPT (Ouyang u. a., NeurIPS 2022): Statt eines reinen Sprachmodells wurde GPT-3 durch Reinforcement Learning from Human Feedback (RLHF, Christiano u. a. 2017) auf instruktionsorientiertes Verhalten finegetunt.

Diese Methode bildet die Grundlage von ChatGPT (OpenAI, 30. November 2022, basierend auf GPT-3.5), das innerhalb von zwei Monaten 100 Millionen Nutzer:innen erreichte und damit die schnellste Verbreitung einer Consumer-Anwendung in der Geschichte des Internets darstellte.

Anthropic entwickelte parallel die Methode Constitutional AI (Bai u. a. 2022, Anthropic): Statt menschlicher Annotation der Modellausgaben werden die Ausgaben anhand einer schriftlichen Konstitution natürlichsprachlicher Prinzipien durch das Modell selbst kritisiert (Reinforcement Learning from AI Feedback, RLAIF). Constitutional AI ist die Grundlage der Claude-Modellfamilie (Anthropic, ab März 2023).

Multimodalität und Open Source (ab 2023)

Mit GPT-4 (OpenAI, März 2023) und nachfolgenden Frontier-Modellen wurden multimodale Fähigkeiten integriert – Bilder, Audio, Video. Im Februar 2023 veröffentlichte Meta Llama (Touvron u. a. 2023) als erstes leistungsstarkes Open-Source-Frontier-Modell, was eine breite Welle offener LLM-Forschung auslöste. Es folgten Llama 2 (Juli 2023), Llama 3 (April 2024), Mistral (September 2023ff.), Falcon, Qwen (Alibaba), DeepSeek (ab 2023) und weitere.

Reasoning Models (2024–2026)

Eine zweite Stufe etablierte sich ab Ende 2024 mit den Reasoning Models: OpenAIs o1 (September 2024) und o3 (Dezember 2024) sowie Anthropics Claude mit Extended Thinking (ab 2024). Hinzu kamen Googles Gemini 2.5 mit Thinking-Modus (2025) und Open-Source-Modelle wie DeepSeek-R1 (Januar 2025) und Qwen QwQ.

Diese Modelle investieren erheblich mehr Inferenz-Rechenleistung in interne Argumentationsketten, bevor sie eine Antwort produzieren – typisch Tausende bis Zehntausende interner Thinking-Tokens pro Anfrage.

DeepSeek-R1 zeigte, dass solche Reasoning-Fähigkeiten auch in Open-Source-Modellen erreichbar sind und durch Reinforcement Learning auf Reasoning-Aufgaben trainiert werden können.

Architektur

Decoder-only Transformer

Die heute dominante LLM-Architektur ist der Decoder-only Transformer: eine Stapelfolge von Transformer-Schichten mit causal (maskierter) Self-Attention, in der jedes Token nur auf vorausgehende Tokens aufmerksam werden kann. Typische Dimensionen aktueller Frontier-Modelle:

Anzahl der Schichten: 32 (Llama 3 8B) bis über 100 (Frontier-Modelle).

Embedding-Dimension: 4.096 (Llama 3 8B) bis 12.288 oder mehr (GPT-3 175B, Brown u. a. 2020, und größere Modelle).

Multi-Head-Attention-Köpfe: 32 bis 128 oder mehr.

Vokabulargröße: 32.000 (Llama 2, Touvron u. a. 2023b) bis 250.000+ (Llama 3, multilingual, Grattafiori u. a. 2024).

Kontextfenster: ursprünglich 2.048 Tokens (GPT-3, Brown u. a. 2020), inzwischen 128.000 (GPT-4 Turbo, Llama 3.1) bis 1.000.000+ (Gemini 1.5/2.0, Gemini 3, GPT-5.5, OpenAI 2026). Llama 4 Scout (Meta, April 2025) erreicht mit bis zu 10.000.000 Tokens das mit Abstand größte Kontextfenster eines veröffentlichten Frontier-Modells (Stand August 2026).

Parameteranzahl: von wenigen Milliarden (kleine Open-Source-Modelle) bis zu Schätzungen über eine Billion (Frontier-Modelle mit Mixture of Experts).

Mixture of Experts (MoE)

Eine zentrale Architekturinnovation der jüngeren Frontier-Modelle ist Mixture of Experts: Statt jedes Token durch alle Modellparameter zu verarbeiten, wählt ein gelernter Router für jedes Token eine kleine Teilmenge spezialisierter Experten (typisch 2 von 8 oder 8 von 64). Damit lässt sich die Gesamtparameteranzahl massiv erhöhen, ohne den Rechenaufwand pro Token proportional zu steigern.

Mixtral (Mistral 2023), DeepSeek-V3 (2024), Metas offiziell als MoE-Architektur bestätigtes Llama 4 (April 2025), Mistral Large 3 (Dezember 2025), DeepSeek-V4 (April 2026) sowie vermutlich GPT-4 und Gemini Ultra nutzen MoE-Architekturen.

KV-Cache und Inferenz-Optimierung

Während der autoregressiven Generierung müssen Key- und Value-Vektoren früherer Tokens nicht erneut berechnet werden – sie werden in einem KV-Cache gespeichert. Effizienzverfahren wie FlashAttention (Dao u. a. 2022), Paged Attention (Kwon u. a. 2023, vLLM), Grouped Query Attention (Ainslie u. a. 2023) und Speculative Decoding (Leviathan u. a. 2023) ermöglichen schnelle Inferenz auch bei sehr großen Modellen und langen Kontexten.

Trainingspipeline

Pre-Training

Die erste und mit Abstand rechenintensivste Phase ist das Pre-Training auf einem großen Textkorpus durch causal language modeling: Das Modell lernt, das nächste Token vorherzusagen, gegeben sind die vorausgehenden.

Typische Trainingsdatenmengen (Stand 2025/2026) liegen im Bereich mehrerer Billionen Tokens, kombiniert aus Webdaten (CommonCrawl, C4, RefinedWeb), Büchern, wissenschaftlichen Publikationen, Code (GitHub, StackOverflow), strukturierten Datensätzen und teilweise auch synthetischen Daten.

Die Chinchilla-Erkenntnis (Hoffmann u. a. 2022) – etwa 20 Trainings-Tokens pro Modellparameter sind compute-optimal – prägt die Trainingspraxis, wird aber bei sehr großen Modellen auch deutlich überschritten (Llama 3: über 15 Billionen Trainings-Tokens).

Supervised Fine-Tuning (SFT)

Nach dem Pre-Training wird das Modell typischerweise auf eine kleinere Menge hochwertiger Instruction-Following-Daten finegetunt – Paaren aus Anweisungen und gewünschten Antworten. Diese Phase verschiebt das Modell von einem reinen Sprach-Vorhersage-Modus in einen hilfreichen Assistenz-Modus.

Präferenz-Lernen (RLHF, DPO, Constitutional AI)

Die dritte Phase passt das Modell an menschliche Präferenzen und Sicherheitskriterien an. Die etablierten Verfahren sind:

Reinforcement Learning from Human Feedback (RLHF, Christiano u. a. 2017; Ouyang u. a. 2022): Ein Reward Model wird aus menschlichen Vergleichen zwischen Modellausgaben gelernt; das Sprachmodell wird gegen dieses Reward Model durch Proximal Policy Optimization (PPO) optimiert.

Direct Preference Optimization (DPO, Rafailov u. a. 2023): Eine vereinfachte Variante, die ohne explizites Reward Model auskommt und direkt aus Präferenzpaaren optimiert.

Constitutional AI (Bai u. a. 2022, Anthropic): Eine Konstitution natürlichsprachlicher Prinzipien wird verwendet, um KI-generierte Kritiken und Verbesserungen der Modellausgaben zu erzeugen; das Reward Model wird teils oder vollständig aus diesen KI-generierten Daten gewonnen.

Reasoning-Training

Reasoning Models (o1, R1, Claude Extended Thinking) werden zusätzlich mit Reinforcement Learning auf verifizierbaren Aufgaben (Mathematik, Code, Logik) trainiert, wo automatische Korrekturüberprüfung möglich ist. DeepSeek-R1 zeigte, dass aus reinem RL ohne SFT komplexe Reasoning-Fähigkeiten emergieren können, wenn das Belohnungssignal hinreichend strukturiert ist.

Fähigkeiten und Anwendungen

Sprachverarbeitung

LLMs sind die Grundlage praktisch aller heutigen leistungsfähigen Sprachverarbeitungs-Anwendungen: Chatbots und Assistenzsysteme (ChatGPT, Claude, Gemini, Copilot), maschinelle Übersetzung, Textgenerierung, Zusammenfassung, Frage-Antwort-Systeme, Sentimentanalyse, Informationsextraktion.

Code-Generierung

Spezialisierte Code-LLMs (GitHub Copilot, Cursor, Claude Code, Cody) sind in vielen Software-Entwicklungs-Pipelines etabliert. Modelle wie Codex (OpenAI 2021), Code Llama (Meta 2023), DeepSeek Coder und Qwen Coder werden auf großen Code-Korpora trainiert.

Agentische Systeme

Seit etwa 2023 entstehen agentische LLM-Systeme, die Werkzeuge nutzen (Web-Suche, Code-Ausführung, Datenbankzugriff, API-Aufrufe) und mehrstufige Aufgaben ausführen. Claude Code (Anthropic), ChatGPT Agent (OpenAI), Gemini Agents (Google), AutoGPT und LangChain-basierte Architekturen sind verbreitete Vertreter.

Multimodalität

GPT-4o (Mai 2024), Claude 3 mit Vision, Gemini 1.5 und 2.5 (mit nativer Audio- und Videoverarbeitung) und Llama 3.2 mit Vision integrieren mehrere Datenmodalitäten in einem einzigen Modell.

Wissenschaftliche Anwendungen

LLM-basierte oder LLM-erweiterte Systeme finden in vielen wissenschaftlichen Domänen Anwendung: Strukturbiologie (AlphaFold 2/3 verwenden Transformer-Komponenten), Materialwissenschaft, Wirkstoffentdeckung, mathematische Beweise (Lean, ATP-Systeme), Klimaprognose und Forschungsassistenz.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Halluzinationen: LLMs erzeugen mit hoher rhetorischer Sicherheit Aussagen, die faktisch unzutreffend sind. Diese Halluzinationen sind ein konstitutives Verhalten, kein behebbarer Defekt – sie folgen aus dem Training auf Sprachverteilungen, das keine Faktizitätsbedingung enthält. Verfahren wie Retrieval-Augmented Generation (RAG), Werkzeuggebrauch und Verifikations-Tools mildern das Problem, lösen es aber nicht.

Bias und gesellschaftliche Folgen: LLMs reproduzieren systematisch die Verzerrungen ihrer Trainingsdaten. Bender, Gebru, McMillan-Major und Shmitchell (2021, On the Dangers of Stochastic Parrots, FAccT) haben die zentralen Risiken großer Sprachmodelle in einer einflussreichen Arbeit zusammengefasst. Die Veröffentlichung dieser Arbeit führte zur kontroversen Entlassung Timnit Gebrus aus Googles Ethical AI Team im Dezember 2020.

Ökologische Kosten: Das Training und der Betrieb großer Sprachmodelle erfordern massive Rechen- und Wasserressourcen. Patterson u. a. (2021) und Folgearbeiten haben die Energie- und Emissionsbedarfe quantifiziert; einzelne Trainingsläufe großer Frontier-Modelle entsprechen dem jährlichen Energieverbrauch von Hunderten oder Tausenden US-Haushalten.

Urheberrecht: Die Trainingsdaten umfassen typischerweise große Mengen urheberrechtlich geschützter Texte. Eine Reihe von Klagen (insbesondere The New York Times v. OpenAI 2023, Getty Images v. Stability AI 2023, Authors Guild v. OpenAI 2023, Disney/Universal v. Midjourney 2025) ist Gegenstand laufender juristischer Auseinandersetzungen.

Die Rechtslage ist international uneinheitlich; insbesondere die Frage, ob das Training von Sprachmodellen unter Fair Use (USA), Text und Data Mining-Ausnahmen (EU) oder andere Schranken fällt, ist offen.

Annotationsarbeit: Die menschliche Annotation für RLHF wird häufig an niedrig bezahlte Crowdworker:innen in Ländern des Globalen Südens ausgelagert. Ein TIME-Bericht (Perrigo, Inside the Suffering Behind ChatGPT, Januar 2023) dokumentierte die Arbeitsbedingungen kenianischer Annotator:innen, die für etwa 2 US-Dollar pro Stunde gewaltsame und traumatisierende Inhalte für OpenAIs Sicherheits-Tooling klassifizierten.

Konzentration und Macht: Die Frontier-Modelle werden von einer kleinen Zahl überwiegend kalifornischer Unternehmen entwickelt (OpenAI, Anthropic, Google, Meta). Diese Konzentration wird sowohl ökonomisch (Wettbewerb) als auch politisch (Einfluss auf öffentliche Diskurse, Demokratie, Bildung) kritisch diskutiert.

Existenzielle und gesellschaftliche Langfristrisiken: Eine in Teilen der KI-Forschung vertretene Position (Hinton, Bengio, Russell, Bostrom, Yudkowsky) argumentiert, dass hochleistungsfähige zukünftige KI-Systeme – falls sie kommen – substantielle existenzielle Risiken erzeugen könnten.

Diese Position ist in der KI-Forschung selbst umstritten; LeCun und andere argumentieren, dass die heutigen Architekturen prinzipiell nicht zu solchen Risiken führen, andere (Bender, Gebru, Mitchell) warnen, dass die Konzentration auf hypothetische Langfristrisiken konkrete gegenwärtige Schäden marginalisiert.

Stand 2025/2026

Im Verlauf der Jahre 2024 bis 2026 sind mehrere und ökonomische Verschiebungen sichtbar geworden. Die Reasoning Models (o1/o3, R1, Claude Extended Thinking, Gemini 2.5 Thinking) haben Inferenz-Rechenleistung als zweite Skalierungsachse neben Trainings-Rechenleistung etabliert.

Eine weitere Modellgeneration hat sich seit 2025 etabliert: OpenAI veröffentlichte am 7. August 2025 GPT-5 (im April 2026 gefolgt von GPT-5.5 mit Kontextfenstern bis zu 1.000.000 Tokens), Anthropic am 24. November 2025 Claude Opus 4.5, und Google DeepMind am 18. November 2025 Gemini 3 Pro.

Bei den offenen Modellen erschienen Metas MoE-basiertes Llama 4 (April 2025), Mistral Large 3 (Dezember 2025), DeepSeek-V4 (April 2026) sowie Alibabas Qwen3.8-Max (August 2026, 2,4 Billionen Parameter) – Letzteres nach öffentlich verfügbaren Angaben das bislang größte veröffentlichte Sprachmodell.

Die offenen Modelle (Llama, Mistral, Qwen, DeepSeek) haben den Leistungsabstand zu den geschlossenen Frontier-Modellen substantiell verringert. Die Agentic AI-Phase mit Werkzeuggebrauch und mehrstufiger Aufgabenausführung ist methodisch und kommerziell in Bewegung.

Auf der regulatorischen Seite ist der EU AI Act (Inkrafttreten 1. August 2024, schrittweise Anwendung bis 2027) das umfassendste Regelwerk; weitere Länder (USA, Großbritannien, Südkorea, Japan) entwickeln eigene Rahmen.

Internationale wissenschaftliche Übersichtsarbeiten wie der International AI Safety Report (Bengio u. a., publiziert vor dem AI Action Summit Paris im Februar 2025) versuchen, einen wissenschaftlichen Konsensstand zu Risiken und Möglichkeiten zu konsolidieren.

Verwandte Begriffe

• Transformer – methodische Architektur
• Token – Verarbeitungseinheit
• Attention-Mechanismus – zentrale Komponente
• Constitutional AI – Anthropic-Methode
• Scaling Laws – empirisches Skalierungsphänomen
• Halluzinationen – typische Fehlerklasse
• Stochastic Parrots – kritische Position

Quellenangaben

1. Ainslie, Joshua / Lee-Thorp, James / de Jong, Michiel / Zemlyanskiy, Yury / Lebrón, Federico / Sanghai, Sumit, 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. In: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), S. 4895–4901. arXiv: 2305.13245.
2. Anthropic, 2025. Introducing Claude Opus 4.5. Anthropic, 24. November 2025. https://www.anthropic.com/news/claude-opus-4-5
3. Bai, Yuntao u. a., 2022. Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv: 2212.08073.
4. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
5. Grattafiori, Aaron u. a. (Meta AI), 2024. The Llama 3 Herd of Models. arXiv: 2407.21783.
6. Bengio, Yoshua / Ducharme, Réjean / Vincent, Pascal / Jauvin, Christian, 2003. A Neural Probabilistic Language Model. In: Journal of Machine Learning Research 3, S. 1137–1155.
7. Bengio, Yoshua u. a., 2025. International AI Safety Report. Department for Science, Innovation and Technology (DSIT), Research Series 2025/001, 29. Januar 2025. arXiv: 2501.17805.
8. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
9. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
10. Chowdhery, Aakanksha u. a., 2022. PaLM: Scaling Language Modeling with Pathways. arXiv: 2204.02311.
11. Christiano, Paul F. / Leike, Jan / Brown, Tom B. / Martic, Miljan / Legg, Shane / Amodei, Dario, 2017. Deep Reinforcement Learning from Human Preferences. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 4299–4307. arXiv: 1706.03741.
12. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
13. DeepSeek-AI / Guo, Daya / Yang, Dejian u. a., 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv: 2501.12948. Später erschienen als DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning. In: Nature 645 (8081), S. 633–638.
14. DeepSeek-AI, 2026. DeepSeek V4 Preview Release. DeepSeek API Docs, 24. April 2026. https://api-docs.deepseek.com/news/news260424/
15. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
16. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
17. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
18. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
19. Kwon, Woosuk / Li, Zhuohan / Zhuang, Siyuan / Sheng, Ying / Zheng, Lianmin / Yu, Cody Hao / Gonzalez, Joseph E. / Zhang, Hao / Stoica, Ion, 2023. Efficient Memory Management for Large Language Model Serving with PagedAttention. In: Proceedings of the 29th Symposium on Operating Systems Principles (SOSP 2023), S. 611–626. arXiv: 2309.06180.
20. Leviathan, Yaniv / Kalman, Matan / Matias, Yossi, 2023. Fast Inference from Transformers via Speculative Decoding. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arXiv: 2211.17192.
21. Meta AI, 2025. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation. Meta AI Blog, 5. April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
22. Mistral AI, 2025. Introducing Mistral 3. Mistral AI, 2. Dezember 2025. https://mistral.ai/news/mistral-3/
23. OpenAI, 2026. Introducing GPT-5.5. OpenAI, 23. April 2026. https://openai.com/index/introducing-gpt-5-5/
24. Ouyang, Long / Wu, Jeffrey / Jiang, Xu u. a., 2022. Training Language Models to Follow Instructions with Human Feedback. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022), S. 27730–27744. arXiv: 2203.02155.
25. Perrigo, Billy (2023): OpenAI Used Kenyan Workers on Less Than $2 per Hour to Make ChatGPT Less Toxic. In: TIME, 18. Januar 2023.
26. Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
27. Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
28. Rafailov, Rafael u. a., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2305.18290.
29. Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
30. Razzaq, Asif, 2026. Alibaba Qwen Releases Qwen3.8-Max: A 2.4 Trillion Parameter MoE Model and the Most Capable One in the Qwen Family to Date. MarkTechPost, 3. August 2026. https://www.marktechpost.com/2026/08/03/alibaba-qwen-releases-qwen3-8-max/
31. Touvron, Hugo u. a., 2023a. LLaMA: Open and Efficient Foundation Language Models. Meta AI. arXiv: 2302.13971.
32. Touvron, Hugo u. a., 2023b. Llama 2: Open Foundation and Fine-Tuned Chat Models. Meta AI. arXiv: 2307.09288.
33. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
34. Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.

← Zurück zur Lexikon-Übersicht