Foundation Models

Foundation Models (deutsch Grundlagenmodelle oder Basismodelle, gelegentlich auch Fundamentmodelle) bezeichnet jene Klasse großer, durch Self-Supervised Learning auf breiten und heterogenen Datensätzen vortrainierten Machine-Learning-Modelle, die anschließend durch Fine-Tuning, Adapter, In-Context Learning oder Prompting an eine Vielzahl nachgelagerter Aufgaben angepasst werden können.

Der Begriff wurde im August 2021 durch das Stanford Center for Research on Foundation Models (CRFM) in dem 212-seitigen Report On the Opportunities and Risks of Foundation Models (Bommasani u. a. 2021, arXiv 2108.07258) systematisch eingeführt. Er etablierte sich seither als Sammelbegriff für eine eigenständige Klasse von Modellen.

Dazu zählen große Sprachmodelle (GPT-Reihe, Claude, Gemini, Llama), Bild-Text-Modelle (CLIP), Bild-Generierungsmodelle (Stable Diffusion, DALL·E), multimodale Modelle (GPT-4o, Gemini multimodal), wissenschaftliche Modelle (AlphaFold) und embodied-AI-Modelle (RT-2, π0).

Zentral ist die Emergenz substantieller Fähigkeiten durch Skalierung und die Anpassbarkeit an unterschiedliche Anwendungsdomänen ohne aufgabenspezifisches Training.

Zusammenfassung

Foundation Models unterscheiden sich von klassischen Machine-Learning-Modellen in drei zentralen Eigenschaften. Erstens im Pre-Training auf großen, breiten Datensätzen (Hunderte Milliarden bis Billionen Token, im Bildbereich Hunderte Millionen bis Milliarden Bild-Text-Paare) mit selbst-überwachten Zielen. Zweitens in der Anpassbarkeit an nachgelagerte Aufgaben mit minimalem zusätzlichem Aufwand.

Drittens in der Emergenz – dem Befund, dass mit zunehmender Skalierung qualitativ neue Fähigkeiten auftreten, die in kleineren Modellen nicht vorhanden waren.

Die Begriffsprägung erfolgte 2021 in Stanford; vorhergehend waren in der Forschungsliteratur Begriffe wie Pretrained Models, Large Language Models oder Foundation Models uneinheitlich verwendet worden.

Die Bommasani-Arbeit definierte den Begriff systematisch über zwei zentrale Eigenschaften: emergence (qualitativ neue Fähigkeiten durch Skalierung) und homogenization (eine zunehmend kleine Zahl gemeinsamer Modell-Architekturen prägt eine wachsende Zahl heterogener Anwendungen).

Anwendungs-Bereiche umfassen Text-Generierung und -Verständnis, Code-Synthese, Bild- und Video-Generierung, multimodales Verständnis, Protein-Strukturvorhersage, Robotik-Steuerung und wissenschaftliche Entdeckung. Regulatorisch ist der Begriff in den EU AI Act als General-Purpose AI Model (GPAI) eingegangen – wobei General-Purpose AI Model die regulatorisch verwendete Variante des Begriffs Foundation Model ist.

Begriffsgeschichte

Vorgeschichte: Pretrained Models (2013–2020)

Die Vorgeschichte des Begriffs reicht in die Pretrained Word Embeddings-Tradition (Word2Vec Mikolov u. a. 2013, GloVe Pennington u. a. 2014, ELMo Peters u. a. 2018) und die nachfolgende Transfer-Learning-Forschung.

ULMFiT (Howard/Ruder ACL 2018), GPT (Radford u. a. OpenAI 2018), BERT (Devlin u. a. NAACL 2019) und T5 (Raffel u. a. JMLR 2020) etablierten das Pretraining-Fine-Tuning-Paradigma als Standard der Natural Language Processing-Forschung.

In der Computer Vision wurde eine ähnliche Tradition durch ImageNet-Pretraining etabliert; mit CLIP (Radford u. a. ICML 2021) und DALL·E erweiterte sich die Tradition auf multimodale Modelle.

Stanford CRFM und Begriffsetablierung (2021)

Die systematische Begriffsprägung erfolgte im August 2021. Das Stanford Center for Research on Foundation Models (CRFM) wurde im selben Jahr unter der Leitung von Percy Liang gegründet. Der Report On the Opportunities and Risks of Foundation Models (Bommasani, Hudson, Adeli u. a., arXiv 2108.07258, 212 Seiten) wurde von über 100 Stanford-Forscher:innen mit-verfasst und etablierte den Begriff systematisch.

Die Definition: ein Foundation Model ist „any model that is trained on broad data (generally using self-supervision at scale) that can be adapted (e.g., fine-tuned) to a wide range of downstream tasks”. Zwei zentrale Eigenschaften wurden hervorgehoben:

Emergence: Mit zunehmender Skalierung treten qualitativ neue Fähigkeiten auf, die in kleineren Modellen nicht vorhanden waren – etwa Few-Shot Learning, Chain-of-Thought Reasoning, In-Context Learning.

Homogenization: Eine zunehmend kleine Zahl gemeinsamer Modell-Architekturen (insbesondere Transformer) prägt eine wachsende Zahl heterogener Anwendungen – eine substantielle Verschiebung gegenüber der vorherigen Vielfalt aufgabenspezifischer Architekturen.

Begriffliche Kontroverse und Alternative Bezeichnungen (2021–2023)

Die Begriffswahl Foundation Models wurde in der Forschungs-Community kontrovers diskutiert. Yann LeCun, Jürgen Schmidhuber und andere kritisierten sowohl die Neuheit des Begriffs (die Phänomene seien älter als die Bezeichnung) als auch die implizite Konnotation grundlegender Wahrheit.

Alternative Bezeichnungen umfassen Large Pretrained Models, General-Purpose Models (insbesondere im EU AI Act-Kontext) und Frontier Models (im OpenAI/Anthropic-Sprachgebrauch besonders verbreitet für die jeweils leistungsfähigsten Modelle).

Stand 2025/2026 hat sich Foundation Models als dominanter Sammelbegriff etabliert; Frontier Models wird parallel für die Spitzenmodelle und General-Purpose AI Models für den regulatorischen Kontext verwendet.

GPT-3 und Folgemodelle (2020–2022)

Zentrale Modelle hatten den Begriff bereits vor seiner systematischen Prägung geprägt. GPT-3 (Brown u. a. NeurIPS 2020, Language Models are Few-Shot Learners) demonstrierte mit 175 Milliarden Parametern erstmals die zentrale Few-Shot-Learning-Fähigkeit größerer Sprachmodelle.

PaLM (Chowdhery u. a. Google 2022 mit 540 Milliarden Parametern), Chinchilla (Hoffmann u. a. DeepMind 2022) und LaMDA (Google 2022) erweiterten die Linie.

ChatGPT und kommerzielle Massenwirkung (November 2022)

Die methodisch wirkungsmächtigste öffentliche Demonstration erfolgte mit ChatGPT (OpenAI, 30. November 2022). Innerhalb von zwei Monaten erreichte ChatGPT 100 Millionen Nutzer. In der Folge etablierten sich Foundation Models methodisch und kommerziell als zentrale Technologie der KI-Industrie. GPT-4 (März 2023), Claude 2 und Claude 3 (Anthropic), Gemini (Google, Dezember 2023ff.), Llama 2 und Llama 3 (Meta) sowie zahlreiche weitere Modelle folgten.

Multimodale und Reasoning-Modelle (2023–2026)

Mehrere Erweiterungen prägten die Jahre 2023 bis 2026:

Multimodalität: GPT-4V (September 2023), Gemini multimodal (Dezember 2023), Claude 3 (März 2024), GPT-4o (Mai 2024) integrierten Bild-, Audio- und teilweise Video-Verarbeitung.

Reasoning Models: OpenAI o1 (September 2024), DeepSeek R1 (Januar 2025), Claude 3.7 Sonnet (Februar 2025), Gemini 2.5 (März 2025), OpenAI o3 und o4 (2025) etablierten interne Reasoning-Spuren als eigenständige Modell-Klasse.

Die nachfolgende Modellgeneration setzte diese Entwicklung 2025/2026 fort: OpenAI veröffentlichte im August 2025 GPT-5 und in der Folge die Versionen GPT-5.1 und GPT-5.5. Anthropic veröffentlichte 2025 Claude Opus 4.5 und Claude Sonnet 4.5 als Nachfolger von Claude 3.7 sowie am 30. Juni 2026 Claude Sonnet 5 als aktuellstes Anthropic-Modell.

Google DeepMind veröffentlichte im November 2025 Gemini 3 einschließlich der Reasoning-Variante Gemini 3 Deep Think.

Agentische Erweiterungen: Foundation Models wurden zunehmend als Komponenten autonomer Agenten eingesetzt.

Regulatorische Aufnahme: GPAI im EU AI Act (2024)

Mit der Verabschiedung des EU AI Act (Verordnung (EU) 2024/1689, Inkrafttreten 1. August 2024) wurde der Begriff in das EU-Recht eingeführt. Die Verordnung verwendet die Bezeichnung General-Purpose AI Model (GPAI). Artikel 3 Absatz 66 definiert es als KI-Modell, das „in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen”.

Dies entspricht dem Foundation-Model-Konzept; regulatorisch werden zusätzlich GPAI-Modelle mit systemischem Risiko unterschieden (Schwelle 10^25 FLOPs Trainingsleistung).

Wissenschaftliche und embodied-AI-Foundation-Models (2023–2026)

Eine eigenständige Erweiterungslinie umfasst Foundation Models für wissenschaftliche und Robotik-Anwendungen:

AlphaFold 2 (Jumper u. a. Nature 2021) und AlphaFold 3 (Abramson u. a. Nature 2024) für Protein-Strukturvorhersage.

RFdiffusion (Watson u. a. Nature 2023) und ESM-2 / ESM-3 (Lin u. a. Science 2023, Hayes u. a. 2024) für Protein-Design.

Materials-Discovery-Models: Microsoft MatterGen (Zeni u. a. 2025), Meta MACE (2024).

Robotik-Foundation-Models: Google RT-2 (2023), Physical Intelligence π0 (2024), Figure 02 (2025).

Klima-Modelle: GraphCast (Lam u. a. Science 2023), Pangu-Weather (Bi u. a. Nature 2023), GenCast (Price u. a. Nature 2024).

Methodische Grundlagen

Pre-Training mit Self-Supervised Learning

Zentral ist das Pre-Training auf großen Datensätzen mit selbst-überwachten Zielen. Bei Sprachmodellen typisch Next-Token-Prediction; bei Bild-Modellen Masked-Image-Modeling, Contrastive Learning oder Diffusion-Training; bei multimodalen Modellen kombinierte Ziele.

Skalierung und Skalierungsgesetze

Scaling Laws (Kaplan u. a. OpenAI 2020, Hoffmann u. a. DeepMind 2022) etablierten , dass Modell-Leistung als Funktion von Modellgröße, Datenmenge und Rechenleistung in vorhersehbarer Weise skaliert. Diese Beobachtung wurde zur Grundlage industrieller Skalierungs-Strategien.

Emergente Fähigkeiten

Emergent Abilities (Wei u. a. TMLR 2022) bezeichnen Fähigkeiten, die in kleineren Modellen nicht vorhanden sind, aber in größeren Modellen abrupt auftreten – etwa Few-Shot Learning, Chain-of-Thought Reasoning, Multi-Hop Reasoning, komplexe Code-Synthese. Die Interpretation als abrupte Emergenz wird kontrovers diskutiert (Schaeffer u. a. NeurIPS 2023).

Anpassungsmethoden

Foundation Models werden durch mehrere Verfahren an nachgelagerte Aufgaben angepasst:

Fine-Tuning: Aktualisierung aller Modell-Parameter mit aufgabenspezifischen Daten.

Parameter-Efficient Fine-Tuning (PEFT): Methoden wie LoRA (Hu u. a. ICLR 2022), Prefix Tuning, Prompt Tuning aktualisieren nur einen kleinen Bruchteil der Parameter.

In-Context Learning: Aufgaben werden über Eingabe-Beispiele im Kontext-Fenster gelernt, ohne dass Modell-Parameter geändert werden.

Prompt Engineering: Die Aufgaben-Spezifikation durch sorgfältige Eingabe-Formulierung.

RLHF und Constitutional AI: Die Anpassung an menschliche Präferenzen über Reinforcement Learning (siehe Constitutional AI).

Homogenisierung von Architekturen

Die Beobachtung der Bommasani-Arbeit: Foundation Models verwenden typisch wenige gemeinsame Architekturen – insbesondere den Transformer (Vaswani u. a. 2017). Diese architektonische Homogenisierung hat Konsequenzen – sowohl positive (gemeinsame Forschungs-Infrastruktur, schnelle Wissens-Diffusion) als auch problematische (geteilte Schwachstellen und Risiken über sehr unterschiedliche Anwendungen hinweg).

Trainingsdaten-Provenienz und Datenqualität

Die Wahl der Trainingsdaten ist zentral für die Leistung von Foundation Models. Web-Scraping-Datensätze (Common Crawl, LAION-5B), kuratierte Datensätze (The Pile, ROOTS), Code-Datensätze (GitHub-basiert) und multimodale Datensätze haben unterschiedliche und rechtliche Implikationen.

Anwendungsfelder

Sprachverarbeitung und Konversation

Wichtigste Anwendung. ChatGPT, Claude, Gemini, Llama-basierte Anwendungen – mehrere hundert Millionen wöchentlich aktive Nutzer Stand 2025/2026.

Code-Synthese

GitHub Copilot, Cursor, Claude Code, OpenAI Codex haben Software-Entwicklungs-Praxis substantiell verändert.

Bild- und Video-Generierung

DALL·E, Stable Diffusion, Midjourney, Flux, Sora, Veo – produktive Qualität für Marketing-, Bildungs- und Unterhaltungs-Anwendungen.

Wissenschaftliche Forschung

AlphaFold 2 und 3 (Protein-Strukturvorhersage, Nobelpreis Chemie 2024 für Hassabis/Jumper/Baker), RFdiffusion (Protein-Design), ESM-Familie (Sprachmodell-artiger Ansatz für Proteine), GenCast (Wettervorhersage, Nature 2024).

Embodied AI und Robotik

Vision-Language-Action-Modelle (RT-2, π0, Figure 02) integrieren Sprache, Bild und motorische Steuerung in einheitlichen Foundation-Model-Architekturen.

Medizin und Gesundheit

Med-PaLM, Med-PaLM 2, MedGemini, sowie zahlreiche spezialisierte medizinische Foundation Models für Bildgebung, Pathologie und klinische Entscheidungs-Unterstützung.

Industrielle und Enterprise-Anwendungen

Customer Service, Dokumenten-Analyse, Wissensmanagement, Software-Testing – zunehmend zentrale Komponenten Enterprise-Architekturen.

Herausforderungen

Halluzinationen und Verlässlichkeit

Foundation Models erzeugen plausibel wirkende, faktisch falsche Inhalte. Antworten umfassen Retrieval Augmented Generation, Reasoning-Modelle, Tool-Use und verbesserte Trainings-Verfahren.

Bias und Repräsentation

Foundation Models reproduzieren statistische Muster ihrer Trainingsdaten einschließlich gesellschaftlicher Vorurteile. Die Adressierung erfolgt etwa durch Model Cards, Bias-Audits und Fairness-Evaluierungen.

Trainingsdaten und Urheberrecht

Die meisten Foundation Models wurden auf großen Web-Datensätzen trainiert, deren urheberrechtlicher Status umstritten ist. Mehrere Klagen – New York Times vs. OpenAI, Getty Images vs. Stability AI, Authors Guild vs. OpenAI, Universal Music vs. Anthropic – sind Stand 2025/2026 anhängig.

Energieverbrauch und Klima

Training und Inferenz großer Foundation Models erfordern substantielle elektrische Leistung. Schätzungen dokumentieren Trainings-Energiebedarfe einzelner Frontier-Modelle im Bereich mehrerer GWh und CO₂-Bilanzen vergleichbar mit Tausenden transkontinentaler Flüge.

Marktkonzentration

Die methodische und kommerzielle Konzentration auf wenige Anbieter (OpenAI, Anthropic, Google DeepMind, Meta, xAI) wirft Wettbewerbs- und Demokratie-Fragen auf. Open-Source-Anbieter (Meta Llama, DeepSeek, Mistral, Qwen, Hugging Face) bilden eine teilweise alternative Linie.

Sicherheit und Alignment

Frontier-Foundation-Models erzeugen unter geeigneten Bedingungen problematische Inhalte – gefährliche Anleitungen, manipulative Texte, agentische Fehlverhalten. Die Adressierung erfolgt über RLHF, Constitutional AI, mechanistische Interpretierbarkeit und das Forschungsfeld AI Alignment.

Regulatorische Komplexität

Mit dem EU AI Act, US-Executive-Orders und nationalen Gesetzgebungen sind Foundation Models in einem rasch wachsenden regulatorischen Rahmen eingebettet, dessen Konsistenz Stand 2025/2026 nicht abschließend geklärt ist.

Stand 2025/2026

Stand Mai 2026 sind Foundation Models methodisch und kommerziell die zentrale Technologie der zeitgenössischen KI-Industrie. Die dominante Achse ist die Konvergenz zwischen autoregressiven Sprachmodellen und Diffusionsmodellen zu integrierten multimodalen Systemen. Reasoning Models haben sich als eigene Modellklasse etabliert; agentische Anwendungen prägen die Produktentwicklung führender Anbieter.

Der globale Markt für Foundation-Model-basierte Produkte wurde Stand 2025 auf über 200 Milliarden US-Dollar geschätzt; kumulierte Investitionen in führende Frontier-Labs (OpenAI, Anthropic, Google DeepMind, xAI, Meta, Microsoft) haben dreistellige Milliarden-Beträge erreicht.

Regulatorische Rahmen – der EU AI Act mit dem GPAI Code of Practice, US-Executive Orders, das UK AI Safety Institute, nationale Gesetzgebungen in Japan, Südkorea, Kanada, China – haben sich substantiell ausgeweitet. Foundation Models stehen Stand 2025/2026 im Zentrum politischer, wirtschaftlicher und gesellschaftlicher Debatten.

Offene Fragen umfassen Skalierungs-Grenzen aktueller Architekturen, Verlässlichkeit von Reasoning-Modellen, Energie-Effizienz, Detektion synthetischer Inhalte, Verbindung zwischen proprietären und Open-Source-Modellen, und die langfristige Entwicklung embodied-AI- und wissenschaftlicher Foundation Models.

Quellenangaben

Abramson, Josh u. a., 2024. Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3. In: Nature 630 (8016), S. 493–500. DOI: 10.1038/s41586-024-07487-w.
Anderljung, Markus u. a., 2023. Frontier AI Regulation: Managing Emerging Risks to Public Safety. arXiv: 2307.03718.
Anthropic, 2025. Introducing Claude Opus 4.5. Anthropic, 24. November 2025. https://www.anthropic.com/news/claude-opus-4-5
Anthropic, 2025. Claude Sonnet 4.5. anthropic.com/news/claude-sonnet-4-5.
Anthropic, 2026. Introducing Claude Sonnet 5. anthropic.com/news/claude-sonnet-5, 30. Juni 2026.
Bommasani, Rishi / Hudson, Drew A. / Adeli, Ehsan u. a., 2021. On the Opportunities and Risks of Foundation Models. Stanford Center for Research on Foundation Models. arXiv: 2108.07258.
Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
Crawford, Kate, 2021. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence.
Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
Europäische Union, 2024. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz. In: Amtsblatt der Europäischen Union L, 2024/1689, 12. Juli 2024. (Artikel 9 Risikomanagementsystem; Artikel 17 Qualitätsmanagementsystem.)
Google DeepMind, 2025. Gemini 3: Introducing the Latest Gemini AI Model From Google. blog.google/products-and-platforms/products/gemini/gemini-3/, 18. November 2025.
Hayes, Thomas / Rao, Roshan / Akin, Halil / Sofroniew, Nicholas J. u. a., 2024. Simulating 500 Million Years of Evolution with a Language Model. bioRxiv (Preprint). DOI: 10.1101/2024.07.01.600583.
Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
Hu, Edward J. u. a., 2022. LoRA: Low-Rank Adaptation of Large Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2106.09685.
Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
Lam, Remi u. a., 2023. Learning Skillful Medium-Range Global Weather Forecasting. In: Science 382 (6677), S. 1416–1421. DOI: 10.1126/science.adi2336. (GraphCast).
OpenAI, 2025. Introducing GPT-5. openai.com/index/introducing-gpt-5/, August 2025.
OpenAI, 2025. GPT-5.1. openai.com/index/gpt-5-1/.
Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
Schaeffer, Rylan / Miranda, Brando / Koyejo, Sanmi, 2023. Are Emergent Abilities of Large Language Models a Mirage? In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv: 2304.15004.
Stanford CRFM, 2021ff. Center for Research on Foundation Models. crfm.stanford.edu.
Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
Watson, Joseph L. u. a., 2023. De Novo Design of Protein Structure and Function with RFdiffusion. In: Nature 620 (7976), S. 1089–1100. DOI: 10.1038/s41586-023-06415-8.
Wei, Jason u. a., 2022. Emergent Abilities of Large Language Models. In: Transactions on Machine Learning Research. arXiv: 2206.07682.
Zeni, Claudio u. a., 2025. A Generative Model for Inorganic Materials Design. In: Nature 639, S. 624–632. DOI: 10.1038/s41586-025-08628-5.

← Zurück zur Lexikon-Übersicht