Pre-Training

Pre-Training (deutsch Vortraining) bezeichnet im maschinellen Lernen die erste und üblicherweise rechenintensivste Phase der Trainingspipeline eines neuronalen Modells, in der das Modell auf einer großen, allgemein gehaltenen Datenmenge mit einem selbstüberwachten oder unüberwachten Lernziel trainiert wird.

In einer zweiten Phase wird es dann – typischerweise durch Fine-Tuning, Instruction Tuning oder Reinforcement Learning from Human Feedback – auf konkrete Aufgaben oder Verhaltensweisen angepasst.

Das Pretrain-Finetune-Paradigma wurde im modernen Sinn 2018 durch GPT-1 (Radford u. a., OpenAI) und BERT (Devlin u. a., Google) für die Sprachverarbeitung etabliert; es ist seither die methodische Grundlage praktisch aller leistungsfähigen Sprach-, Bild- und Multimodalitäts-Modelle.

Bei großen Sprachmodellen ist Causal Language Modeling – die Vorhersage des nächsten Tokens in einer Sequenz – die dominante Form des Pre-Training-Ziels.

Zusammenfassung

Pre-Training beruht auf der Beobachtung, dass viele Aufgaben des maschinellen Lernens gemeinsame Grundlagen haben – sprachliche, visuelle, strukturelle –, die in einem einzigen breit angelegten Trainingsschritt erlernt und anschließend für zahlreiche nachgelagerte Anwendungen wiederverwendet werden können.

Das Modelltraining zerfällt damit in zwei klar getrennte Phasen: zuerst eine teure, langlaufende Pre-Training-Phase auf großen, häufig öffentlich verfügbaren Datenmengen mit selbstüberwachten Lernzielen (Vorhersage maskierter oder nächster Tokens, Denoising, kontrastive Lernziele).

Danach folgt eine deutlich günstigere Downstream-Phase, in der das vortrainierte Modell durch Fine-Tuning, Instruction Tuning oder Prompt Engineering für konkrete Aufgaben oder Verhaltensweisen nutzbar gemacht wird.

Bei großen Sprachmodellen umfasst die Pre-Training-Phase typischerweise die Verarbeitung mehrerer Billionen Tokens und kostet (Stand 2025/2026) Millionen bis Hunderte Millionen US-Dollar pro Modell.

Drei Designentscheidungen prägen die heutige Praxis maßgeblich:

• erstens die Wahl des selbstüberwachten Lernziels (Causal Language Modeling, Masked Language Modeling, Denoising, kontrastiv);
• zweitens die Datenkuratierung (Web-Crawling, Filterung, Deduplizierung, Mischung verschiedener Quellen);
• drittens die Skalierungsentscheidung zwischen Modellgröße, Datenmenge und Rechenleistung im Verhältnis nach den Scaling Laws (Kaplan u. a., OpenAI 2020) und der späteren Chinchilla-Korrektur (Hoffmann u. a., DeepMind 2022).

Begriffsgeschichte

Frühformen: Transfer Learning in der Computer Vision

Der Gedanke des Transfer Learning – gelernte Repräsentationen aus einer Aufgabe für andere zu nutzen – hat eine längere Geschichte. In der Computer-Vision-Forschung der frühen 2010er Jahre etablierte sich die Praxis, Convolutional Neural Networks auf der ImageNet-Datenbank vorzutrainieren und die gelernten Merkmalsextraktoren anschließend als Backbone für spezifischere Aufgaben (Objektdetektion, Segmentierung, medizinische Bildanalyse) zu nutzen.

AlexNet (Krizhevsky/Sutskever/Hinton 2012), VGGNet (Simonyan/Zisserman 2015) und ResNet (He u. a. 2016) wurden auf diese Weise zu Standardkomponenten der Bildverarbeitung.

In der Sprachverarbeitung etablierten sich parallel Wort-Embedding-Verfahren wie word2vec (Mikolov u. a. 2013) und GloVe (Pennington, Socher, Manning 2014); sie produzierten vortrainierte Wort-Vektoren, die als Eingangsschicht spezialisierter Modelle verwendet werden konnten – eine frühe Form sprachspezifischen Vortrainings, allerdings noch kontextfrei.

Kontextabhängiges Vortraining (2018)

Eine entscheidende Verschiebung erfolgte 2018 mit drei eng aufeinanderfolgenden Arbeiten:

ELMo (Peters u. a., NAACL 2018, Deep Contextualized Word Representations) führte das Vortraining ganzer LSTM-basierter Sprachmodelle ein, deren Aktivierungen als kontextabhängige Wortrepräsentationen für nachgelagerte Modelle verwendet wurden.

GPT-1 (Radford, Narasimhan, Salimans, Sutskever, OpenAI Juni 2018, Improving Language Understanding by Generative Pre-Training) etablierte das heute kanonische Pretrain-Finetune-Paradigma für Transformer-Modelle. Ein Decoder-only-Transformer wird dabei durch Causal Language Modeling auf einem großen Textkorpus (BooksCorpus, etwa 7.000 Bücher; Radford u. a. 2018) vortrainiert und anschließend für nachgelagerte Aufgaben finegetunt.

BERT (Devlin, Chang, Lee, Toutanova, Google Oktober 2018; NAACL 2019, Bidirectional Encoder Representations from Transformers) führte das Masked Language Modeling (MLM) als alternatives Pre-Training-Ziel ein: 15 % der Tokens werden zufällig maskiert, und das Modell muss sie aus dem Kontext rekonstruieren.

Im Unterschied zu GPT verarbeitet BERT die Sequenz bidirektional, was es für Verstehensaufgaben (Klassifikation, Frage-Antwort, Named-Entity-Recognition) besonders geeignet macht.

Skalierungsphase (2019–2022)

Die folgenden Jahre waren geprägt von kontinuierlicher Skalierung der Pre-Training-Setups. GPT-2 (1,5 Mrd. Parameter, WebText), GPT-3 (175 Mrd. Parameter, etwa 300 Mrd. Trainings-Tokens aus CommonCrawl, WebText2, Books1/2, Wikipedia), Megatron-LM (NVIDIA), T5 (Google, Colossal Clean Crawled Corpus C4) und PaLM (Google 2022, 540 Mrd. Parameter, 780 Mrd. Tokens) prägten diese Phase.

Zusammen verschoben sie die typischen Trainingsdatenmengen vom Milliarden- in den Billionen-Bereich.

Die Scaling Laws (Kaplan u. a., OpenAI 2020) zeigten empirisch, dass Modellverlust, Modellgröße, Datenmenge und Rechenleistung in robusten Potenzgesetzen miteinander verknüpft sind.

Die Chinchilla-Arbeit (Hoffmann u. a., DeepMind 2022, Training Compute-Optimal Large Language Models) korrigierte diese Befunde substantiell: Bei festem Rechenbudget sollte für jeden Modellparameter etwa 20 Trainings-Tokens aufgewendet werden – viele damalige Modelle waren relativ zu ihrer Größe deutlich unterausgebildet.

Datenintensive Phase (ab 2023)

Mit Llama (Meta Februar 2023, etwa 1,4 Billionen Tokens), Llama 2 (Juli 2023, 2 Billionen), Llama 3 (April 2024, über 15 Billionen) und nachfolgenden Modellen wurde die Chinchilla-Empfehlung in der Praxis weit überschritten.

Solche Chinchilla-überoptimierten Modelle nutzen mehr Trainings-Tokens als trainings-compute-optimal wäre, weil die Inferenz-Kosten – die im Betrieb anfallen – dadurch substantiell sinken. Diese Verschiebung markiert eine zweite Phase der Skalierungsdebatte, in der die Inferenz-Effizienz gegenüber der Trainings-Effizienz an Bedeutung gewonnen hat.

Datenqualität und synthetische Daten (ab 2024)

Seit etwa 2024 zeichnet sich eine weitere Phase ab, in der die Datenqualität zunehmend als limitierender Faktor erkannt wird. Microsofts Phi-Modellreihe (Gunasekar u. a. 2023, Textbooks Are All You Need; Phi-3 2024, Phi-4 2024) demonstrierte, dass kleinere Modelle mit sorgfältig kuratierten und teils synthetisch generierten Daten Leistungen erreichen können, die zuvor nur deutlich größeren Modellen zugeschrieben wurden.

Anthropic, OpenAI und DeepMind verwenden zunehmend synthetische Daten und gezielte Datenfilterung; Llama 3 nutzte eine eigens trainierte Datenklassifikator-Pipeline zur Qualitätsfilterung der CommonCrawl-Inhalte.

Pre-Training-Lernziele

Causal Language Modeling (CLM)

Das in heutigen Frontier-LLMs dominierende Lernziel: Bei gegebener Sequenz x₁, x₂, …, xₜ₋₁ soll das Modell die Wahrscheinlichkeitsverteilung P(xₜ | x₁, …, xₜ₋₁) lernen und das nächste Token vorhersagen. Mathematisch wird die Verlustfunktion als Cross-Entropy zwischen vorhergesagter und tatsächlicher Token-Verteilung berechnet:

L = − Σₜ log P(xₜ | x₁, …, xₜ₋₁)

Dieses Ziel ist selbstüberwacht – es benötigt keine menschlichen Annotationen, sondern nur Rohtext – und skaliert nahezu beliebig mit der verfügbaren Textmenge. Die GPT-Familie (Radford u. a. 2018ff.), Llama, Claude, Gemini, Mistral und DeepSeek nutzen CLM als Hauptlernziel.

Masked Language Modeling (MLM)

In BERT und verwandten Encoder-Modellen werden zufällig 15 % der Tokens durch ein spezielles [MASK]-Token ersetzt (Devlin u. a. 2019); das Modell muss die Originale rekonstruieren. MLM ist bidirektional – das Modell sieht sowohl linken als auch rechten Kontext – und besonders geeignet für Verstehensaufgaben. Varianten umfassen Whole Word Masking, Span Masking (in T5 und BART), Replaced Token Detection (ELECTRA, Clark u. a. 2020).

Denoising-Ziele

Modelle wie BART (Lewis u. a. 2020) und T5 (Raffel u. a. 2020) nutzen Denoising-Lernziele: Die Eingabe wird durch verschiedene Korruptionsoperationen (Maskierung, Permutation, Löschung, Span-Ersetzung) beschädigt, und das Modell muss die ursprüngliche Sequenz rekonstruieren. Diese Lernziele kombinieren Eigenschaften von CLM und MLM.

Kontrastive Lernziele

In multimodalen Modellen wie CLIP (Radford u. a. 2021, OpenAI) und ALIGN (Jia u. a. 2021, Google) werden Text- und Bild-Encoder so trainiert, dass semantisch entsprechende Paare (Bild und passender Bildtitel) ähnliche Embeddings erhalten, nicht passende unähnliche. Dieses kontrastive Lernziel ist die Grundlage moderner Text-zu-Bild-Modelle und multimodaler Suchsysteme.

Multitask-Pre-Training

T5 und Modelle wie Flan-T5 (Chung u. a. 2022) wurden auf vielen heterogenen Aufgaben gleichzeitig vortrainiert, jeweils als Text-zu-Text-Probleme formuliert. Multitask-Pre-Training verbessert nachweislich die Generalisierungsfähigkeit auf neue Aufgaben.

Trainingsdaten

Datenquellen

Typische Trainingsdaten großer Sprachmodelle umfassen mehrere Kategorien:

Web-Crawls: CommonCrawl (mehrere Petabyte Rohdaten), C4 (Colossal Clean Crawled Corpus, Raffel u. a. 2020), RefinedWeb (Penedo u. a. 2023, TII), FineWeb (Penedo u. a. 2024, HuggingFace; etwa 15 Billionen Tokens).

Bücher: BooksCorpus (Zhu u. a. 2015, etwa 11.000 Bücher, urheberrechtlich strittig), Books3 (Teil von The Pile), Project Gutenberg.

Wissenschaftliche Publikationen: arXiv, PubMed, S2ORC.

Code: GitHub, StackOverflow; spezialisierte Korpora wie The Stack (BigCode 2022) und The Stack v2 (2024).

Strukturierte Inhalte: Wikipedia (mehrsprachig), Wikinews, Wiktionary.

Synthetische Daten: zunehmend zentral, generiert von kleineren oder größeren Modellen, teils mit nachgelagerten Verifikationsschritten.

Datenkuratierung

Die Rohdaten werden typischerweise mehrstufig gefiltert:

• Sprachidentifikation (häufig zugunsten von Englisch und einer kleinen Auswahl weiterer Sprachen)
• Qualitätsfilterung durch Heuristiken oder trainierte Klassifikatoren
• Deduplizierung auf Dokumenten- und Subdokumentebene (MinHash, fuzzy matching)
• Entfernung problematischer Inhalte (Hass, sexueller Inhalt, persönliche Daten – PII Filtering)
• Toxizitätsfilterung

Die genaue Kurationspipeline gehört zu den bestgehüteten Komponenten kommerzieller Frontier-Modelle.

Datenmischung

Die Mischung der verschiedenen Quellen – Anteil Web vs. Bücher vs. Code vs. Wissenschaft im endgültigen Trainingsdatensatz – beeinflusst die Modellfähigkeiten substantiell. Frühe Modelle nutzten heuristisch gewählte Mischungen; jüngere Arbeiten wie DoReMi (Xie u. a. 2023) und Data Mixing Laws (Ye u. a. 2024) versuchen, optimale Mischungen empirisch oder analytisch zu bestimmen.

Rechen- und Infrastrukturanforderungen

Das Pre-Training großer Sprachmodelle gehört zu den rechenintensivsten Operationen der gegenwärtigen Datenverarbeitung. Typische Größenordnungen (Stand 2025/2026):

GPT-3 (175 Mrd. Parameter, 2020): etwa 3.640 Petaflop-Tage Rechenleistung, geschätzte Kosten 4–12 Millionen US-Dollar.

PaLM (540 Mrd. Parameter, 2022): etwa 2.500 Petaflop-Tage; auf etwa 6.144 TPU-v4-Chips trainiert.

Llama 3 405B (2024): geschätzt 16.000 H100-Karten über mehrere Monate.

Llama 4 (Meta, veröffentlicht April 2025): Laut einer Aussage Mark Zuckerbergs vom Oktober 2024 wurde das Modell auf einem Cluster von mehr als 100.000 Nvidia-H100-GPUs trainiert – ein Vervielfaches des für Llama 3 genutzten Clusters.

Frontier-Modelle 2025/2026: Schätzungen im Bereich 10²⁵ bis 10²⁶ Floating-Point-Operationen. Die Trainingskosten liegen bei 100 Millionen US-Dollar und mehr, bei einzelnen Frontier-Modellen (etwa GPT-5, OpenAI, August 2025) nach Sekundärquellen im hohen dreistelligen Millionen- bis niedrigen Milliarden-Dollar-Bereich, wobei genaue Zahlen von den Anbietern nicht offiziell bestätigt werden.

Diese Größenordnungen erfordern hochspezialisierte Infrastrukturen: NVIDIA-GPU-Cluster mit H100- oder B200-Karten, Google-TPU-Pods (v4, v5p, v6/Trillium), Amazons Trainium-Chips, AMD Instinct MI300.

Parallelisierungstechniken – Data Parallelism, Tensor Parallelism (Shoeybi u. a. 2019, Megatron-LM), Pipeline Parallelism (Huang u. a. 2019, GPipe), Sequence Parallelism, Fully Sharded Data Parallelism (FSDP) – sind notwendig, um die Berechnung über tausende Beschleunigerkarten zu verteilen.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Ressourcen- und Energiebedarf: Das Training großer Modelle verursacht erhebliche Treibhausgas-Emissionen sowie Energie- und Wasserverbrauch (Strubell u. a. 2019; Patterson u. a. 2021). Einzelne Trainingsläufe entsprechen dem jährlichen Energieverbrauch von Hunderten bis Tausenden US-Haushalten.

Urheberrecht: Die Trainingsdaten umfassen typischerweise große Mengen urheberrechtlich geschützter Texte, oft ohne explizite Lizenzierung. Eine Reihe von Klagen – The New York Times v. OpenAI (Dezember 2023), Authors Guild v. OpenAI, Getty Images v. Stability AI – ist Gegenstand laufender juristischer Auseinandersetzungen mit international uneinheitlicher Rechtslage.

Daten-Kontamination: Wenn Benchmark-Tests zufällig oder absichtlich in den Trainingsdaten enthalten sind, sind die Benchmark-Ergebnisse nicht aussagekräftig. Test Set Contamination ist ein systematisches Problem (Sainz u. a. 2023; Oren u. a. 2024).

Bias und Verzerrungen: Pre-Training-Daten reproduzieren die Verzerrungen ihrer Quellen – sprachlich (überwiegend Englisch), demographisch, ideologisch. Bender u. a. (2021, On the Dangers of Stochastic Parrots) haben diese Risiken systematisch beschrieben.

Memorisierung und Privatsphäre: Modelle können Teile ihrer Trainingsdaten wortgetreu reproduzieren (Carlini u. a. 2021, 2023). Personenbezogene Daten, geheime Dokumente oder urheberrechtlich geschützte Texte können durch geeignete Prompts aus dem Modell extrahiert werden.

Datenknappheit: Hochwertige Texte in englischer Sprache wurden in jüngeren Trainingsläufen weitgehend ausgeschöpft. Villalobos u. a. (2024) schätzen, dass der Bestand hochwertiger öffentlicher Trainingsdaten zwischen 2026 und 2032 erschöpft sein könnte, was die Bedeutung synthetischer Daten weiter erhöht.

Stand 2025/2026

Pre-Training bleibt im Verlauf der Jahre 2024 bis 2026 die zentrale und teuerste Phase der LLM-Entwicklung.

Die jüngere Forschung konzentriert sich auf vier Linien:

• erstens Datenqualität statt reiner Datenquantität (Phi-Reihe, Llama-3-Datenfilterung);
• zweitens synthetische Daten als Antwort auf Datenknappheit (Modelle generieren Trainingsdaten für andere Modelle);
• drittens kontinuierliches Vortraining (Modelle werden inkrementell mit neuen Daten weitertrainiert, statt jedes Mal komplett neu aufgesetzt);
• viertens multimodales Pre-Training mit Text, Bild, Audio und Video in gemeinsamen Modellen.

Auf der Infrastruktur-Seite steigen die Investitionen: Microsoft/OpenAI haben mit dem Stargate-Projekt (angekündigt 2024–2025) Investitionen in der Größenordnung von 500 Milliarden US-Dollar in Aussicht gestellt; Anthropic, Google und Meta haben ähnlich substantielle Investitionen angekündigt.

Auf der regulatorischen Seite ist Pre-Training zunehmend Gegenstand juristischer Auseinandersetzungen, insbesondere im Zusammenhang mit Urheberrecht (laufende US-Klagen), Datenschutz und EU-AI-Act-Compliance.

Verwandte Begriffe

• Selbstüberwachtes Lernen – methodische Grundlage
• Large Language Models – Hauptanwendungsbereich
• Foundation Models – verwandter Sammelbegriff
• OpenAI – prominenter Entwickler von Pre-Training-Modellen

Quellenangaben

1. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
2. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
3. Carlini, Nicholas u. a., 2021. Extracting Training Data from Large Language Models. In: Proceedings of the 30th USENIX Security Symposium, S. 2633–2650.
4. Carlini, Nicholas / Ippolito, Daphne / Jagielski, Matthew / Lee, Katherine / Tramèr, Florian / Zhang, Chiyuan, 2023. Quantifying Memorization Across Neural Language Models. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2202.07646.
5. Chung, Hyung Won u. a., 2022. Scaling Instruction-Finetuned Language Models. Google. arXiv: 2210.11416.
6. Clark, Kevin / Luong, Minh-Thang / Le, Quoc V. / Manning, Christopher D., 2020. ELECTRA: Pre-training Text Encoders as Discriminators Rather than Generators. In: Proceedings of the International Conference on Learning Representations (ICLR 2020). arXiv: 2003.10555.
7. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
8. Gunasekar, Suriya u. a., 2023. Textbooks Are All You Need. Microsoft Research. arXiv: 2306.11644.
9. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
10. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
11. Huang, Yanping / Cheng, Youlong / Bapna, Ankur / Firat, Orhan / Chen, Mia Xu / Chen, Dehao / Lee, HyoukJoong / Ngiam, Jiquan / Le, Quoc V. / Wu, Yonghui / Chen, Zhifeng, 2019. GPipe: Efficient Training of Giant Neural Networks Using Pipeline Parallelism. In: Advances in Neural Information Processing Systems 32 (NeurIPS 2019). arXiv: 1811.06965.
12. Jia, Chao / Yang, Yinfei / Xia, Ye / Chen, Yi-Ting / Parekh, Zarana / Pham, Hieu / Le, Quoc V. / Sung, Yunhsuan / Li, Zhen / Duerig, Tom, 2021. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2102.05918.
13. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
14. Kocetkov, Denis / Li, Raymond / Ben Allal, Loubna / Li, Jia / Mou, Chenghao / Muñoz Ferrandis, Carlos / Jernite, Yacine / Mitchell, Margaret / Hughes, Sean / Wolf, Thomas / Bahdanau, Dzmitry / von Werra, Leandro / de Vries, Harm, 2022. The Stack: 3 TB of Permissively Licensed Source Code. BigCode Project. arXiv: 2211.15533.
15. Krizhevsky, Alex / Sutskever, Ilya / Hinton, Geoffrey E., 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012), S. 1097–1105.
16. Lewis, Mike u. a., 2020. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), S. 7871–7880. DOI: 10.18653/v1/2020.acl-main.703.
17. Meta AI, 2025. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation. Meta AI Blog, 5. April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/
18. Mikolov, Tomas / Chen, Kai / Corrado, Greg / Dean, Jeffrey, 2013. Efficient Estimation of Word Representations in Vector Space. arXiv: 1301.3781.
19. Morales, Jowi, 2024. Meta Is Using More Than 100,000 Nvidia H100 AI GPUs to Train Llama 4. Tom’s Hardware, 31. Oktober 2024. https://www.tomshardware.com/tech-industry/artificial-intelligence/meta-is-using-more-than-100-000-nvidia-h100-ai-gpus-to-train-llama-4-mark-zuckerberg-says-that-llama-4-is-being-trained-on-a-cluster-bigger-than-anything-that-ive-seen
20. Patterson, David u. a., 2021. Carbon Emissions and Large Neural Network Training. arXiv: 2104.10350.
21. Peebles, William / Xie, Saining, 2023. Scalable Diffusion Models with Transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2212.09748. (DiT).
22. Penedo, Guilherme u. a., 2024. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale. Hugging Face. arXiv: 2406.17557.
23. Penedo, Guilherme / Malartic, Quentin / Hesslow, Daniel / Cojocaru, Ruxandra / Cappelli, Alessandro / Alobeidli, Hamza / Pannier, Baptiste / Almazrouei, Ebtesam / Launay, Julien, 2023. The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only. TII. arXiv: 2306.01116.
24. Pennington, Jeffrey / Socher, Richard / Manning, Christopher D., 2014. GloVe: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1532–1543. DOI: 10.3115/v1/D14-1162.
25. Peters, Matthew E. / Neumann, Mark / Iyyer, Mohit / Gardner, Matt / Clark, Christopher / Lee, Kenton / Zettlemoyer, Luke, 2018. Deep Contextualized Word Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2018), S. 2227–2237. DOI: 10.18653/v1/N18-1202. arXiv: 1802.05365.
26. Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
27. Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
28. Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
29. Sainz, Oscar / Campos, Jon Ander / García-Ferrero, Iker / Etxaniz, Julen / Lopez de Lacalle, Oier / Agirre, Eneko, 2023. NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. In: Findings of the Association for Computational Linguistics: EMNLP 2023. arXiv: 2310.18018.
30. Oren, Yonatan / Meister, Nicole / Chatterji, Niladri / Ladhak, Faisal / Hashimoto, Tatsunori B., 2024. Proving Test Set Contamination in Black-Box Language Models. In: International Conference on Learning Representations (ICLR 2024). arXiv: 2310.17623.
31. Shoeybi, Mohammad u. a., 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv: 1909.08053.
32. Simonyan, Karen / Zisserman, Andrew, 2015. Very Deep Convolutional Networks for Large-Scale Image Recognition. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). Zuerst erschienen als Preprint arXiv: 1409.1556, September 2014.
33. Strubell, Emma / Ganesh, Ananya / McCallum, Andrew, 2019. Energy and Policy Considerations for Deep Learning in NLP. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), S. 3645–3650. DOI: 10.18653/v1/P19-1355.
34. Touvron, Hugo u. a., 2023. LLaMA: Open and Efficient Foundation Language Models. Meta AI. arXiv: 2302.13971.
35. Villalobos, Pablo u. a., 2024. Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2211.04325.
36. Ye, Jiasheng / Liu, Peiju / Sun, Tianxiang / Zhan, Jun / Zhou, Yunhua / Qiu, Xipeng, 2024. Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance. arXiv: 2403.16952.
37. Zhu, Yukun / Kiros, Ryan / Zemel, Richard / Salakhutdinov, Ruslan / Urtasun, Raquel / Torralba, Antonio / Fidler, Sanja, 2015. Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV 2015). arXiv: 1506.06724.

← Zurück zur Lexikon-Übersicht