Transformer (Maschinelles Lernen)

Transformer bezeichnet eine 2017 von Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser und Illia Polosukhin bei Google Brain und Google Research entwickelte Architektur künstlicher neuronaler Netze, die Sequenzdaten – ursprünglich Text in der maschinellen Übersetzung – ohne Rekurrenz oder Konvolution allein durch Self-Attention-Mechanismen verarbeitet.

Die einführende Arbeit Attention Is All You Need (NeurIPS 2017, arXiv: 1706.03762) ist mit über 175.000 Zitationen (Stand 2025) eine der meistzitierten Publikationen der gesamten Informatik. Die Transformer-Architektur bildet die methodische Grundlage praktisch aller heutigen großen Sprachmodelle und hat sich seit etwa 2020 auch in Computer Vision, Audioverarbeitung, Strukturbiologie und weiteren Anwendungsfeldern weitgehend durchgesetzt.

Zusammenfassung

Vor 2017 wurden Sequenzdaten in der KI-Forschung überwiegend mit Recurrent Neural Networks (RNNs) und ihren Erweiterungen Long Short-Term Memory (LSTM, Hochreiter/Schmidhuber 1997) und Gated Recurrent Units (GRU, Cho u. a. 2014) verarbeitet. Diese Architekturen durchlaufen die Sequenz schrittweise von links nach rechts und führen dabei einen internen Zustand mit.

Diese rekurrente Verarbeitung ist sequenzlängenabhängig nicht parallelisierbar und leidet bei langen Sequenzen unter dem Vanishing-Gradient-Problem.

Die Transformer-Architektur ersetzt die rekurrente Verarbeitung durch eine vollständig parallelisierbare Operation, in der jede Position der Sequenz gleichzeitig auf alle anderen Positionen „achten” kann (Self-Attention). Diese architektonische Wahl ermöglichte die Skalierung auf zuvor nicht erreichbare Modellgrößen, lange Kontextfenster und massiv parallelisiertes Training auf modernen GPUs und TPUs.

Zwischen 2017 und 2025 sind die wichtigen Folgearchitekturen entstanden – BERT (Devlin u. a. 2018, bidirektional), GPT (Radford u. a. 2018ff., dekodier-basiert autoregressiv), T5 (Raffel u. a. 2020, vereinheitlichte Text-zu-Text-Formulierung) und die gesamte Familie großer Sprachmodelle (Claude, Gemini, Llama).

Mit dem Vision Transformer (Dosovitskiy u. a. 2020) hat die Architektur die Grenzen der Sprachverarbeitung überschritten und sich auf Bilder, Audio, Multimodalität und Strukturbiologie (AlphaFold 2 nutzt Transformer-Komponenten) ausgeweitet.

Begriffsgeschichte

Attention-Mechanismen vor 2017

Die zentrale konzeptuelle Komponente – der Attention-Mechanismus – geht auf eine Arbeit von Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio zurück (Neural Machine Translation by Jointly Learning to Align and Translate, ICLR 2015, arXiv 1409.0473).

Sie führte Attention als Ergänzung der damaligen Encoder-Decoder-RNN-Architekturen ein: Statt den gesamten Eingabesatz in einen festen Vektor zu komprimieren, durfte der Decoder zu jedem Übersetzungsschritt unterschiedliche Teile der Eingabe unterschiedlich gewichten.

Parallel entwickelten Luong, Pham und Manning (Effective Approaches to Attention-based Neural Machine Translation, EMNLP 2015) verfeinerte Varianten.

Attention Is All You Need (2017)

Die zentrale Innovation der Vaswani-Gruppe bestand in der Beobachtung, dass die Rekurrenz für den Erfolg von Attention-Modellen nicht erforderlich ist: Wenn Attention selbst hinreichend mächtig ist, kann die rekurrente Komponente vollständig entfallen.

Die titelgebende Behauptung „Attention Is All You Need” – Attention ist alles, was man braucht – ist in der Sekundärliteratur als eines der ikonischen Statements der jüngeren KI-Geschichte rezipiert worden.

Die ursprüngliche Transformer-Architektur war als Encoder-Decoder-Modell für maschinelle Übersetzung konzipiert: ein Encoder, der die Eingabesequenz verarbeitet, und ein Decoder, der die Übersetzung autoregressiv erzeugt. Bei den WMT-2014-Übersetzungsbenchmarks (Englisch–Deutsch, Englisch–Französisch) erreichte das Modell die damaligen Spitzenwerte bei substantiell reduziertem Rechenaufwand.

Erste Anwendungswelle (2018–2020)

Innerhalb weniger Monate nach der Originalpublikation entstanden drei einflussreiche Modellfamilien, die jeweils nur einen Teil der Encoder-Decoder-Architektur nutzen:

BERT (Bidirectional Encoder Representations from Transformers; Devlin, Chang, Lee, Toutanova, Google, NAACL 2019) nutzt nur den Encoder-Teil und wird durch Masked Language Modeling trainiert – zufällig maskierte Tokens werden vorhergesagt. BERT prägte die Verarbeitung verstehender (nicht generierender) NLP-Aufgaben.

GPT (Generative Pre-trained Transformer; Radford, Narasimhan, Salimans, Sutskever, OpenAI 2018) nutzt nur den Decoder-Teil und wird durch autoregressive Vorhersage des nächsten Tokens trainiert. GPT-1 (117 Mio. Parameter, 2018), GPT-2 (1,5 Mrd. Parameter, 2019), GPT-3 (175 Mrd. Parameter, 2020) sind die Stufen der frühen Skalierungsgeschichte.

T5 (Text-to-Text Transfer Transformer; Raffel u. a., Google, JMLR 2020) reformuliert alle NLP-Aufgaben als Text-zu-Text-Probleme und nutzt die vollständige Encoder-Decoder-Architektur.

Skalierungsphase (ab 2020)

Mit Kaplans Aufsatz Scaling Laws for Neural Language Models (Kaplan u. a., OpenAI 2020) und Hoffmanns Training Compute-Optimal Large Language Models (Hoffmann u. a., DeepMind 2022, Chinchilla) wurde die Skalierungshypothese empirisch erhärtet. Verluste fallen demnach vorhersagbar entlang von Potenzgesetzen ab, sobald Modellgröße, Datenmenge und Rechenbudget gemeinsam skaliert werden.

Diese Skalierungsbefunde sind die ökonomische Grundlage der seitherigen Investitionen in immer größere Modelle.

Die Veröffentlichung von ChatGPT im November 2022 (OpenAI, GPT-3.5) markierte den Übergang zur öffentlichen Wahrnehmung großer Sprachmodelle. Es folgten GPT-4 (OpenAI, März 2023), Claude (Anthropic, ab 2023), Gemini (Google DeepMind, ab Dezember 2023), Llama (Meta, ab Februar 2023), Mistral (ab 2023) und DeepSeek (insbesondere DeepSeek-R1, 2025).

Ausweitung auf andere Modalitäten (ab 2020)

Vision Transformer (ViT; Dosovitskiy u. a., ICLR 2021, arXiv 2010.11929) wendet die Architektur auf Bilder an, indem das Bild in eine Sequenz von Patches zerlegt wird. ViT erreichte und übertraf die Leistung von Convolutional Neural Networks in vielen Computer-Vision-Benchmarks und löste eine breite Transformer-isierung der Computer-Vision-Forschung aus.

Weitere bekannte Anwendungen umfassen die Whisper-Modellfamilie für Spracherkennung (Radford u. a., OpenAI 2022) sowie MusicLM und AudioLM für Audioverarbeitung. In der Strukturbiologie revolutionierte AlphaFold 2 (Jumper u. a., Nature 2021) die Vorhersage von Proteinstrukturen und trug 2024 zum Chemie-Nobelpreis (Demis Hassabis, John Jumper) bei.

Architektur

Tokenisierung und Embeddings

Eine Eingabesequenz wird zunächst in Tokens zerlegt – bei Sprachmodellen typischerweise Subwörter durch Verfahren wie Byte Pair Encoding (BPE), WordPiece oder SentencePiece. Jedes Token wird durch eine Embedding-Tabelle in einen dichten Vektor (typisch 512 bis 12.288 Dimensionen) abgebildet.

Positional Encoding

Da Self-Attention positionsunabhängig operiert, würde das Modell ohne zusätzliche Positionsinformation eine Sequenz und ihre Permutation identisch behandeln.

Die Originalarchitektur addiert sinusoidal positional encodings – feste Sinus- und Kosinus-Funktionen unterschiedlicher Frequenzen – zu den Token-Embeddings. Spätere Varianten nutzen learned positional embeddings, relative positional encodings (Shaw u. a. 2018) oder Rotary Positional Embeddings (RoPE, Su u. a. 2021), die in modernen Architekturen dominieren.

Self-Attention und Multi-Head-Attention

Der zentrale Mechanismus ist die Scaled Dot-Product Attention: Für jedes Token werden drei Vektoren berechnet – Query (Q), Key (K) und Value (V) – als lineare Projektionen des Token-Embeddings. Die Attention-Gewichte ergeben sich aus dem skalierten Skalarprodukt der Query mit allen Keys, normalisiert durch eine Softmax-Funktion:

Attention(Q, K, V) = softmax(Q·Kᵀ / √dₖ) · V

Diese Operation bestimmt, wie stark jedes Token „auf” jedes andere Token achtet und mischt entsprechend deren Wert-Vektoren in den Output. Die Skalierung durch √dₖ (Wurzel der Key-Dimension) verhindert, dass die Skalarprodukte bei hochdimensionalen Vektoren in Sättigungsbereiche der Softmax-Funktion geraten.

Multi-Head-Attention führt diese Operation parallel mit mehreren Sätzen unterschiedlicher Q-, K-, V-Projektionen durch (typisch 8, 16, 32 oder mehr Köpfe) und konkateniert die Ergebnisse. Die Idee ist, dass unterschiedliche Köpfe unterschiedliche Beziehungsmuster lernen können – etwa syntaktische versus semantische Bezüge.

Feedforward-Block

Auf jeden Attention-Block folgt ein Feedforward-Netz – typisch eine zweischichtige voll verbundene Architektur mit einer ReLU- oder GELU-Aktivierungsfunktion in der mittleren Schicht. Diese Komponente erlaubt nichtlineare Transformationen der Token-Repräsentationen.

Residualverbindungen und Layer Normalization

Jede Attention- und Feedforward-Schicht ist von einer Residualverbindung (He u. a. 2015) und einer Layer Normalization (Ba, Kiros, Hinton 2016) umgeben. Diese Komponenten ermöglichen das stabile Training sehr tiefer Architekturen.

Encoder, Decoder und Decoder-only

Die Originalarchitektur kombiniert einen Encoder-Stack (selbst-aufmerksam auf der Eingabe) und einen Decoder-Stack (selbst-aufmerksam auf der bereits generierten Ausgabe plus Cross-Attention auf die Encoder-Repräsentation).

Die meisten heutigen großen Sprachmodelle (GPT-Familie, Claude, Llama) sind dagegen Decoder-only – eine reine autoregressive Architektur, in der jedes Token nur auf vorausgehende Tokens aufmerksam wird (Causal Attention durch Maskierung).

Tiefe und Parameteranzahl

Typische Transformer-Architekturen umfassen 12 bis 96 Schichten (Layer-Stacks). Die Modellgröße – gemessen an der Gesamtzahl trainierbarer Parameter – reicht von etwa 100 Millionen (BERT-Base, GPT-2 Small; Devlin u. a. 2019; Radford u. a. 2019) bis weit über eine Billion (Mixture-of-Experts-Modelle wie GPT-4, Claude-3.5 Sonnet, Gemini 1.5 Pro). Deren genaue Parameteranzahlen sind oft nicht offiziell publiziert, werden in der Sekundärliteratur aber auf 1–2 Billionen geschätzt.

Anwendungen

Sprachverarbeitung

Transformer sind die Grundlage praktisch aller heutigen großen Sprachmodelle. Anwendungen umfassen Chatbots und Assistenzsysteme (ChatGPT, Claude, Gemini, Copilot), maschinelle Übersetzung (Google Translate, DeepL), Codegenerierung (GitHub Copilot, Cursor, Claude Code), Zusammenfassung, Informationsextraktion und Frage-Antwort-Systeme.

Computer Vision

Seit etwa 2020 sind Transformer-Architekturen (Vision Transformer, Swin Transformer, DETR für Objektdetektion, SAM für Segmentierung) in praktisch allen Computer-Vision-Anwendungen präsent. In vielen Benchmarks haben sie die zuvor dominanten Convolutional Neural Networks ergänzt oder verdrängt.

Audio und Multimodalität

Whisper (OpenAI 2022) für Spracherkennung, MusicLM und AudioLM für Musikerzeugung, sowie multimodale Modelle wie GPT-4o, Claude 3 Opus mit Vision, Gemini 1.5 (mit nativer Audio- und Videoverarbeitung) und ähnliche Modelle nutzen Transformer-Architekturen für die einheitliche Verarbeitung mehrerer Datenmodalitäten.

Naturwissenschaftliche Anwendungen

In der Strukturbiologie nutzt AlphaFold 2 (DeepMind 2021, Nature) Transformer-Komponenten zur Vorhersage von Proteinstrukturen – ein Beitrag, der 2024 zum Chemie-Nobelpreis führte. In der Materialwissenschaft (GNoME, DeepMind 2023), in der Wettervorhersage (GraphCast, GenCast) und in zahlreichen weiteren Domänen sind Transformer-basierte Modelle wesentlich.

Effizienz und Skalierungsprobleme

Die zentrale rechnerische Schwäche der Standard-Transformer ist die quadratische Skalierung des Self-Attention-Mechanismus mit der Sequenzlänge – bei n Tokens müssen n² Attention-Werte berechnet werden. Diese Skalierung wird bei langen Kontextfenstern (32k, 128k, 1M Tokens) zum praktischen Engpass.

Eine Reihe von Effizienzvarianten adressiert dieses Problem: Sparse Attention (Child u. a. 2019, Sparse Transformer), Linformer (Wang u. a. 2020), Performer (Choromanski u. a. 2021) und Longformer (Beltagy, Peters, Cohan 2020). Hinzu kommen FlashAttention (Dao u. a. 2022) als hardware-optimierte Implementierung der exakten Attention und seit 2023 zunehmend Mixture of Experts (MoE) als Skalierungsstrategie.

Alternativarchitekturen wie Mamba (Gu/Dao 2023, basierend auf State Space Models) und RWKV haben in spezifischen Domänen Aufmerksamkeit erregt, ohne die Transformer-Dominanz bislang abzulösen.

Seit Herbst 2025 haben mehrere Anbieter hybride Architekturen aus State-Space-Layern und klassischer Attention produktiv veröffentlicht. IBM stellte am 2. Oktober 2025 die Granite-4.0-Modellfamilie vor, deren Hybrid-Varianten (Granite-4.0-H) Mamba-2-Schichten und Self-Attention-Blöcke im Verhältnis von etwa 9:1 verschachteln.

Das soll den Arbeitsspeicherbedarf bei langen Kontexten und Mehrfach-Sitzungen laut Herstellerangabe (IBM Research 2025) um über 70 Prozent gegenüber reinen Transformer-Modellen reduzieren.

Damit hat die Hybridisierung von State-Space-Modellen und Transformern erstmals den Sprung von der Forschungsarchitektur zu einem breit verfügbaren Produktivmodell vollzogen, ohne dass reine Decoder-only-Transformer (GPT-, Claude-, Gemini-Familien) ihre Dominanz im Frontier-Segment eingebüßt hätten.

Kritik

Substantielle Kritik richtet sich auf mehrere Linien:

Rechenintensität und ökologische Kosten: Das Training großer Transformer-Modelle erfordert massive Rechenleistung, Wasser- und Energieressourcen. Strubell, Ganesh, McCallum (2019) und Patterson u. a. (2021) haben die Größenordnungen quantifiziert; einzelne Trainingsläufe großer Frontier-Modelle verbrauchen Energie in der Größenordnung von Hunderten oder Tausenden US-Haushalten pro Jahr.

Stochastic-Parrot-Kritik: Bender, Gebru, McMillan-Major und Shmitchell (2021, On the Dangers of Stochastic Parrots) argumentieren, dass große Sprachmodelle statistische Muster reproduzieren, ohne die zugrundeliegenden Bedeutungen zu verstehen – die Auseinandersetzung über die Tragfähigkeit dieser Diagnose ist eine zentrale Debatte der jüngeren KI-Sprachforschung.

Interpretierbarkeit: Trotz aktiver Forschung in Mechanistic Interpretability bleibt das interne Funktionieren großer Transformer-Modelle nur partiell verstanden. Anthropics Toy Models of Superposition (Elhage u. a. 2022) und Scaling Monosemanticity (Templeton u. a. 2024) sind Versuche, die in der Praxis weiterhin auf Frontier-Modell-Skala begrenzt sind.

Bias und Halluzinationen: Transformer-Modelle reproduzieren Verzerrungen ihrer Trainingsdaten und erzeugen Halluzinationen – selbstbewusst formulierte, aber faktisch unzutreffende Ausgaben. Beide Phänomene sind aktive Forschungsfelder und Gegenstand von Regulierungsdiskussionen.

Urheberrechtsfragen: Die Trainingsdaten großer Transformer-Modelle umfassen typischerweise große Mengen urheberrechtlich geschützter Texte und Bilder. Eine Reihe von Klagen (insbesondere New York Times v. OpenAI 2023, Getty Images v. Stability AI 2023, Disney/Universal v. Midjourney 2025) ist Gegenstand laufender juristischer Auseinandersetzungen.

Stand 2025/2026

Die Transformer-Architektur bleibt das technische Substrat der dominierenden KI-Systeme.

Die jüngere Forschung konzentriert sich auf Reasoning-Modelle (OpenAI o1/o3, DeepSeek R1, Claude mit Extended Thinking), die mehr Inferenz-Berechnung in mehrstufige Argumentationsketten investieren, sowie auf agentische Systeme mit Werkzeuggebrauch und mehrstufiger Aufgabenausführung.

Hinzu kommen längere und multimodale Kontextfenster sowie alternative Architekturen (Mamba, RWKV, Hybrid-Architekturen), die in spezifischen Anwendungen mit Transformer konkurrieren, ohne sie bislang im breiten Anwendungsspektrum abzulösen.

Parallel intensivieren sich Forschungslinien zu Interpretierbarkeit, Sicherheit, Effizienz und energieeffizienter Hardware.

Verwandte Begriffe

• GPT / BERT / T5 – wichtige Modellfamilien
• Large Language Models (LLMs) – Hauptanwendungsklasse
• Positional Encoding – Komponente
• Scaling Laws – empirisches Skalierungsphänomen
• Multi-Head-Attention – Erweiterung

Quellenangaben

1. Ba, Jimmy Lei / Kiros, Jamie Ryan / Hinton, Geoffrey E., 2016. Layer Normalization. arXiv: 1607.06450.
2. Bahdanau, Dzmitry / Cho, Kyunghyun / Bengio, Yoshua, 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In: Proceedings of the International Conference on Learning Representations (ICLR 2015). arXiv: 1409.0473.
3. Beltagy, Iz / Peters, Matthew E. / Cohan, Arman, 2020. Longformer: The Long-Document Transformer. arXiv: 2004.05150.
4. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
5. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
6. Child, Rewon / Gray, Scott / Radford, Alec / Sutskever, Ilya, 2019. Generating Long Sequences with Sparse Transformers. arXiv: 1904.10509.
7. Cho, Kyunghyun u. a., 2014. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), S. 1724–1734. DOI: 10.3115/v1/D14-1179.
8. Choromanski, Krzysztof u. a., 2021. Rethinking Attention with Performers. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.14794.
9. Dao, Tri / Fu, Daniel Y. / Ermon, Stefano / Rudra, Atri / Ré, Christopher, 2022. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2205.14135.
10. Devlin, Jacob u. a., 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv: 1810.04805.
11. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
12. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
13. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
14. Elhage, Nelson u. a., 2022. Toy Models of Superposition. In: Transformer Circuits Thread, Anthropic. arXiv: 2209.10652.
15. Gu, Albert / Dao, Tri, 2023. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv: 2312.00752.
16. He, Kaiming / Zhang, Xiangyu / Ren, Shaoqing / Sun, Jian, 2016. Deep Residual Learning for Image Recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), S. 770–778. DOI: 10.1109/CVPR.2016.90. Zuerst erschienen als Preprint arXiv: 1512.03385, Dezember 2015.
17. Hochreiter, Sepp / Schmidhuber, Jürgen, 1997. Long Short-Term Memory. In: Neural Computation 9 (8), S. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
18. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).
19. IBM Research, 2025. Granite 4.0: Hybrid Mamba-2/Transformer Language Models. research.ibm.com, 2. Oktober 2025.
20. Jumper, John / Evans, Richard / Pritzel, Alexander u. a., 2021. Highly Accurate Protein Structure Prediction with AlphaFold. In: Nature 596 (7873), S. 583–589. DOI: 10.1038/s41586-021-03819-2.
21. Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
22. Luong, Minh-Thang / Pham, Hieu / Manning, Christopher D., 2015. Effective Approaches to Attention-based Neural Machine Translation. In: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), S. 1412–1421. DOI: 10.18653/v1/D15-1166.
23. Radford, Alec / Narasimhan, Karthik / Salimans, Tim / Sutskever, Ilya, 2018. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
24. Radford, Alec u. a., 2019. Language Models are Unsupervised Multitask Learners. OpenAI Technical Report. (GPT-2).
25. Raffel, Colin u. a., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. In: Journal of Machine Learning Research 21, S. 1–67. arXiv: 1910.10683. (T5).
26. Shaw, Peter / Uszkoreit, Jakob / Vaswani, Ashish, 2018. Self-Attention with Relative Position Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), S. 464–468. arXiv: 1803.02155.
27. Su, Jianlin / Lu, Yu / Pan, Shengfeng / Murtadha, Ahmed / Wen, Bo / Liu, Yunfeng, 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv: 2104.09864.
28. Templeton, Adly u. a., 2024. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. In: Transformer Circuits Thread, Anthropic.
29. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
30. Wang, Sinong / Li, Belinda Z. / Khabsa, Madian / Fang, Han / Ma, Hao, 2020. Linformer: Self-Attention with Linear Complexity. arXiv: 2006.04768.

← Zurück zur Lexikon-Übersicht