Vision Transformer

Vision Transformer (Abkürzung ViT) ist eine Klasse von Bildverarbeitungsarchitekturen, die die für natürliche Sprache entwickelte Transformer-Architektur (Vaswani u. a. 2017) direkt auf Bilder anwenden. Das Bild wird dafür in eine Sequenz kleiner rechteckiger Ausschnitte zerlegt – sogenannte Patches. Jeder Patch wird als linearer Einbettungsvektor dargestellt, und die entstehende Sequenz durchläuft Self-Attention-Mechanismen.

Die konstitutive Arbeit ist An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale, vorgelegt 2020 von einem zwölfköpfigen Team bei Google Brain und Google Research (Dosovitskiy u. a. 2020).

Sie zeigte, dass ein reines Transformer-Modell ohne jede Faltungsoperation die besten Convolutional Neural Networks schlagen kann – vorausgesetzt, die Trainingsmenge ist groß genug. Damit begann eine Verschiebung, die die CNN-dominierte Computer-Vision-Forschung der 2010er Jahre grundlegend veränderte.

Stand 2025/2026 sind Vision Transformer und Hybride aus ViT und CNN-Komponenten die dominante Architekturlinie der Computer-Vision-Forschung. ViT-Varianten bilden zudem den Bild-Encoder praktisch aller produktiven multimodalen Foundation Models – von CLIP (Radford u. a. 2021) über GPT-4V bis zu Gemini und den Claude-Modellen.

Zusammenfassung

Vision Transformer unterscheiden sich von Convolutional Neural Networks in der Verarbeitungslogik. CNNs extrahieren räumliche Merkmale durch lokale Faltungsoperationen und hierarchisch aufgebaute rezeptive Felder. Ein ViT verarbeitet alle Patches gleichzeitig und stellt über Self-Attention direkte Beziehungen zwischen beliebig weit entfernten Bildregionen her – ohne erzwungene Lokalitätsbeschränkung.

Daraus folgt eine global-relationale Repräsentation, die lokal-hierarchischen CNN-Repräsentationen gegenüber Vorteile bei kontextabhängigen Aufgaben hat, aber für kleine Datensätze einen höheren Induktionsbias benötigt als CNNs.

Vier Varianten haben die Linie geprägt.

DeiT (Touvron u. a. 2021) destilliert Wissen aus vortrainierten CNNs und macht ViT-Training auch ohne riesige proprietäre Datensätze möglich. BEiT (Bao u. a. 2022) und MAE (He u. a. 2022) etablierten selbst-überwachtes Pretraining durch maskierte Bildrekonstruktion.

Swin Transformer (Liu u. a. 2021) führte eine hierarchische, fensterbasierte Self-Attention ein; bei Dichte-Vorhersage-Aufgaben wie Objekterkennung und Segmentierung schlägt sie CNNs. DINOv2 (Oquab u. a. 2023) erzeugt durch selbst-überwachtes Distillationspretraining universelle visuelle Features.

Die Anwendungsfelder reichen von Bildklassifikation über Objekterkennung, Segmentierung und medizinische Bildgebung bis zum Bild-Encoder großer multimodaler Systeme. Für neue Foundation-Model-Architekturen mit visueller Modalität sind ViTs Stand 2025/2026 die dominante Wahl.

Begriffsgeschichte

Transformer-Architektur und erste Bild-Übertragungsversuche (2017–2020)

Die Vorgeschichte des Vision Transformer beginnt mit der Einführung der Transformer-Architektur durch Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser und Polosukhin in Attention Is All You Need (NeurIPS 2017, arXiv 1706.03762).

Transformer ersetzen rekurrente Verbindungen durch Multi-Head Self-Attention – einen Mechanismus, in dem jede Position einer Sequenz mit allen anderen Positionen in Beziehung gesetzt wird – und erreichten auf Übersetzungsaufgaben State-of-the-Art-Ergebnisse bei besserer Parallelisierbarkeit als LSTMs.

Erste Versuche, Transformer auf Bilder anzuwenden, erfolgten inkonsequent: iGPT (Child u. a. OpenAI 2020) behandelte Pixel direkt als Sequenz, was bei Standard-Bildauflösungen zu inpraktikabel langen Sequenzen führt.

Axial Attention (Ho u. a. 2019) und verwandte Ansätze reduzierten die Sequenzlänge durch Beschränkung auf Zeilen- und Spaltenattention, blieben aber hybride Ansätze. Die entscheidende Vereinfachung – die Zerlegung in Patches statt einzelne Pixel – ist das Kernelement der ViT-Arbeit.

ViT: An Image Is Worth 16×16 Words (2020/2021)

Die konstitutive Arbeit erschien erstmals im Oktober 2020 als arXiv-Preprint (arXiv 2010.11929) und wurde im Mai 2021 auf der International Conference on Learning Representations (ICLR 2021) präsentiert. Erstautor ist Alexey Dosovitskiy, Letztautor Neil Houlsby; das Autorenteam gehörte zu Google Brain und Google Research in Zürich und Amsterdam.

Die Kernidee: Ein Bild der Auflösung $$H \times W$$ wird in $$N = HW/P^2$$ nicht-überlappende Patches der Größe $$P \times P$$ zerlegt (typisch $$P = 16$$ oder $$P = 32$$). Jeder Patch wird linear in einen $$D$$-dimensionalen Einbettungsvektor projiziert; der Sequenz wird ein erlernbares [CLS]-Token vorangestellt, dessen finale Repräsentation als Klassenvektor für die Bildklassifikation dient.

Positionsinformation wird durch lernbare Positional Embeddings kodiert. Diese Patch-Sequenz wird durch einen Standard-Transformer-Encoder verarbeitet: abwechselnde Schichten aus Multi-Head Self-Attention und MLP-Blöcken, normalisiert durch Layer Normalization.

Die methodisch zentrale empirische Beobachtung: ViT übertrifft CNN-Baselines (ResNet-152, BiT) auf ImageNet und anderen Benchmarks, wenn es auf hinreichend großen Datensätzen vortrainiert wird – konkret auf JFT-300M, einem proprietären Google-Datensatz mit 300 Millionen Bildern (Dosovitskiy u. a. 2020).

Auf kleineren öffentlichen Datensätzen wie ImageNet-21k und ImageNet-1k, ohne proprietäre Pretraining-Daten, schnitt ViT schlechter ab als vergleichbare CNNs. Die Autoren führten das auf den fehlenden CNN-typischen Induktionsbias zurück – Lokalität und Translationsinvarianz. ViT muss diese Eigenschaften aus Daten lernen, CNNs haben sie architektonisch eingebaut.

DeiT und datensatz-unabhängiges Training (ICML 2021)

DeiT – Data-efficient Image Transformers (Touvron, Cord, Douze, Massa, Sablayrolles, Jégou, Facebook AI Research, ICML 2021, arXiv 2012.12877) adressierte die kritische Abhängigkeit von proprietären Pretraining-Daten.

DeiT führte Knowledge Distillation aus CNN-Lehrmodellen als Trainingstechnik ein: Ein vortrainiertes CNN (z. B. RegNet) gibt Token-spezifische Soft-Labels, aus denen das ViT-Schülermodell lernt. Mit ausschließlich öffentlich verfügbaren Daten (ImageNet-21k) erreichte DeiT konkurrenzfähige Ergebnisse gegenüber CNN-Baselines und machte ViT-Training ohne proprietäre Großdatensätze reproduzierbar.

Swin Transformer: Hierarchie und Fenster-Attention (ICCV 2021)

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows kam 2021 von Microsoft Research Asia (Liu u. a. 2021). Die Arbeit löste zwei zentrale Grenzen des originalen ViT: die fehlende räumliche Hierarchie und den Rechenaufwand der globalen Self-Attention, der quadratisch mit der Sequenzlänge wächst.

Swin Transformer berechnet Self-Attention lokal in nicht-überlappenden Fenster-Partitionen der Feature Maps; Shifted Windows zwischen aufeinanderfolgenden Schichten ermöglichen die Kommunikation über Fenstergrenzen hinweg.

Eine hierarchische Patch-Merging-Operation erzeugt schrittweise gröbere Feature Maps – analog zur CNN-Pooling-Hierarchie – und ermöglicht die Verwendung von Swin als Backbone für dichte Vorhersage-Aufgaben (Objekterkennung, Instanzsegmentierung).

Swin Transformer erzielte 2021 State-of-the-Art-Ergebnisse auf COCO (Objekterkennung) und ADE20K (Segmentierung), was CNNs in ihrer bis dahin dominanten Rolle als Backbone für diese Aufgaben ablöste.

Selbst-überwachtes Pretraining: BEiT, MAE, DINO (2021–2023)

Parallel zur überwachten ViT-Linie entstand eine selbst-überwachte Pretraining-Forschungslinie:

BEiT – BERT Pre-Training of Image Transformers kam 2022 von Microsoft Research (Bao u. a. 2022). Die Arbeit übertrug das Masked-Language-Modeling-Prinzip von BERT (Devlin u. a. 2019) auf Bilder: Zufällig maskierte Patches werden aus dem Kontext der umgebenden rekonstruiert – nicht als Pixelwerte, sondern als diskrete visuelle Token aus einem separaten Bild-Tokenizer.

MAE – Masked Autoencoders Are Scalable Vision Learners kam 2022 von Meta AI (He u. a. 2022) und vereinfachte den Ansatz. Nach He u. a. (2022) werden 75 Prozent der Patches maskiert; der ViT-Encoder verarbeitet nur die sichtbaren. Ein leichtgewichtiger Decoder rekonstruiert die Pixelwerte der maskierten Patches.

Die überraschende Beobachtung: Dieser scheinbar einfache Selbst-Überwachungs-Ansatz erzeugte bei ViT-L-Skala substantiell bessere Repräsentationen als überwachtes ImageNet-Pretraining.

DINO (Caron u. a. Facebook AI Research, ICCV 2021, arXiv 2104.14294) und sein Nachfolger DINOv2 (Oquab u. a. Meta AI Research, 2023, arXiv 2304.07193) nutzten selbst-überwachte Wissens-Destillation zwischen Lehrer- und Schüler-ViTs ohne negative Beispiele.

DINOv2 (Oquab u. a. 2023) zeigte bemerkenswert, dass mit ViT-G-Skala (1,1 Milliarden Parameter) trainierte Modelle auf kurierten Datensätzen universelle visuelle Features erzeugen, die ohne aufgabenspezifisches Fine-Tuning auf einer Vielzahl von Downstream-Aufgaben – einschließlich Tiefenschätzung, Segmentierung und Bildsuche – State-of-the-Art-Ergebnisse erzielen.

Der Nachfolger DINOv3 erschien im August 2025 bei Meta AI Research (Siméoni u. a. 2025). Nach Siméoni u. a. (2025) skalierte er die Trainingsdaten auf rund 1,7 Milliarden Bilder und das Lehrer-Modell auf sieben Milliarden Parameter. Neu ist Gram Anchoring, eine Regularisierungstechnik für stabile, hochauflösende Feature-Maps bis in den 4K-Bereich – ohne die globale Repräsentationsqualität einzubüßen.

ViT als Bild-Encoder in multimodalen Foundation Models (2021–2026)

Die folgenreichste Auswirkung von ViT auf die zeitgenössische KI-Infrastruktur liegt in seiner Rolle als Bild-Encoder in multimodalen Foundation Models.

CLIP (Radford u. a. 2021) testete als Bild-Encoder sowohl ResNet- als auch ViT-Varianten – ViT-B/32, ViT-B/16 und ViT-L/14. Bei gleichem Rechenbudget war ViT-L/14 den ResNet-Encodern überlegen. Seither ist ViT der Standard für kontrastive Bild-Text-Modelle wie SigLIP, EVA-CLIP und MetaCLIP.

Flamingo (Alayrac u. a. DeepMind NeurIPS 2022), LLaVA (Liu u. a. 2023), GPT-4V (OpenAI September 2023), Gemini (Google Dezember 2023) und Claude 3 (Anthropic März 2024) verwenden alle ViT-basierte Bild-Encoder als visuelle Eingabekomponente.

Hybride Architekturen und ConvNeXt-ViT-Debatte (2022–2024)

Mit der Etablierung von ViT als dominanter Architektur entstand eine Forschungslinie, die CNN- und ViT-Designprinzipien verbindet.

ConvNeXt (Liu u. a. CVPR 2022, arXiv 2201.03545) modernisierte die CNN-Architektur durch ViT-inspirierte Designentscheidungen – Layer Normalization statt Batch Normalization, GELU-Aktivierung, große 7×7-Faltungskerne, invertierte Bottleneck-Blöcke – und zeigte, dass modernisierte CNNs mit Swin Transformer konkurrenzfähig sind.

ConvNeXt V2 (Woo u. a. CVPR 2023) kombinierte ConvNeXt mit MAE-Pretraining und erreichte auf ImageNet State-of-the-Art-Ergebnisse in seiner Parameterklasse.

Das Segment Anything Model (SAM) kam 2023 von Meta AI Research (Kirillov u. a. 2023). Nach Kirillov u. a. (2023) verwendet es einen ViT-H-Encoder und wurde auf 11 Millionen Bildern mit über einer Milliarde Segmentierungsmasken trainiert. Damit ist SAM das umfangreichste speziell für Segmentierung vortrainierte ViT-Modell; es generalisiert ohne Fine-Tuning auf neue Segmentierungsaufgaben.

Diffusion Transformer (DiT) und Video-Generierung (2022–2024)

Eine eigenständige Erweiterungslinie übertrug ViT-Architekturen auf generative Aufgaben. DiT – Scalable Diffusion Models with Transformers (Peebles / Xie, ICCV 2023, arXiv 2212.09748) ersetzte den U-Net-CNN-Backbone in Latent-Diffusionsmodellen durch einen Transformer-Backbone und zeigte bessere Skalierungseigenschaften.

DiT ist die Grundlage von Stable Diffusion 3 (Esser u. a. 2024), FLUX (Black Forest Labs 2024) und Soras Spatial-Temporal-DiT (OpenAI Februar 2024) – dem ersten Diffusionsmodell, das kohärente Video-Ausgaben in hoher Auflösung produziert.

Methodische Grundlagen

Patch-Einbettung und Sequenzrepräsentation

Ein Bild $$x \in \mathbb{R}^{H \times W \times C}$$ wird in $$N = HW/P^2$$ nicht-überlappende Patches zerlegt und jeder Patch durch eine lernbare lineare Projektion $$E \in \mathbb{R}^{(P^2 \cdot C) \times D}$$ in einen $$D$$-dimensionalen Einbettungsvektor transformiert.

Der Sequenz wird ein erlernbares Klassen-Token $$z_0^0 = x_\text{class}$$ vorangestellt; lernbare Positionseinbettungen $$E_\text{pos} \in \mathbb{R}^{(N+1) \times D}$$ kodieren Positionsinformation.

Multi-Head Self-Attention

Für jeden Aufmerksamkeitskopf werden aus der Eingabesequenz Abfrage- (Query), Schlüssel- (Key) und Wert-Vektoren (Value) linear projiziert. Die Attention-Gewichte werden als normiertes Skalarprodukt zwischen Query- und Key-Vektoren berechnet: $$\text{Attention}(Q, K, V) = \text{softmax}(QK^T / \sqrt{d_k}) V$$.

Multi-Head Attention führt diesen Mechanismus parallel in $$h$$ Köpfen durch und konkateniert die Ergebnisse. Im Gegensatz zu CNN-Faltungen, die lokal operieren, kann Self-Attention direkte Beziehungen zwischen beliebig entfernten Patches herstellen – der zentrale Unterschied.

Induktionsbias-Deficit und Datenabhängigkeit

CNNs kodieren architektonisch zwei starke Induktionsbiase: Lokalität – benachbarte Pixel sind stärker korreliert als entfernte – und Translationsinvarianz – die gleiche Merkmalsstruktur kann an beliebiger Stelle auftreten.

ViT besitzt keinen dieser Biase; er muss sie aus Daten lernen. Die praktische Konsequenz ist, dass ViT methodisch größere Trainingsmengen benötigt, um CNNs zu übertreffen. Auf kleinen Datensätzen (unter ca. 10 Millionen Bildern) sind CNNs ohne großes Pretraining-Datenset typisch überlegen (Dosovitskiy u. a. 2020).

Skalierungseigenschaften

ViT skaliert günstiger als CNNs mit steigender Rechenleistung und Datenmenge. Die Beobachtung – dass ViT-L und ViT-H auf ausreichend großen Datensätzen qualitativ besser skalieren als vergleichbare CNN-Varianten – ist eine der Hauptmotivationen für den Wechsel zu ViT als Backbone in modernen Foundation-Model-Architekturen (Bommasani u. a. 2021, arXiv 2108.07258).

Fenster-Attention und hierarchische ViTs

Globale Self-Attention ist quadratisch in der Sequenzlänge – bei hochauflösenden Bildern oder langen Sequenzen rechnerisch nicht skalierbar. Swin Transformer adressiert dies durch lokale Fenster-Attention mit linearer Komplexität.

Weitere Ansätze umfassen Performer (Choromanski u. a. 2021), Linformer (Wang u. a. 2020) und LongFormer-Varianten, die unterschiedliche Approximationen globaler Attention mit subquadratischer Komplexität bieten.

Anwendungsfelder

Bildklassifikation

ViT-L/16 und ViT-G/14 mit MAE- oder DINO-Pretraining sind Stand 2025/2026 die stärksten öffentlich verfügbaren Modelle für Bildklassifikation. Auf ImageNet-1k erreichen ViT-G-Varianten Top-1-Genauigkeiten von über 90 Prozent.

Objekterkennung und Segmentierung

Swin Transformer, Swin V2 (Liu u. a. 2022) und ViTDet (Li u. a. ECCV 2022) sind führende Backbones für Objekterkennung und panoptische Segmentierung. SAM (Kirillov u. a. 2023) ist das umfangreichste ViT-basierte Segmentierungssystem.

Medizinische Bildgebung

ViT-basierte Systeme haben CNN-Modelle in mehreren medizinischen Bildgebungs-Benchmarks überholt – insbesondere für Histopathologie (CONCH, Chen u. a. 2024), Radiologie (MAIRA, Microsoft 2024) und Pathologie-Foundation-Models (Uni, Chen u. a. 2024). Die globale Attention ist vorteilhaft für die Analyse mikroskopischer Gewebeschnitte, in denen relevante Merkmale über das gesamte Sichtfeld verteilt sein können.

Bild-Encoder in multimodalen Systemen

ViT-basierte Encoder sind Stand 2025/2026 universeller Standard als visuelle Eingabekomponente in CLIP, SigLIP (Zhai u. a. ICCV 2023), GPT-4V, Gemini, Claude 3, LLaVA, Flamingo und praktisch allen multimodalen Frontier-Modellen.

Video-Verständnis und -Generierung

Video Vision Transformer (ViViT, Arnab u. a. ICCV 2021) und TimeSformer (Bertasius u. a. ICML 2021) erweiterten ViT auf Video durch temporale Attention. Soras DiT-Architektur (OpenAI 2024) skalierte ViT-basierte Diffusionsmodelle auf Video-Generierung.

Robotik und Embodied AI

ViT-basierte visuelle Backbones sind zentral in Robotik-Foundation-Models – RT-2 (Brohan u. a. Google 2023), π0 (Physical Intelligence 2024) – die visuelle Eingaben, Sprachbefehle und motorische Steuersignale in einheitlichen Transformer-Architekturen integrieren.

Herausforderungen

Rechenkosten bei hochauflösenden Eingaben

Globale Self-Attention ist quadratisch in der Anzahl der Patches. Bei hochauflösenden medizinischen Bildern, Satellitenbildern oder langen Videosequenzen werden Fenster-Attention-Varianten, hierarchische Architekturen oder approximative Attention-Mechanismen notwendig.

Interpretierbarkeit

Die Attention-Karten von ViT visualisieren, welchen Bildregionen das Modell Aufmerksamkeit schenkt (Caron u. a. DINO 2021 zeigt bemerkenswert semantisch kohärente Attention-Maps). Dennoch ist die Interpretation der internen Repräsentationen von ViT weniger ausgearbeitet als CNN-Visualization-Methoden (Grad-CAM, Saliency Maps); das Feld der mechanistic interpretability arbeitet aktiv an ViT-spezifischen Methoden.

Datenbedarf und Pretraining-Abhängigkeit

Die überlegene Leistung von ViT auf großen Benchmarks ist typisch an umfangreiches Pretraining gebunden. Für kleine domänenspezifische Datensätze ohne geeignete Pretraining-Daten bleiben CNNs oft konkurrenzfähig oder überlegen.

Adversariale Robustheit

ViTs zeigen unterschiedliche adversariale Robustheitseigenschaften gegenüber CNNs: höhere Robustheit gegenüber hochfrequenten adversarialen Perturbationen (Shao u. a. 2021). Die Debatte über vergleichende Robustheit ist Stand 2025/2026 nicht abgeschlossen.

Tokenisierung und Auflösung

Die Patch-Tokenisierung von ViT behandelt alle Patches als gleichwertig, unabhängig von ihrem Informationsgehalt. Effizientere Tokenisierungsstrategien – adaptive token merging (Bolya u. a. ICLR 2023), DynamicViT (Rao u. a. 2021) – reduzieren die Anzahl verarbeiteter Tokens adaptiv und adressieren damit sowohl Effizienz als auch Skalierbarkeit.

Stand 2025/2026

Stand Mai 2026 ist der Vision Transformer die dominante Architektur der Computer-Vision-Forschung und der KI-Industrie. CNN-basierte Architekturen spielen eine zunehmend nachrangige Rolle in der Forschungs-Frontier; in Produktivsystemen mit Effizienzanforderungen (Edge, Mobile, Echtzeit) bleiben CNN-Varianten wie ConvNeXt und EfficientNet präsent.

Vier Entwicklungslinien laufen derzeit.

Die erste skaliert ViT-basierte Bild-Encoder für multimodale Foundation Models. Die bislang größten sind SigLIP-2 (Google 2025), DINOv3 (Meta AI Research, August 2025, trainiert auf 1,7 Milliarden Bildern mit einem Lehrer-Modell von sieben Milliarden Parametern), InternViT (Shanghai AI Lab) und EVA-CLIP-18B (BAAI 2024).

Die zweite erweitert ViT auf Video, 3D-Daten und nicht-bildliche Sensormodalitäten – Lidar, Radar, medizinische Bildgebung. Die dritte setzt DiT-basierte Generierungsarchitekturen als Alternative zu U-Net-Backbones in Diffusionsmodellen durch. Die vierte fragt nach dem richtigen Verhältnis zwischen Vision-Encoder- und Sprachmodell-Kapazität in multimodalen Systemen.

Alexey Dosovitskiy, der Erstautor der ViT-Arbeit, wechselte 2022 von Google zu Inceptive, einem Startup für RNA-Design; Neil Houlsby und Lucas Beyer verblieben bei Google DeepMind. Die übrigen ViT-Ko-Autoren sind auf verschiedene Frontier-Labs, akademische Positionen und Startups verteilt.

Offene Fragen umfassen die optimale Patch-Größe und Tokenisierungsstrategie für unterschiedliche visuelle Aufgaben, effiziente Attention-Mechanismen für lange visuelle Sequenzen, robustes Pretraining für datensparme Domänen, und die Integration von ViT mit neuronalen Feld-Repräsentationen (NeRF, Gaussian Splatting) für 3D-Verständnis.

Verwandte Begriffe

• CLIP – multimodales Modell; ViT als Standard-Bild-Encoder
• Self-Attention – Grundmechanismus
• Mechanistic Interpretability – Forschungsfeld zur internen Analyse von ViT
• Multimodal AI – übergeordnetes Anwendungsfeld
• Backpropagation – Trainingsalgorithmus
• ImageNet – Benchmark-Standard; Entstehungskontext der ViT-Arbeit

Quellenangaben

1. Bao, Hangbo / Dong, Li / Piao, Songhao / Wei, Furu, 2022. BEiT: BERT Pre-Training of Image Transformers. In: Proceedings of the International Conference on Learning Representations (ICLR 2022). arXiv: 2106.08254.
2. Bolya, Daniel / Fu, Cheng-Yang / Dai, Xiaoliang / Zhang, Peizhao / Feichtenhofer, Christoph / Hoffman, Judy, 2023. Token Merging: Your ViT But Faster. In: Proceedings of the International Conference on Learning Representations (ICLR 2023). arXiv: 2210.09461.
3. Bommasani, Rishi / Hudson, Drew A. / Adeli, Ehsan u. a., 2021. On the Opportunities and Risks of Foundation Models. Stanford Center for Research on Foundation Models. arXiv: 2108.07258.
4. Caron, Mathilde / Touvron, Hugo / Misra, Ishan / Jégou, Hervé / Mairal, Julien / Bojanowski, Piotr / Joulin, Armand, 2021. Emerging Properties in Self-Supervised Vision Transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2021). arXiv: 2104.14294. (DINO).
5. Choromanski, Krzysztof u. a., 2021. Rethinking Attention with Performers. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2009.14794.
6. Deng, Jia / Dong, Wei / Socher, Richard / Li, Li-Jia / Li, Kai / Fei-Fei, Li, 2009. ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), S. 248–255. DOI: 10.1109/CVPR.2009.5206848.
7. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
8. Dosovitskiy, Alexey u. a., 2020. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
9. Dosovitskiy, Alexey / Beyer, Lucas / Kolesnikov, Alexander / Weissenborn, Dirk / Zhai, Xiaohua / Unterthiner, Thomas / Dehghani, Mostafa / Minderer, Matthias / Heigold, Georg / Gelly, Sylvain / Uszkoreit, Jakob / Houlsby, Neil, 2021. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2010.11929.
10. Esser, Patrick / Kulal, Sumith / Blattmann, Andreas u. a., 2024. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). arXiv: 2403.03206.
11. He, Kaiming / Chen, Xinlei / Xie, Saining / Li, Yanghao / Dollár, Piotr / Girshick, Ross, 2022. Masked Autoencoders Are Scalable Vision Learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2111.06377. (MAE).
12. Ho, Jonathan / Kalchbrenner, Nal / Weissenborn, Dirk / Salimans, Tim, 2019. Axial Attention in Multidimensional Transformers. arXiv: 1912.12180.
13. Kirillov, Alexander u. a., 2023. Segment Anything. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2304.02643. (SAM).
14. Liu, Ze / Lin, Yutong / Cao, Yue / Hu, Han / Wei, Yixuan / Zhang, Zheng / Lin, Stephen / Guo, Baining, 2021. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2021). arXiv: 2103.14030.
15. Liu, Zhuang u. a., 2022. A ConvNet for the 2020s. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2201.03545. (ConvNeXt).
16. Liu, Haotian / Li, Chunyuan / Wu, Qingyang / Lee, Yong Jae, 2023. Visual Instruction Tuning. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023, Oral). arXiv: 2304.08485.
17. Oquab, Maxime u. a., 2023. DINOv2: Learning Robust Visual Features without Supervision. In: Transactions on Machine Learning Research. arXiv: 2304.07193.
18. Peebles, William / Xie, Saining, 2023. Scalable Diffusion Models with Transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2212.09748. (DiT).
19. Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
20. Rao, Yongming u. a., 2021. DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification. In: Advances in Neural Information Processing Systems 34 (NeurIPS 2021). arXiv: 2106.02034.
21. Shao, Rulin u. a., 2021. On the Adversarial Robustness of Vision Transformers. arXiv: 2103.15670.
22. Shen, Xinyue / Chen, Zeyuan / Backes, Michael / Shen, Yun / Zhang, Yang (CISPA Helmholtz Center for Information Security / NetApp) (2024): „Do Anything Now”: Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models. In: Proceedings of the 2024 ACM SIGSAC Conference on Computer and Communications Security (CCS), S. 1671–1685. arXiv: 2308.03825.
23. Siméoni, Oriane / Vo, Huy V. / Seitzer, Maximilian / Baldassarre, Federico / Oquab, Maxime u. a., 2025. DINOv3. Meta AI Research (FAIR). arXiv: 2508.10104.
24. Touvron, Hugo / Cord, Matthieu / Douze, Matthijs / Massa, Francisco / Sablayrolles, Alexandre / Jégou, Hervé, 2021. Training Data-Efficient Image Transformers & Distillation through Attention. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2012.12877. (DeiT).
25. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.
26. Wang, Sinong / Li, Belinda Z. / Khabsa, Madian / Fang, Han / Ma, Hao, 2020. Linformer: Self-Attention with Linear Complexity. arXiv: 2006.04768.
27. Zhai, Xiaohua / Mustafa, Basil / Kolesnikov, Alexander / Beyer, Lucas, 2023. Sigmoid Loss for Language Image Pre-Training. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2303.15343. (SigLIP).

← Zurück zur Lexikon-Übersicht