CLIP

CLIP (Abkürzung für Contrastive Language–Image Pre-training) ist ein 2021 von OpenAI veröffentlichtes neuronales Netz, das durch kontrastives Lernen gemeinsame Vektorrepräsentationen für Bilder und natürliche Sprache erzeugt. Semantisch zusammengehörige Bild-Text-Paare liegen dadurch im gelernten Einbettungs-Raum nahe beieinander, semantisch unähnliche dagegen weit voneinander entfernt.

Die konstitutive Arbeit Learning Transferable Visual Models from Natural Language Supervision (Radford, Kim, Hallacy, Ramesh u. a., OpenAI, ICML 2021, arXiv 2103.00020) führte das Verfahren ein.

Sie demonstrierte, dass ein auf 400 Millionen Bild-Text-Paaren aus dem öffentlichen Internet trainiertes Modell beachtliche Zero-Shot-Klassifikationsleistung auf zahlreichen Computer-Vision-Benchmarks erreichte (Radford u. a. 2021) – also auch auf Aufgaben, für die das Modell nicht spezifisch trainiert worden war.

CLIP ist methodisch eine der wirkungsmächtigsten Brücken zwischen Bild- und Text-Modalitäten der zeitgenössischen KI und bildet die Grundlage praktisch aller produktiven Text-zu-Bild-Generierungs-Systeme – von DALL·E 2 (2022) über Stable Diffusion bis zu Midjourney und Sora.

Zusammenfassung

CLIP besteht aus zwei parallel trainierten Encoder-Netzen – einem Bild-Encoder (typisch eine Vision-Transformer-Variante oder ein modifiziertes ResNet) und einem Text-Encoder (ein Transformer-Modell). Beide Encoder bilden ihre jeweilige Eingabe auf einen gemeinsamen, normalisierten Vektor-Raum ab.

Das Training erfolgt kontrastiv: In einem Batch von N Bild-Text-Paaren versucht das Modell, für jedes Bild den richtigen Text – aus N möglichen – zu identifizieren und umgekehrt. Diese symmetrische Formulierung ist elegant: Sie nutzt jede der N² Bild-Text-Kombinationen, ohne explizite Negativ-Beispiele zu erfordern.

Zentrale Eigenschaften umfassen Zero-Shot-Transfer (Klassifikation neuer Aufgaben durch Eingabe textueller Klassennamen statt durch erneutes Training), Robustheit gegenüber Verteilungsverschiebung im Vergleich zu klassisch trainierten Modellen, und die Verwendbarkeit der gelernten Repräsentationen als Feature-Encoder für nachgelagerte Aufgaben.

Nachfolger und Varianten umfassen OpenCLIP (LAION-Community ab 2022), SigLIP (Google 2023, Sigmoid Loss for Language Image Pre-Training), EVA-CLIP (BAAI 2023), DFN (Apple 2023), MetaCLIP (Meta 2023) und multimodale Erweiterungen wie BLIP / BLIP-2 (Salesforce 2022/2023).

Stand 2025/2026 ist CLIP ein Standardbaustein der Vision-Language-Modellforschung; in der Bild-Generierung wird der Text-Encoder zunehmend durch leistungsfähigere Sprachmodell-basierte Text-Encoder ersetzt, der Bild-Encoder bleibt aber zentral für Embedding- und Suchaufgaben.

Begriffsgeschichte

Vorgeschichte: Bild-Text-Lernen vor CLIP (2014–2020)

Die Vorgeschichte von CLIP umfasst eine Reihe von Arbeiten zur gemeinsamen Bild-Text-Modellierung. Microsoft COCO Captions (Chen u. a. 2015) etablierte den wichtigsten Benchmark für Bildbeschreibungs-Generierung.

VisualBERT (Li u. a. 2019), LXMERT (Tan/Bansal EMNLP 2019), VL-BERT (Su u. a. ICLR 2020), UNITER (Chen u. a. ECCV 2020) und VinVL (Zhang u. a. CVPR 2021) etablierten Vision-Language-Pretraining auf vergleichsweise kleinen, manuell annotierten Datensätzen.

Eine eigenständige Linie bildet das Self-supervised Contrastive Learning in der Computer Vision – SimCLR (Chen u. a. ICML 2020) und MoCo (He u. a. CVPR 2020). Diese Arbeiten lieferten die Grundlage des kontrastiven Trainings.

OpenAI-Veröffentlichung (Januar 2021)

Am 5. Januar 2021 publizierte OpenAI gleichzeitig zwei wirkungsmächtige Arbeiten: DALL·E (Ramesh u. a.) als erstes großes Text-zu-Bild-Modell und CLIP (Radford u. a.) als Bild-Text-Repräsentationsmodell. Die zugehörige Vorabversion der CLIP-Arbeit erschien am 26. Februar 2021 als arXiv 2103.00020 und wurde im Juli 2021 auf der ICML präsentiert.

Die zentrale Innovation: ein Datensatz von 400 Millionen Bild-Text-Paaren, die OpenAI aus dem öffentlichen Web gesammelt hatte (Radford u. a. 2021) – intern als WIT, WebImageText bezeichnet, nicht zu verwechseln mit der gleichnamigen Wikipedia-basierten Sammlung. Auf diesem Datensatz wurde durch symmetrisches kontrastives Training ein gemeinsamer Bild-Text-Embedding-Raum gelernt.

Zero-Shot-Demonstrationen

CLIP demonstrierte beachtliche Zero-Shot-Klassifikations-Ergebnisse: 76,2 Prozent Top-1-Genauigkeit auf ImageNet ohne irgendein Training auf ImageNet-Daten (Radford u. a. 2021).

Dies funktionierte, indem die Klassennamen in textuelle Prompts eingebettet wurden („a photo of a [Klasse]”) und das Bild mit dem semantisch nächsten Text-Embedding klassifiziert wurde. Auf 27 weiteren Computer-Vision-Benchmarks zeigte CLIP vergleichbare Zero-Shot-Leistung – ein substantieller Bruch mit der Konvention, dass Computer-Vision-Modelle für jede neue Aufgabe spezifisch trainiert werden müssen.

LAION und OpenCLIP (2021–2023)

Da OpenAI weder den ursprünglichen Trainingsdatensatz noch die genauen Trainings-Hyperparameter offenlegte, entstand eine Open-Source-Reproduktionslinie. LAION – eine 2021 gegründete deutsche Non-Profit-Organisation um Christoph Schuhmann – publizierte den LAION-400M-Datensatz (2021) und nachfolgend LAION-5B (Schuhmann u. a. NeurIPS 2022) – den damals größten öffentlichen Bild-Text-Datensatz.

Auf diesen Datensätzen wurde OpenCLIP trainiert, eine Open-Source-Reimplementation, die vergleichbare Leistung erreichte und zur Standard-Komponente offener Bild-Generierungs-Systeme wie Stable Diffusion wurde.

Rolle in Bild-Generierungssystemen (2022)

CLIP wurde zur zentralen Komponente der Bild-Generierungs-Welle 2022. DALL·E 2 (OpenAI April 2022, Hierarchical Text-Conditional Image Generation with CLIP Latents) verwendete CLIP-Embeddings explizit als Bedingungs-Signal in einem zweistufigen Diffusions-Pipeline.

Imagen (Google Mai 2022) verwendete dagegen einen großen Sprachmodell-Text-Encoder (T5-XXL) statt CLIP. Stable Diffusion (StabilityAI August 2022) verwendete CLIP-Text-Encoder als Bedingungssignal in seinem Latent-Diffusion-Modell.

Methodische Erweiterungen (2022–2024)

Mehrere wichtige Erweiterungen folgten:

FLIP (He u. a. Meta 2022, Scaling Language-Image Pre-training via Masking) ergänzte Bild-Masking für Effizienzsteigerung.

BLIP und BLIP-2 (Li u. a. Salesforce 2022/2023) verbanden CLIP-artige Repräsentationen mit großen Sprachmodellen zur Bildbeschreibungs-Generierung und visuellen Frage-Antwort-Aufgaben.

SigLIP (Zhai u. a. Google ICCV 2023, Sigmoid Loss for Language Image Pre-Training) ersetzte die kontrastive Softmax-Verlustfunktion durch einen einfacheren Sigmoid-Verlust und erreichte effizienteres Training und bessere Skalierung.

EVA-CLIP (Sun u. a. BAAI 2023) skalierte das Verfahren auf 5 Milliarden Parameter.

MetaCLIP (Xu u. a. Meta 2023) lieferte eine transparente Reproduktions-Pipeline mit dokumentierter Datenkurations-Methode.

Multimodale Frontier-Modelle (2023–2026)

Mit der Etablierung multimodaler Frontier-Modelle (GPT-4V September 2023, Gemini multimodal Dezember 2023, Claude 3 multimodal März 2024, GPT-4o Mai 2024) sind CLIP-artige Encoder in größere Architekturen integriert. Vision Transformers werden zunehmend mit Sprachmodellen kombiniert, ohne dass das ursprüngliche kontrastive Trainingsschema notwendig ist.

Stand 2025/2026 bleibt CLIP gleichwohl zentral – als Embedding-Komponente für Bild-Suche, Empfehlungssysteme, Bildverarbeitung und insbesondere als Bild-Encoder in offenen Bild-Generierungs-Systemen.

Methodische Grundlagen

Kontrastives Training

Der Kern: In einem Batch aus N Bild-Text-Paaren werden alle N² Kombinationen bewertet. Die N tatsächlichen Paare erhalten als Trainingssignal eine hohe Ähnlichkeit, die N²−N nicht-übereinstimmenden Kombinationen eine niedrige. Mathematisch wird dies durch eine symmetrische Cross-Entropy-Verlustfunktion über die Kosinusähnlichkeiten implementiert, mit einer lernbaren Temperatur-Skala.

Dual-Encoder-Architektur

Bild- und Text-Encoder sind unabhängig: Sie teilen keine Parameter und nutzen unterschiedliche Architekturen. Die Originalarbeit testete sowohl ResNet-50/101/×4/×16/×64 als auch Vision-Transformer-Varianten (ViT-B/32, ViT-B/16, ViT-L/14) als Bild-Encoder. Der Text-Encoder ist ein Transformer mit 12 Schichten und 8 Aufmerksamkeitsköpfen. Die Embeddings werden L2-normalisiert und in einem gemeinsamen 512- bis 768-dimensionalen Raum verglichen.

Zero-Shot-Transfer

Eine entscheidende Eigenschaft: CLIP kann für Klassifikationsaufgaben verwendet werden, ohne dass ein neues Training erforderlich ist. Klassennamen werden in Text-Prompts eingebettet („a photo of a {class}”), durch den Text-Encoder kodiert, und das Bild wird mit dem nächsten Text-Embedding klassifiziert. Prompt Engineering – die Wahl geeigneter Text-Templates – hat substantiellen Einfluss auf die Zero-Shot-Leistung.

Skalierungs-Eigenschaften

Die Beobachtung der Originalarbeit: Mit zunehmender Modell- und Datenmenge skaliert die Zero-Shot-Leistung kontinuierlich. Die größte CLIP-Variante (ViT-L/14@336px) erreichte zur Veröffentlichung State-of-the-Art-Leistung auf zahlreichen Vision-Benchmarks.

Robustheit gegenüber Distribution Shift

Eine bemerkenswerte Eigenschaft: CLIP-Modelle sind robuster gegenüber Verteilungsverschiebungen als klassisch trainierte ImageNet-Modelle. Auf adversarial konstruierten Benchmarks (ImageNet-A, ImageNet-R, ImageNet-Sketch) zeigt CLIP deutlich bessere Leistung.

Anwendungsfelder

Text-zu-Bild-Generierung

Stand 2025/2026 die wichtigste Anwendung. CLIP-Text-Encoder als Bedingungssignal in Diffusionsmodellen (Stable Diffusion-Familie, ControlNet, IP-Adapter). DALL·E 2 verwendete CLIP-Embeddings als zentrale Schnittstelle.

Semantische Bildsuche

CLIP-Embeddings ermöglichen direkte semantische Suche durch natürlichsprachige Anfragen. Etablierte Anwendungen: bibliotheks- und museumsspezifische Suchen, Stock-Photo-Plattformen, E-Commerce-Produktsuche.

Inhaltsmoderation und Filterung

Suche nach problematischen Inhalten in Bilddatensätzen durch textuelle Beschreibung. NSFW-Detection-Pipelines und Safety-Klassifikator-Systeme nutzen häufig CLIP-basierte Embeddings.

Empfehlungssysteme und Multimodale Suche

Verbindung von Bild- und Text-Modalitäten in Recommendation-Pipelines (E-Commerce, Social Media).

Robotik und Embodied AI

CLIP-basierte Sprach-Vision-Verbindungen werden in Robotik-Systemen zur Befehlsinterpretation eingesetzt (Google RT-1, RT-2 und Nachfolger).

Vision-Language-Modelle

CLIP als Bild-Encoder in größeren multimodalen Systemen – LLaVA, MiniGPT-4, Flamingo, Qwen-VL.

Daten-Kuration und Filterung

CLIP-Score-basierte Filterung großer Web-Datensätze (DataComp, MetaCLIP-Pipeline) ist ein Standard-Werkzeug der Daten-Vorbereitung für moderne Foundation-Models.

Herausforderungen

Bias und Repräsentation

CLIP-Modelle reproduzieren statistische Muster der Web-Trainingsdaten – einschließlich gesellschaftlicher Vorurteile. Studien (Birhane/Prabhu/Kahembwe 2021; Wolfe/Caliskan 2022) dokumentieren systematische Bias-Effekte hinsichtlich Geschlecht, Hautfarbe und kulturellem Hintergrund.

Problematische Inhalte in Trainingsdaten

LAION-5B enthielt nach Untersuchungen des Stanford Internet Observatory (Dezember 2023) eine kleine Zahl bekannter Missbrauchsbilder. Daraufhin zog LAION den Datensatz vorübergehend zurück und stellte 2024 eine bereinigte Version (Re-LAION-5B) bereit. Diese Herausforderung betrifft alle Modelle, die auf Web-Scraping-Datensätzen trainiert wurden.

Urheberrechtsfragen

Die Verwendung urheberrechtlich geschützter Bilder in Trainingsdaten ist Gegenstand mehrerer Klagen (Getty Images vs. Stability AI 2023ff.; verschiedene Künstler:innen-Sammelklagen). Die juristische Lage ist Stand 2025/2026 in mehreren Jurisdiktionen ungeklärt.

Detektion synthetischer Inhalte

CLIP-basierte Methoden werden teils zur Detektion synthetischer Inhalte verwendet, sind aber selbst anfällig für gezielt manipulierte Eingaben.

Sprachen außerhalb des Englischen

Die ursprünglichen CLIP-Modelle sind primär auf englischsprachige Texte trainiert. Mehrsprachige Varianten (Multilingual-CLIP, Chinese-CLIP) reduzieren diese Beschränkung, ohne sie vollständig aufzuheben.

Adversariale Angriffe

CLIP ist anfällig für gezielt konstruierte adversariale Eingaben (Goh u. a. OpenAI 2021, Multimodal Neurons in Artificial Neural Networks – typographic attacks: ein Bild eines Apfels mit aufgeklebtem Text „iPod” wird als iPod klassifiziert).

Stand 2025/2026

Stand Mai 2026 ist CLIP in einer interessanten Übergangsphase. Als eigenständiger Text-Encoder für moderne Bild-Generierung wird es zunehmend durch leistungsfähigere Sprachmodell-Encoder ersetzt – etwa T5-XXL oder dedizierte LLM-basierte Encoder. Der CLIP-Bild-Encoder bleibt aber zentral als Embedding-Komponente in zahlreichen Pipelines.

Die wichtigsten zeitgenössischen Varianten umfassen SigLIP und dessen im Februar 2025 veröffentlichten Nachfolger SigLIP 2 (Google DeepMind, mit verbessertem semantischen Verständnis, Lokalisierungsfähigkeit und mehrsprachiger Unterstützung; in Gemini-Modellen verwendet).

Hinzu kommen DFN und DFN5B (Apple, mit Daten-Filterungs-Pipeline), MetaCLIP (Meta, mit transparenter Datenkurations-Methode), EVA-CLIP (BAAI) und OpenCLIP (LAION-Community, weiterhin Standard für Open-Source-Pipelines).

Forschungslinien umfassen die Verbindung von CLIP-Embeddings mit größeren multimodalen Architekturen (LLaVA, Qwen-VL, multimodale Frontier-Modelle), bessere Datenkurations-Methoden, Mehrsprachigkeit und Domain-Spezialisierung (medizinische, satellitenbasierte, Audio-Erweiterungen).

Kritik betrifft weiterhin Bias-Effekte, Trainingsdaten-Provenienz und die Verbindung zu sich rasch entwickelnden multimodalen Architekturen.

Verwandte Begriffe

• Generative KI – methodischer Sammelbegriff
• Diffusionsmodelle – methodisches Hauptanwendungsfeld
• DALL·E 2 – frühe CLIP-basierte Anwendung
• Vision Transformer (ViT) – methodische Bild-Encoder-Linie
• LAION – Open-Source-Datensatz-Community
• OpenCLIP – Open-Source-Reimplementation
• SigLIP – methodische Nachfolger-Variante
• Contrastive Learning – methodische Trainingsmethode
• Multimodal AI – übergeordneter Begriff

Quellenangaben

1. Birhane, Abeba / Prabhu, Vinay Uday / Kahembwe, Emmanuel, 2021. Multimodal Datasets: Misogyny, Pornography, and Malignant Stereotypes. arXiv: 2110.01963.
2. Chen, Xinlei / Fang, Hao / Lin, Tsung-Yi / Vedantam, Ramakrishna / Gupta, Saurabh / Dollár, Piotr / Zitnick, C. Lawrence, 2015. Microsoft COCO Captions: Data Collection and Evaluation Server. arXiv: 1504.00325.
3. Chen, Ting / Kornblith, Simon / Norouzi, Mohammad / Hinton, Geoffrey, 2020. A Simple Framework for Contrastive Learning of Visual Representations. In: Proceedings of the 37th International Conference on Machine Learning (ICML 2020). arXiv: 2002.05709. (SimCLR).
4. Cherti, Mehdi u. a., 2023. Reproducible Scaling Laws for Contrastive Language-Image Learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2023). arXiv: 2212.07143. (OpenCLIP).
5. Etchemendy, John / Fei-Fei, Li, 2019. Introducing the Stanford Institute for Human-Centered Artificial Intelligence. Stanford HAI, 18. März 2019. hai.stanford.edu.
6. Goh, Gabriel u. a., 2021. Multimodal Neurons in Artificial Neural Networks. In: Distill 6 (3). DOI: 10.23915/distill.00030.
7. He, Kaiming / Chen, Xinlei / Xie, Saining / Li, Yanghao / Dollár, Piotr / Girshick, Ross, 2022. Masked Autoencoders Are Scalable Vision Learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2111.06377. (MAE).
8. Li, Junnan / Li, Dongxu / Xiong, Caiming / Hoi, Steven, 2022. BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. In: Proceedings of the 39th International Conference on Machine Learning (ICML 2022). arXiv: 2201.12086.
9. Li, Junnan / Li, Dongxu / Savarese, Silvio / Hoi, Steven, 2023. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arXiv: 2301.12597.
10. Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
11. Ramesh, Aditya / Pavlov, Mikhail / Goh, Gabriel / Gray, Scott / Voss, Chelsea / Radford, Alec / Chen, Mark / Sutskever, Ilya, 2021. Zero-Shot Text-to-Image Generation. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2102.12092.
12. Ramesh, Aditya / Dhariwal, Prafulla / Nichol, Alex / Chu, Casey / Chen, Mark, 2022. Hierarchical Text-Conditional Image Generation with CLIP Latents. OpenAI. arXiv: 2204.06125. (DALL·E 2).
13. Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
14. Schuhmann, Christoph u. a., 2022. LAION-5B: An Open Large-Scale Dataset for Training Next Generation Image-Text Models. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2210.08402.
15. Sun, Quan / Fang, Yuxin / Wu, Ledell / Wang, Xinlong / Cao, Yue, 2023. EVA-CLIP: Improved Training Techniques for CLIP at Scale. arXiv: 2303.15389.
16. Thiel, David, 2023. Identifying and Eliminating CSAM in Generative ML Training Data and Models. Stanford Internet Observatory, Dezember 2023.
17. Tschannen, Michael / Gritsenko, Alexey / Wang, Xiao / Naeem, Muhammad Ferjad / Alabdulmohsin, Ibrahim u. a., 2025. SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features. Google DeepMind. arXiv: 2502.14786.
18. Wolfe, Robert / Caliskan, Aylin, 2022. Markedness in Visual Semantic AI. In: Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2022). DOI: 10.1145/3531146.3533183.
19. Xu, Hu u. a., 2024. Demystifying CLIP Data. In: Proceedings of the International Conference on Learning Representations (ICLR 2024). arXiv: 2309.16671. (MetaCLIP).
20. Zhai, Xiaohua / Mustafa, Basil / Kolesnikov, Alexander / Beyer, Lucas, 2023. Sigmoid Loss for Language Image Pre-Training. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2303.15343. (SigLIP).

← Zurück zur Lexikon-Übersicht