DALL·E ist eine Familie von Text-zu-Bild-Modellen der Organisation OpenAI, deren erste Version im Januar 2021 vorgestellt wurde. Der Name ist ein Kofferwort aus dem Künstler Salvador Dalí und dem Pixar-Roboter WALL-E. Die Modellreihe machte die Bildsynthese aus Textbeschreibungen für ein breites Publikum zugänglich.
Zusammenfassung
DALL·E umfasst drei Generationen mit grundverschiedener Technik. Die erste Version (2021) modellierte Bild und Text gemeinsam als autoregressiven Strom von Token mit einem zwölf Milliarden Parameter großen Transformer; ein vorgeschaltetes CLIP-Modell sortierte die Ausgaben.
DALL·E 2 (2022) wechselte zu einer Diffusionsarchitektur, die auf CLIP-Einbettungen konditioniert war – derselben Bauweise wie das offene Stable Diffusion. DALL·E 3 (2023) wurde in ChatGPT integriert und verbesserte vor allem das Befolgen komplexer Beschreibungen.
Im März 2025 löste GPT Image die DALL·E-Reihe in ChatGPT ab.
Begriffsgeschichte
OpenAI kündigte DALL·E am 5. Januar 2021 in einem Blogbeitrag an, zusammen mit CLIP. Der begleitende Aufsatz von Aditya Ramesh u. a. erschien im Februar 2021 (Ramesh u. a. 2021). Die Arbeit zeigte, dass ein schlichter Ansatz – ein Transformer, der Text- und Bild-Token als einen gemeinsamen Strom behandelt – bei hinreichender Größe und Datenmenge mit spezialisierten Bildmodellen mithalten kann.
Im April 2022 folgte DALL·E 2, das realistischere Bilder in höherer Auflösung erzeugte und Konzepte, Stile und Eigenschaften verbinden konnte. Zugang war zunächst einer kleinen Gruppe vorbehalten; Ende September 2022 fiel die Warteliste. Im November 2022 kam eine Programmierschnittstelle hinzu, über die Entwickler:innen das Modell in eigene Anwendungen einbauten.
Das offene Nachahmungsprojekt Craiyon, zuerst als DALL·E Mini bekannt, machte die Technik Mitte 2022 frei verfügbar. Im September und Oktober 2023 kam DALL·E 3, das direkt aus ChatGPT heraus bedient werden konnte und komplexe Beschreibungen genauer umsetzte als seine Vorgänger.
Mit dem Wechsel zu GPT Image im März 2025 endete die eigenständige DALL·E-Linie in ChatGPT.
Methodische Grundlagen
Die drei Versionen unterscheiden sich technisch so stark, dass keine von ihnen die andere bloß fortsetzt.
DALL·E bestand aus drei Teilen. Ein diskreter Variational Autoencoder zerlegte ein Bild der Größe 256×256 Pixel in 32×32 Patches und übersetzte jeden Patch in einen Token. Darauf saß ein autoregressiver Decoder-Transformer mit zwölf Milliarden Parametern, der Text- und Bild-Token als einen einzigen Datenstrom modellierte – ähnlich GPT-3, jedoch über Bild-Token erweitert.
CLIP bewertete anschließend die erzeugten Bilder und hob jene hervor, die zur Beschreibung passten. Der Clou lag in der Skalierung: Erst eine sehr große Datenmenge und ein sehr großes Modell machten den schlichten Ansatz konkurrenzfähig.
DALL·E 2 gab die autoregressive Konstruktion auf. Stattdessen erzeugte ein Diffusionsmodell die Bilder, konditioniert auf CLIP-Bildeinbettungen, erzeugt von einem vorgeschalteten Modell aus dem Text. Die Parameterzahl sank auf 3,5 Milliarden; die Bildqualität stieg.
Architektonisch war dies dieselbe Familie wie Stable Diffusion, die kurz darauf erschien und das Verfahren zum offenen Standard machte.
DALL·E 3 veröffentlichte OpenAI ohne technische Details. Ein begleitender Bericht betonte nicht die Architektur, sondern das verbesserte Befolgen von Beschreibungen – erreicht über besser beschreibende Trainingsdaten. Die eigentliche Innovation lag weniger im Modell als in der Datenqualität.
Anwendungsfelder
DALL·E erzeugt Bilder in unterschiedlichen Stilen – von fotorealistisch über gemalt bis zu Emojis. Neuere Versionen verändern vorhandene Bilder, füllen Flächen aus oder erweitern den Bildrand über das ursprüngliche Maß hinaus. Microsoft baute DALL·E in seinen Image-Creator und in Copilot ein. Seit Februar 2024 tragen erzeugte Bilder Metadaten nach dem C2PA-Standard, die Herkunft und Erzeugungswerkzeug belegen.
Kontroversen und Kritik
Wie alle großen Bildmodelle ist DALL·E mit dem Vorwurf konfrontiert, auf urheberrechtlich geschützten Werken trainiert worden zu sein, ohne die Urheber:innen zu fragen. OpenAI hat die Trainingsdaten nicht offengelegt. Klagen gegen OpenAI und Mitbewerber sind anhängig; die Rechtslage zu Trainingsdaten ist ungeklärt.
Ein zweiter Vorwurf betrifft Verzerrungen. Die Modelle geben häufiger Männer als Frauen aus, wenn das Geschlecht nicht genannt ist, und stellen Personen überproportional als weiß, weiblich und jung dar. Ein Filter, der sexuelle und gewalthaltige Trainingsbilder entfernen sollte, verschärfte einige Verzerrungen sogar. OpenAI ergänzte daraufhin Eingaben unsichtbar um Hinweise auf Herkunft und Geschlecht – eine Maßnahme, die umstritten war.
Drittens bestehen Sorgen vor Deepfakes und Desinformation. OpenAI blockiert Prompts zu öffentlichen Personen und die Verarbeitung hochgeladener Gesichter; ein filterbasierter Schutz lässt sich jedoch durch Umschreibungen umgehen.
Der Nutzen für Kreative wird daneben als Bedrohung für Grafiker:innen und Illustrator:innen diskutiert. Übertriebene Inhaltsfilter bei der DALL·E-3-Integration in Microsofts Bing wurden von Nutzenden als „lobotomisiert” kritisiert.
Stand 2025/2026
Die DALL·E-Reihe hat in ChatGPT ein Ende gefunden; GPT Image erzeugt dort seit März 2025 die Bilder. Die Technik der Diffusion, die DALL·E 2 populär machte, ist seither der De-facto-Standard der Bildsynthese geblieben. Offene Gewichte – von Stable Diffusion über FLUX bis zu weiteren – prägen das Feld neben den geschlossenen Dienstleistungen. Die offenen Rechtsfragen zu Trainingsdaten sind dagegen weiter ungelöst.
Verwandte Begriffe
- CLIP – das zum Sortieren der Ausgaben genutzte Modell
- Diffusionsmodelle – die Architektur von DALL·E 2 und 3
- Stable Diffusion – das offene Pendant zur DALL·E-2-Architektur
- Generative KI – das übergeordnete Feld
- ChatGPT – die Integration von DALL·E 3
- Token – die Verarbeitungseinheit der ersten Version
- GPT-3 – die Architekturvorlage der ersten Version
Quellenangaben
- Ramesh, Aditya / Pavlov, Mikhail / Goh, Gabriel / Gray, Scott / Voss, Chelsea / Radford, Alec / Chen, Mark / Sutskever, Ilya, 2021. Zero-Shot Text-to-Image Generation. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2102.12092.
- Ramesh, Aditya / Dhariwal, Prafulla / Nichol, Alex / Chu, Casey / Chen, Mark, 2022. Hierarchical Text-Conditional Image Generation with CLIP Latents. OpenAI. arXiv: 2204.06125. (DALL·E 2).