Diffusionsmodelle

Diffusionsmodelle (englisch diffusion models) sind eine Familie generativer Modelle des maschinellen Lernens, die Daten erzeugen, indem sie einen iterativen Entrauschungsprozess umkehren. Aus einem ursprünglich strukturlosen Rauschen wird in mehreren Schritten eine realistische Probe rekonstruiert – etwa ein Bild, ein Video oder ein Audio-Sample.

Sie beruhen auf der Idee, dass jede Datenverteilung durch wiederholte Anwendung kleiner Rauschoperationen schrittweise in eine Standard-Normalverteilung überführt werden kann. Die Umkehrung dieses Prozesses – die Reverse Diffusion – wird durch ein neuronales Netz gelernt und ermöglicht die Erzeugung neuer Samples aus der ursprünglichen Datenverteilung.

Diffusionsmodelle haben seit etwa 2020 die zuvor dominanten Generative Adversarial Networks (GANs) in der Bild-Generierung weitgehend abgelöst und bilden Stand 2025/2026 die methodische Grundlage praktisch aller produktiven Frontier-Systeme für Bild-, Video- und Audio-Generierung.

Zusammenfassung

Die Wurzel der Diffusionsmodelle liegt in der Nichtgleichgewichts-Thermodynamik: Sohl-Dickstein, Weiss, Maheswaranathan und Ganguli formulierten 2015 in Deep Unsupervised Learning using Nonequilibrium Thermodynamics (ICML 2015) die Grundidee.

Die wirkungsmächtige Form erreichten die Modelle 2020 mit Denoising Diffusion Probabilistic Models (Ho, Jain, Abbeel, NeurIPS 2020, DDPM), die einfachere Trainingsverfahren und höhere Bildqualität als zeitgenössische GANs demonstrierten.

Eine parallele Linie der Score-Based Generative Models (Song/Ermon, NeurIPS 2019) erreichte vergleichbare Ergebnisse über das Score Matching der lokalen Gradienten der Datenverteilung; Song u. a. (ICLR 2021) zeigten anschließend, dass beide Linien – DDPM und Score-Based – derselbe Rahmen stochastischer Differentialgleichungen sind.

Zentrale Erweiterungen umfassen Classifier-Free Guidance (Ho/Salimans 2022) zur Steuerung der Generierung durch Bedingungssignale sowie Latent Diffusion Models (Rombach u. a. CVPR 2022) zur rechentechnischen Skalierung über einen komprimierten Latentraum. Hinzu kommen Diffusion Transformers (Peebles/Xie ICCV 2023, DiT) als Verbindung der Diffusionslinie mit der Transformer-Architektur.

Anwendungsfelder umfassen Bild-Generierung (DALL·E 2, Stable Diffusion, Midjourney, Imagen, Flux), Video-Generierung (Sora, Veo, Runway), Audio (AudioLDM, Stable Audio), Molekül-Design (RFdiffusion 2023, AlphaFold 3 2024) und Robotik (Diffusion Policy 2023).

Begriffsgeschichte

Vorgeschichte: Score Matching und nichtgleichgewichts-Thermodynamik (2005–2015)

Vorläufer reichen bis zu Aapo Hyvärinens Score Matching-Verfahren zurück (Hyvärinen 2005, Journal of Machine Learning Research 6), das die Schätzung von Wahrscheinlichkeitsverteilungen über ihre lokalen Gradienten ermöglicht. Eine eigenständige Linie entwickelte Pascal Vincent mit Denoising Autoencoders (Vincent u. a. 2010), die das Entrauschen als zentrales Lernsignal etablierten.

Begriffsetablierung: Sohl-Dickstein 2015

Die Begründung der heutigen Diffusionsmodelle erfolgte mit Deep Unsupervised Learning using Nonequilibrium Thermodynamics (Sohl-Dickstein, Weiss, Maheswaranathan, Ganguli, ICML 2015, arXiv 1503.03585). Die Autoren formulierten den Forward-Diffusion-Prozess als schrittweise Diffusion der Datenverteilung in eine Standard-Normalverteilung und die Umkehrung als generatives Verfahren. Die Arbeit blieb zunächst wenig rezipiert.

Score-Based Models (2019)

Yang Song und Stefano Ermon formulierten in Generative Modeling by Estimating Gradients of the Data Distribution (NeurIPS 2019, arXiv 1907.05600) eine parallele Linie der Score-Based Generative Models. Der Ansatz lernt die Score-Funktion – den Gradienten des Logarithmus der Datendichte – und nutzt sie für Langevin-Dynamik-basiertes Sampling.

Durchbruch: DDPM (2020)

Die wirkungsmächtige Form erreichten Diffusionsmodelle mit Denoising Diffusion Probabilistic Models (Ho, Jain, Abbeel, UC Berkeley, NeurIPS 2020, arXiv 2006.11239).

DDPM vereinfachte das Trainingsverfahren erheblich, erreichte Bildqualität auf Niveau zeitgenössischer GANs und etablierte die heute übliche Architektur. Die methodische Vereinfachung – Vorhersage des hinzugefügten Rauschens statt der vollständigen Verteilung – machte das Verfahren praktisch trainierbar.

Vereinigung der Linien (2021)

Song, Sohl-Dickstein, Kingma, Kumar, Ermon und Poole zeigten 2021 in Score-Based Generative Modeling through Stochastic Differential Equations (ICLR 2021), dass DDPM und Score-Based Models derselbe Rahmen sind: beide entsprechen unterschiedlichen Diskretisierungen derselben stochastischen Differentialgleichung. Diese Vereinheitlichung legte das mathematische Fundament der nachfolgenden Forschung.

Classifier-Free Guidance und bedingte Generierung (2021–2022)

Ein zentrales Verfahren zur Steuerung der Generierung durch Bedingungssignale (etwa Textanweisungen) ist Classifier-Free Guidance (Ho/Salimans 2022, arXiv 2207.12598).

Statt ein zusätzliches Klassifikator-Netz für die Bedingung zu trainieren, wird das Diffusionsmodell sowohl mit als auch ohne Bedingung trainiert und beide Vorhersagen werden zur Inferenzzeit linear kombiniert. Dieses Verfahren ist Stand 2025/2026 das standardmäßige Steuerungsprinzip in Bild-Diffusionsmodellen.

Latent Diffusion und Skalierung (2022)

Rombach, Blattmann, Lorenz, Esser und Ommer formulierten in High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022, arXiv 2112.10752) die entscheidende Skalierungs-Innovation: Der Diffusions-Prozess wird nicht im Pixel-Raum, sondern in einem durch einen VAE-Encoder erzeugten komprimierten Latent-Raum ausgeführt.

Diese Architektur reduziert den Rechenaufwand um eine bis zwei Größenordnungen und bildete die Grundlage von Stable Diffusion (StabilityAI, August 2022) als erstes öffentlich zugängliches hochwertiges Open-Source-Bild-Diffusionsmodell.

Kommerzielle Massenwirkung (2022–2023)

Parallel zur akademischen Konsolidierung erreichten kommerzielle Diffusionsmodelle Massenwirkung: DALL·E 2 (OpenAI, April 2022), Imagen (Google, Mai 2022), Midjourney v1 (Juli 2022), Stable Diffusion (August 2022). Diese Modelle markierten den Beginn der kommerziellen Verbreitung der Text-zu-Bild-Generierung.

Diffusion Transformers und multimodale Erweiterung (2023–2024)

William Peebles und Saining Xie veröffentlichten 2023 Scalable Diffusion Models with Transformers (ICCV 2023, DiT, arXiv 2212.09748), das die U-Net-Architektur klassischer Diffusionsmodelle durch eine Transformer-Architektur ersetzte. DiT skalierte günstiger und bildete die architektonische Grundlage von Sora (OpenAI, Demo Februar 2024, Public Release Dezember 2024).

Video- und 3D-Diffusion (2023–2026)

Die Erweiterung auf zeitliche Dimensionen erfolgte über Video Diffusion Models (Ho u. a. NeurIPS 2022), Make-A-Video (Meta 2022), Imagen Video (Google 2022), Stable Video Diffusion (Blattmann u. a. 2023), Sora (2024), Veo (Google 2024) und Veo 3 (2025). Zentral war die Erweiterung um temporale Attention und konsistente Bewegungsmodellierung.

Im September 2025 veröffentlichte OpenAI mit Sora 2 eine substantiell verbesserte Nachfolgeversion mit deutlich robusterer physikalischer Plausibilität (etwa realistischem Ballverhalten in Sportszenen statt diskontinuierlicher Objektsprünge) und erstmals systemintegrierter, synchronisierter Audiogenerierung (Dialog, Geräuschkulisse) im selben Modell.

Wissenschaftliche Anwendungen (2023–2026)

Eine bemerkenswerte Linie ist die Anwendung von Diffusionsmodellen auf wissenschaftliche Strukturgenerierungs-Probleme. RFdiffusion (Watson u. a. 2023, Nature 620, DOI 10.1038/s41586-023-06415-8) etablierte Diffusionsmodelle für das De-novo-Protein-Design.

AlphaFold 3 (Abramson u. a. 2024, Nature 630) integrierte ein Diffusionsmodell als zentrale Komponente der Strukturvorhersage. Microsoft MatterGen (Zeni u. a. 2025) wendet Diffusionsmodelle auf Material-Discovery an.

Robotik (2023–2026)

Diffusion Policy (Chi u. a. RSS 2023, arXiv 2303.04137) führte Diffusionsmodelle als Hauptlinie für visuomotorische Robotik-Steuerung ein. Stand 2025/2026 ist diese Linie in der Robotik-Forschung etabliert (Toyota Research Institute, Physical Intelligence π0, Figure 01).

Methodische Grundlagen

Forward Process

Der Forward-Diffusion-Prozess fügt einer Datenprobe schrittweise gaußsches Rauschen hinzu, bis nach etwa 1.000 Schritten eine annähernd reine Standard-Normalverteilung erreicht ist. Dieser Prozess ist fest definiert und enthält keine lernbaren Parameter.

Reverse Process und Training

Der Reverse Process wird durch ein neuronales Netz parametrisiert, das den Forward-Prozess umkehrt. Das Netz lernt, das in einem Schritt hinzugefügte Rauschen zu vorhersagen – eine substantielle Vereinfachung gegenüber direkter Verteilungsmodellierung. Das Trainingsverfahren ist stabil und vermeidet die in GANs typischen Trainings-Pathologien wie Mode Collapse.

U-Net und DiT-Architekturen

Klassische Diffusionsmodelle verwenden U-Net-Architekturen mit Skip-Verbindungen (Ronneberger u. a. 2015) als geeignete Backbone für die Pixel-Vorhersage. Seit 2023 wird zunehmend die Diffusion Transformer-Architektur (DiT) eingesetzt, die günstiger skaliert.

Sampling-Verfahren

Klassische DDPM-Sampling erfordert hunderte bis tausende Schritte. Schnellere Sampling-Verfahren – DDIM (Song u. a. 2020), DPM-Solver (Lu u. a. 2022), Consistency Models (Song u. a. 2023) – reduzieren die nötige Schrittzahl auf wenige Dutzend bis zu einem einzelnen Schritt.

Bedingte Generierung

Classifier Guidance (Dhariwal/Nichol 2021) und das später dominierende Classifier-Free Guidance (Ho/Salimans 2022) ermöglichen die Steuerung der Generierung durch Bedingungssignale wie Textanweisungen, Klassen-Labels oder Bild-Anker.

Anwendungsfelder

Bild-Generierung

Stand 2025/2026 die methodisch und kommerziell wichtigste Anwendung. Stable Diffusion (StabilityAI), GPT Image (OpenAI), Imagen und Nano Banana (Google), Midjourney, Flux (Black Forest Labs) sind die dominanten Modelle. OpenAIs DALL·E-Reihe wurde am 12. Mai 2026 aus der Schnittstelle entfernt und durch die GPT-Image-Modelle ersetzt.

Video-Generierung

In rascher Entwicklung. OpenAI Sora 2 (September 2025, mit synchronisierter Audiogenerierung), Google Veo 2 und Veo 3, Runway Gen-3 und Gen-4, Kling (Kuaishou), Hailuo (MiniMax), Wan (Alibaba) erreichen Stand 2025/2026 produktive Qualität für Marketing- und Bildungs-Anwendungen.

Audio und Musik

AudioLDM (Liu u. a. 2023), Stable Audio (Stability AI 2023), Riffusion, AudioCraft (Meta), MusicLM (Google) verwenden Diffusionsmodelle für Sound- und Musik-Generierung.

Wissenschaftliche Strukturgenerierung

Protein-Design (RFdiffusion 2023, Chai-1 2024), Strukturvorhersage (AlphaFold 3 2024), Material-Discovery (Zeni u. a. 2025, MatterGen), Molekül-Generierung in der Pharmaforschung.

Robotik

Diffusion Policy als Hauptlinie für visuomotorische Steuerung in der gegenwärtigen Robotik-Forschung.

Herausforderungen

Rechenkosten

Diffusionsmodelle sind sowohl im Training als auch in der Inferenz rechenintensiv. Inferenz-Optimierung – Distillation, Consistency Models, wenige-Schritt-Sampling – ist Gegenstand intensiver Forschung.

Detektion synthetischer Inhalte

Die hohe Qualität diffusions-generierter Inhalte erschwert ihre Detektion. Wasserzeichen-Verfahren (Google SynthID) und kryptographische Provenienz-Standards (C2PA) werden parallel entwickelt.

Urheberrechtsfragen

Trainingsdatensätze (LAION-5B, COCO, kommerzielle Datensätze) enthalten umfangreiches urheberrechtlich geschütztes Material. Klagen – Getty Images vs. Stability AI, mehrere Künstler:innen-Sammelklagen – sind seit 2023 anhängig.

Bias und Repräsentation

Diffusionsmodelle reproduzieren statistische Muster ihrer Trainingsdaten einschließlich gesellschaftlicher Vorurteile.

Schädliche Anwendungen

Generierung nicht-einvernehmlicher synthetischer Inhalte, Deepfakes, Wahlbeeinflussung. Stand 2025/2026 sind regulatorische Reaktionen – EU AI Act, US-bundesstaatliche Gesetze, UK Online Safety Act – etabliert.

Stand 2025/2026

Stand Mai 2026 sind Diffusionsmodelle in einer Phase intensiver Skalierung und multimodaler Erweiterung. Die dominante Architektur ist Diffusion Transformer (DiT) in der Tradition von Sora. Konsistenz-Modelle und Few-Step-Sampling haben Inferenzzeiten substantiell reduziert. Video-Generierung erreicht durch Sora 2, Veo 3, Kling 2.0 produktive Qualität.

Der kommerzielle Marktanteil ist breit verteilt: proprietäre Anbieter (OpenAI, Google, Anthropic über Partner-APIs), Open-Source-Anbieter (Stability AI, Black Forest Labs für Flux, chinesische Anbieter Wan/Kling/Hailuo). Wissenschaftliche Anwendungen – insbesondere in der Strukturbiologie und Materialforschung – haben mit AlphaFold 3, RFdiffusion und MatterGen substantielle Erfolge erzielt.

Offene Fragen umfassen Inferenz-Effizienz, Verbindung zu autoregressiven Architekturen (hybride Modelle), Sicherheit und Wasserzeichen, Detektion synthetischer Inhalte, und das Verhältnis zwischen proprietären und Open-Source-Modellen.

Verwandte Begriffe

• Generative KI – Sammelbegriff
• Variational Autoencoder (VAE) – verwandte Architektur
• Diffusion Transformer (DiT) – moderne Architektur-Variante
• Classifier-Free Guidance – Steuerungs-Methode
• Score-Based Generative Models – verwandte Linie
• Sora / Veo – Video-Diffusionsmodelle

Quellenangaben

1. Abramson, Josh u. a., 2024. Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3. In: Nature 630 (8016), S. 493–500. DOI: 10.1038/s41586-024-07487-w.
2. Blattmann, Andreas u. a., 2023. Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets. Stability AI. arXiv: 2311.15127.
3. Chi, Cheng u. a., 2023. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. In: Proceedings of Robotics: Science and Systems (RSS 2023). arXiv: 2303.04137.
4. Dhariwal, Prafulla / Nichol, Alex, 2021. Diffusion Models Beat GANs on Image Synthesis. In: Advances in Neural Information Processing Systems 34 (NeurIPS 2021). arXiv: 2105.05233.
5. Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
6. Ho, Jonathan / Salimans, Tim, 2022. Classifier-Free Diffusion Guidance. arXiv: 2207.12598.
7. Hyvärinen, Aapo, 2005. Estimation of Non-Normalized Statistical Models by Score Matching. In: Journal of Machine Learning Research 6, S. 695–709.
8. Liu, Haohe / Chen, Zehua / Yuan, Yi / Mei, Xinhao / Liu, Xubo / Mandic, Danilo / Wang, Wenwu / Plumbley, Mark D., 2023. AudioLDM: Text-to-Audio Generation with Latent Diffusion Models. In: Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arXiv: 2301.12503.
9. Lu, Cheng u. a., 2022. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2206.00927.
10. OpenAI, 2024. Sora System Card. OpenAI Technical Report.
11. OpenAI, 2025. Sora 2 System Card. OpenAI Technical Report, 30. September 2025.
12. Peebles, William / Xie, Saining, 2023. Scalable Diffusion Models with Transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV 2023). arXiv: 2212.09748. (DiT).
13. Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
14. Ronneberger, Olaf / Fischer, Philipp / Brox, Thomas, 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015). arXiv: 1505.04597.
15. Sohl-Dickstein, Jascha / Weiss, Eric A. / Maheswaranathan, Niru / Ganguli, Surya, 2015. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). arXiv: 1503.03585.
16. Song, Yang / Ermon, Stefano, 2019. Generative Modeling by Estimating Gradients of the Data Distribution. In: Advances in Neural Information Processing Systems 32 (NeurIPS 2019). arXiv: 1907.05600.
17. Song, Yang / Sohl-Dickstein, Jascha / Kingma, Diederik P. / Kumar, Abhishek / Ermon, Stefano / Poole, Ben, 2021. Score-Based Generative Modeling through Stochastic Differential Equations. In: Proceedings of the International Conference on Learning Representations (ICLR 2021). arXiv: 2011.13456.
18. Song, Jiaming / Meng, Chenlin / Ermon, Stefano, 2020. Denoising Diffusion Implicit Models. arXiv: 2010.02502.
19. Song, Yang / Dhariwal, Prafulla / Chen, Mark / Sutskever, Ilya, 2023. Consistency Models. arXiv: 2303.01469.
20. Stability AI, 2023. Stability AI Launches Stable Audio, the Companys First Product to Generate Music Using Artificial Intelligence. PRNewswire, 13. September 2023.
21. Vincent, Pascal / Larochelle, Hugo / Lajoie, Isabelle / Bengio, Yoshua / Manzagol, Pierre-Antoine, 2010. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. In: Journal of Machine Learning Research 11, S. 3371–3408.
22. Watson, Joseph L. u. a., 2023. De Novo Design of Protein Structure and Function with RFdiffusion. In: Nature 620 (7976), S. 1089–1100. DOI: 10.1038/s41586-023-06415-8.
23. Zeni, Claudio u. a., 2025. A Generative Model for Inorganic Materials Design. In: Nature 639, S. 624–632. DOI: 10.1038/s41586-025-08628-5.

← Zurück zur Lexikon-Übersicht