Denoising Diffusion Probabilistic Models (DDPM) sind eine 2020 von Jonathan Ho, Ajay Jain und Pieter Abbeel vorgestellte Klasse generativer Modelle, die Daten erzeugen, indem sie einen schrittweisen Entrauschungsprozess erlernen.
Zusammenfassung
DDPM beschreiben zwei gekoppelte stochastische Prozesse: einen Vorwärtsprozess, der einem Datenpunkt – etwa einem Bild – in vielen kleinen Schritten Gaußsches Rauschen hinzufügt, bis nur noch reines Rauschen übrig bleibt, und einen Rückwärtsprozess, den ein neuronales Netz erlernt, um diesen Vorgang schrittweise umzukehren. Aus zufälligem Rauschen entsteht so, Schritt für Schritt, ein neues Datenbeispiel. Die 2020 veröffentlichte Arbeit von Ho, Jain und Abbeel zeigte erstmals, dass sich mit dieser Methode Bildqualität erzielen lässt, die mit den bis dahin dominierenden Generative Adversarial Networks (GANs) konkurrieren kann. Sie gilt seither als eine der Gründungsarbeiten der Diffusionsmodell-Welle, auf der Systeme wie Stable Diffusion, DALL·E 2 und Midjourney aufbauen.
Abgrenzung
Diffusionsmodelle – der Oberbegriff für die gesamte Modellfamilie, einschließlich späterer Weiterentwicklungen (etwa schnellere Sampling-Verfahren oder Latent-Diffusion-Ansätze). DDPM bezeichnet enger die 2020 vorgestellte ursprüngliche Formulierung mit dem Vorwärts-/Rückwärts-Rauschprozess, die zum Grundgerüst dieser Modellfamilie wurde.
GANs – ein alternativer generativer Ansatz, bei dem ein Generator- und ein Diskriminator-Netz gegeneinander trainiert werden. DDPM verzichten auf dieses Wettstreit-Prinzip und trainieren stattdessen ein einzelnes Netz, das den Entrauschungsschritt vorhersagt.
Variational Autoencoder – erzeugen Daten, indem sie einen komprimierten latenten Raum erlernen und daraus dekodieren. DDPM teilen mit VAEs die probabilistische, auf einer Likelihood-Herleitung basierende Grundlage, verwenden aber einen mehrstufigen Rauschprozess statt einer einzelnen Encoder-Decoder-Abbildung.
Begriffsgeschichte
Die theoretische Grundlage diffusionsbasierter generativer Modelle reicht bis in die Physik zurück: Der Vorwärtsprozess ist mathematisch mit der Diffusion in der statistischen Thermodynamik verwandt, bei der sich ein System schrittweise in einen Zustand maximaler Unordnung entwickelt. Eine erste Formulierung generativer Modelle auf dieser Grundlage stammt aus dem Jahr 2015, blieb aber zunächst wenig beachtet, weil die erzeugten Ergebnisse in der Bildqualität hinter etablierten Verfahren zurückblieben.
Die Arbeit von Ho, Jain und Abbeel aus dem Jahr 2020 änderte das. Sie vereinfachte die mathematische Formulierung des Rückwärtsprozesses erheblich und zeigte, dass sich das Trainingsziel auf eine Form reduzieren lässt, die einem einfachen Rauschvorhersage-Problem ähnelt – das Netz lernt bei jedem Schritt, welches Rauschen einem verrauschten Bild hinzugefügt wurde, um es wieder zu entfernen. Diese Vereinfachung machte das Training stabiler und die Ergebnisse konkurrenzfähig mit GANs, ohne deren bekannte Trainingsprobleme wie Mode Collapse zu teilen.
In den Folgejahren entstand daraus eine rasch wachsende Forschungslinie: schnellere Sampling-Verfahren reduzierten die für die Bilderzeugung nötige Schrittzahl von tausenden auf wenige Dutzend, und die Übertragung des Rauschprozesses in einen komprimierten latenten Raum statt direkt auf Pixelebene – ein Ansatz, der unter anderem Stable Diffusion zugrunde liegt – senkte den Rechenaufwand drastisch. Bildgenerierungssysteme, die zuvor überwiegend auf GANs setzten, wechselten in der Folge mehrheitlich zu diffusionsbasierten Architekturen.
Methodische Grundlagen
Der Vorwärtsprozess (auch Diffusionsprozess genannt) ist eine Markov-Kette, die einem Datenpunkt in einer festen Anzahl von Schritten – üblicherweise mehrere hundert bis tausend – jeweils eine kleine Menge Gaußsches Rauschen hinzufügt. Nach ausreichend vielen Schritten ist aus dem ursprünglichen Datenpunkt statistisch reines Rauschen geworden, unabhängig vom Ausgangsbild. Dieser Prozess ist mathematisch fest definiert und benötigt kein Training.
Der Rückwärtsprozess ist die eigentliche Lernaufgabe: Ein neuronales Netz – in der Originalarbeit eine U-Net-Architektur – wird trainiert, bei jedem Schritt vorherzusagen, welches Rauschen im vorangegangenen Vorwärtsschritt hinzugefügt wurde. Ist diese Vorhersage gelungen, lässt sich das Rauschen abziehen und man erhält eine leicht weniger verrauschte Version. Wiederholt man diesen Schritt vom reinen Rauschen aus rückwärts durch alle Stufen, entsteht am Ende ein neues, kohärentes Datenbeispiel.
Trainiert wird das Netz mit einem vereinfachten Zielwert, der dem mittleren quadratischen Fehler zwischen dem tatsächlich hinzugefügten und dem vom Netz vorhergesagten Rauschen entspricht. Diese Vereinfachung war der zentrale Beitrag der DDPM-Arbeit gegenüber früheren, komplexeren Formulierungen der Trainings-Zielfunktion und machte das Verfahren praktisch trainierbar.
Ein Nachteil des ursprünglichen DDPM-Verfahrens ist die hohe Zahl an Schritten, die für ein einzelnes generiertes Bild nötig ist – jeder Schritt erfordert einen vollständigen Durchlauf durch das neuronale Netz. Spätere Arbeiten entwickelten deterministische und beschleunigte Sampling-Verfahren, die dieselbe grundlegende Trainingsformulierung nutzen, aber mit deutlich weniger Schritten auskommen.
Anwendungsfelder
Die unmittelbarste Anwendung liegt in der Bildgenerierung: Text-zu-Bild-Systeme wie Stable Diffusion, DALL·E 2 und 3 sowie Midjourney basieren in ihrem Kern auf diffusionsbasierten Architekturen, die auf den in DDPM eingeführten Prinzipien aufbauen, meist kombiniert mit Weiterentwicklungen wie latenter Diffusion oder Klassifikator-Guidance zur Steuerung durch Text-Prompts.
Über die Bildgenerierung hinaus wurde das Prinzip auf weitere Modalitäten übertragen: Audioerzeugung und Sprachsynthese, Videoerzeugung, sowie – in der Molekularbiologie und Chemie – die Erzeugung dreidimensionaler Molekülstrukturen. Auch in der Bild-zu-Bild-Übersetzung, etwa beim Inpainting (dem Ergänzen fehlender Bildbereiche) oder der Superauflösung, kommen diffusionsbasierte Verfahren zum Einsatz.
Kontroversen und Kritik
Der hohe Rechenaufwand des ursprünglichen DDPM-Verfahrens – bedingt durch die vielen sequenziellen Schritte – gilt als praktische Einschränkung, die einen eigenen Forschungszweig um schnellere Sampling-Verfahren hervorgebracht hat. Ein weiterer Kritikpunkt betrifft, wie bei generativen Bildmodellen allgemein, die Trainingsdatengrundlage: Modelle, die auf umfangreichen, aus dem Internet gesammelten Bilddatensätzen trainiert wurden, werfen Fragen zu Urheberrecht und zur Zustimmung der ursprünglichen Urheberinnen und Urheber auf – ein Streitpunkt, der mehrere generative Bildsysteme betrifft und nicht spezifisch für DDPM ist, aber die Modellfamilie mit einschließt, seit sie zur dominierenden Architektur wurde.
Verwandte Begriffe
- Generative KI – der übergeordnete Bereich, dem diffusionsbasierte Bildgenerierung zuzurechnen ist.
- Latent Diffusion Models – Skalierungs-Innovation, die DDPM in den komprimierten Latentraum überführt
- Schnellere Sampling-Verfahren – DDIM, DPM-Solver und Consistency Models reduzieren die erforderlichen Diffusionsschritte
Quellenangaben
- Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems (NeurIPS) 33. arXiv: 2006.11239.
- Sohl-Dickstein, Jascha / Weiss, Eric / Maheswaranathan, Niru / Ganguli, Surya, 2015. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. In: Proceedings of the 32nd International Conference on Machine Learning (ICML), S. 2256–2265. arXiv: 1503.03585.