Latent Diffusion Models

Latent Diffusion Models (deutsch etwa Diffusionsmodelle im latenten Raum) sind Bilderzeugungsverfahren, die den rechenintensiven Entrauschungsvorgang nicht auf den Bildpunkten ausführen, sondern auf einer komprimierten Darstellung. Der Rechenaufwand sinkt dadurch um etwa eine Größenordnung, ohne dass die Bildqualität entsprechend leidet.

Zusammenfassung

Diffusionsmodelle erzeugen Bilder, indem sie mit Rauschen beginnen und dieses in vielen kleinen Schritten entfernen. Jeder Schritt erfordert einen vollständigen Durchlauf durch ein großes neuronales Netz.

Der Aufwand hängt an der Auflösung. Ein Bild mit 512 mal 512 Bildpunkten umfasst über 260.000 Werte je Farbkanal, und jeder Entrauschungsschritt muss sie alle behandeln. Bei fünfzig Schritten summiert sich das erheblich.

Die Arbeitsgruppe um Robin Rombach und Björn Ommer an der Universität Heidelberg schlug 2021 vor, den Vorgang zu verlagern. Ein vorgeschaltetes Netz komprimiert das Bild auf ein Achtel seiner Kantenlänge; die Diffusion läuft in diesem kleineren Raum ab; ein Dekodierer stellt das Bild danach wieder her.

Das Ergebnis war Stable Diffusion – das erste Bilderzeugungsmodell dieser Güte, das auf gewöhnlicher Verbraucherhardware lief und quelloffen verfügbar war.

Begriffsgeschichte

Der Grundgedanke der Diffusion stammt aus der Physik und wurde 2015 auf das maschinelle Lernen übertragen: Ein Vorgang, der Struktur schrittweise zerstört, lässt sich umkehren, wenn man die Umkehrung jedes einzelnen Schrittes lernt.

2020 machte eine Arbeit aus diesem Prinzip ein praktisch brauchbares Verfahren. Die erzeugten Bilder erreichten die Qualität der damals vorherrschenden Generative Adversarial Networks und übertrafen sie in der Vielfalt.

Der Preis war der Rechenaufwand. Wo ein GAN ein Bild in einem Durchgang erzeugt, benötigt ein Diffusionsmodell Dutzende bis Hunderte. Das Training großer Modelle blieb dadurch wenigen Häusern vorbehalten.

Die Heidelberger Arbeit von 2021 löste dieses Problem nicht durch schnellere Netze, sondern durch eine kleinere Aufgabe. Sie trennte die Kompression von der Erzeugung – zwei Teilprobleme, die zuvor gemeinsam gelöst wurden.

Im August 2022 erschien Stable Diffusion mit offenen Gewichten. Die Wirkung ging über die Technik hinaus: Bilderzeugung war nicht länger an einen Anbieter gebunden.

Methodische Grundlagen

Die Zweiteilung. Ein Autoencoder lernt, Bilder zu komprimieren und wiederherzustellen. Das Diffusionsmodell arbeitet ausschließlich in dessen komprimiertem Raum und sieht nie ein Bild.

Wahrnehmungsgetreue Kompression. Der Autoencoder wird nicht auf minimalen Rekonstruktionsfehler trainiert, sondern darauf, dass das wiederhergestellte Bild wahrnehmungsgleich aussieht. Was für das Auge unerheblich ist, darf verlorengehen.

Die Kompressionsrate. Üblich ist ein Faktor von acht je Kantenlänge, also 64 in der Fläche. Das ist der Punkt, an dem der Gewinn an Rechenzeit noch nicht durch sichtbare Verluste erkauft wird.

Steuerung über Text. Die Textbeschreibung wird durch ein Sprachmodell in Vektoren überführt und über Kreuzaufmerksamkeit in das entrauschende Netz eingespeist. Der Text steuert damit jeden Entrauschungsschritt.

Das entrauschende Netz. In der ursprünglichen Fassung ein U-Net mit Aufmerksamkeitsschichten. Neuere Modelle ersetzen es zunehmend durch reine Transformer-Architekturen.

Anwendungsfelder

Bilderzeugung aus Text. Der bekannteste Fall und die Grundlage nahezu aller heute verbreiteten Bildgeneratoren.

Bearbeitung vorhandener Bilder. Weil sich ein Bild in den komprimierten Raum überführen lässt, kann der Vorgang bei einem bestehenden Bild ansetzen: Bereiche ersetzen, Stil ändern, Auflösung erhöhen.

Videoerzeugung. Die Übertragung auf bewegte Bilder folgt derselben Logik, mit einer zusätzlichen Dimension für die Zeit.

Wissenschaftliche Anwendungen. Molekülstrukturen, Proteinfaltungen und Materialentwürfe werden mit verwandten Verfahren erzeugt – dort ist die Kompression allerdings anders begründet.

Kontroversen und Kritik

Herkunft der Trainingsdaten. Die Modelle wurden auf Bildbeständen aus dem offenen Netz trainiert, überwiegend ohne Einwilligung der Urheber. Die daraus folgenden Rechtsstreitigkeiten sind Stand 2026 nicht abschließend entschieden.

Verlust in der Kompression. Feine Strukturen überstehen den Weg durch den komprimierten Raum nicht immer. Bekannt sind Schwierigkeiten bei Schrift, bei Händen und bei regelmäßigen Mustern – Fälle, in denen kleine Abweichungen sofort auffallen.

Wiedergabe von Trainingsbildern. Untersuchungen haben gezeigt, dass sich einzelne Trainingsbilder unter bestimmten Bedingungen nahezu unverändert erzeugen lassen. Das betrifft vor allem häufig wiederholte Motive und berührt Urheber- und Datenschutzfragen.

Verzerrungen im Bestand. Was in den Trainingsdaten überrepräsentiert ist, erscheint auch in den Ausgaben überrepräsentiert. Berufsbilder, Körperformen und geografische Zuordnungen folgen den Schieflagen des Bestands.

Offenheit als Streitpunkt. Dass die Gewichte frei verfügbar sind, gilt zugleich als Verdienst und als Problem: Es ermöglicht unabhängige Forschung und entzieht zugleich jede Nutzungskontrolle.

Warum die Trennung der Aufgaben wirkte

Der Beitrag der Arbeit von 2021 ist kein besseres Verfahren, sondern eine Aufteilung. Und die Begründung dafür ist bemerkenswert präzise.

Ein Bild enthält zwei Arten von Information. Die eine ist wahrnehmungsrelevant: Was ist zu sehen, wie ist es angeordnet. Die andere ist es nicht: die exakten Werte benachbarter Bildpunkte, die sich ohnehin kaum unterscheiden.

Ein Diffusionsmodell, das unmittelbar auf Bildpunkten arbeitet, verwendet einen erheblichen Teil seiner Kapazität auf die zweite Art – auf Einzelheiten, die niemand bemerkt. Die Autoren beschreiben das als Verschwendung an einem Bereich, der mit Bedeutung nichts zu tun hat.

Die Kompression schneidet genau diesen Teil ab, bevor die eigentliche Arbeit beginnt. Danach befasst sich das teure Modell nur noch mit dem, worauf es ankommt.

Dieselbe Überlegung findet sich an anderer Stelle wieder – etwa in LeCuns Begründung für JEPA, wo ebenfalls argumentiert wird, dass die Vorhersage von Rohdaten Kapazität auf Belangloses verwendet. Zwei getrennte Forschungslinien, dieselbe Diagnose.

Verwandte Begriffe

• Stable Diffusion – bekannteste Umsetzung des Verfahrens
• U-Net – Architektur des entrauschenden Netzes
• Generative Adversarial Networks – abgelöste Vorgängertechnik
• Multimodale KI – Feld, dem die Textsteuerung zugehört
• JEPA – verwandte Diagnose in anderem Zusammenhang
• CLIP – Modell, das die Textvektoren liefert
• Open Weights – Veröffentlichungsform, die die Verbreitung trug
• Urheberrecht und KI – Rechtsfrage der Trainingsdaten

Quellenangaben

1. Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
2. Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
3. Sohl-Dickstein, Jascha / Weiss, Eric A. / Maheswaranathan, Niru / Ganguli, Surya, 2015. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. In: Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). arXiv: 1503.03585.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.