Stable Diffusion

Stable Diffusion ist ein Modell zur Bilderzeugung aus Textbeschreibungen, das im August 2022 mit offenen Gewichten veröffentlicht wurde. Es war das erste System seiner Leistungsklasse, das sich auf gewöhnlicher Verbraucherhardware betreiben ließ und ohne Zugang zu einem Anbieterdienst auskam.

Zusammenfassung

Technisch ist Stable Diffusion die erste breit verfügbare Umsetzung der Latent Diffusion Models. Die Forschungsarbeit dazu entstand an der Universität Heidelberg; die Umsetzung im großen Maßstab erfolgte in Zusammenarbeit mit dem Unternehmen Stability AI und der gemeinnützigen Initiative LAION, die den Trainingsdatensatz bereitstellte.

Der Unterschied zu den gleichzeitig erschienenen Systemen war nicht die Bildqualität, sondern die Verfügbarkeit. Wo andere Anbieter den Zugang über eine Schnittstelle steuerten, lagen hier die Gewichte offen.

Die Folge war eine Entwicklung, die kein Anbieter geplant hatte: eine Werkzeuglandschaft aus Bedienoberflächen, Erweiterungen und Anpassungsverfahren, entstanden binnen Monaten außerhalb jedes Unternehmens.

Dieselbe Offenheit machte das Modell zum Gegenstand der schärfsten Auseinandersetzungen des Feldes – über die Herkunft der Trainingsdaten, über Missbrauch und über die Frage, ob Verfügbarkeit ohne Kontrolle verantwortbar ist.

Begriffsgeschichte

Das Jahr 2022 brachte drei Systeme zur Bilderzeugung aus Text in kurzem Abstand: im April eine Arbeit von OpenAI, im Juli den Dienst Midjourney, im August Stable Diffusion.

Die ersten beiden waren geschlossen. Der Zugang lief über eine Schnittstelle oder einen Chatdienst, die Gewichte blieben beim Anbieter, und die Nutzungsbedingungen bestimmten, was erzeugt werden durfte.

Stable Diffusion brach damit. Die Gewichte wurden unter einer Lizenz veröffentlicht, die Nutzung und Weitergabe erlaubte – mit Auflagen, die sich praktisch nicht durchsetzen ließen.

Die Wirkung war unmittelbar. Innerhalb weniger Wochen entstanden Bedienoberflächen, Erweiterungen für Bildbearbeitungsprogramme und Verfahren, das Modell mit wenigen Beispielbildern auf einen bestimmten Stil oder eine bestimmte Person einzustellen.

Spätere Fassungen erschienen 2023 und 2024, teils mit veränderten Lizenzbedingungen. Die Aufmerksamkeit verschob sich dabei zunehmend auf andere offene Modelle, während die ursprüngliche Fassung ihre Verbreitung behielt.

Methodische Grundlagen

Drei Bestandteile. Ein Textkodierer überführt die Beschreibung in Vektoren, ein entrauschendes Netz arbeitet im komprimierten Raum, ein Dekodierer stellt daraus das Bild her.

Arbeit im komprimierten Raum. Der Entrauschungsvorgang läuft auf einer Darstellung, deren Kantenlänge ein Achtel des Bildes beträgt. Das ist der Grund, warum das Modell mit dem Speicher einer gewöhnlichen Grafikkarte auskommt.

Steuerung über den Text. Die Textvektoren fließen über Kreuzaufmerksamkeit in jeden Entrauschungsschritt ein. Eine Einstellgröße bestimmt, wie streng das Ergebnis der Beschreibung folgen soll.

Anpassung mit wenigen Bildern. Verfahren, die kleine Zusatzmatrizen trainieren, erlauben es, das Modell mit einer Handvoll Beispielbildern auf einen Stil oder ein Motiv einzustellen – bei Dateigrößen im zweistelligen Megabyte-Bereich.

Steuerung über Zusatzbilder. Erweiterungen erlauben es, Umrisse, Tiefenkarten oder Körperhaltungen als zusätzliche Vorgabe mitzugeben. Damit wird aus dem Erzeugen ein steuerbarer Vorgang.

Anwendungsfelder

Gestaltung und Illustration. Entwurfsskizzen, Stimmungsbilder, Vorlagen – Anwendungen, in denen schnelle Varianten mehr zählen als das einzelne fertige Bild.

Spiele- und Filmvorproduktion. Konzeptkunst und Ausstattungsentwürfe, wo bislang Zeichnungen in großer Zahl von Hand entstanden.

Forschung. Weil die Gewichte offenliegen, ist das Modell eines der wenigen Bildsysteme, an denen sich Interpretierbarkeit, Verzerrung und Datenwiedergabe unabhängig untersuchen lassen.

Persönliche Anwendung. Der Betrieb auf eigener Hardware ohne Anbieter, ohne Abrechnung und ohne Übermittlung der Eingaben.

Kontroversen und Kritik

Trainingsdaten ohne Einwilligung. Der Datensatz besteht aus Bild-Text-Paaren, die aus dem offenen Netz gesammelt wurden. Urheber wurden nicht gefragt. Klagen von Künstlerinnen und Bildagenturen sind Stand 2026 nicht abschließend entschieden.

Erzeugung von Abbildungen realer Personen. Die Anpassungsverfahren erlauben es, ein Modell mit wenigen Fotos auf eine bestimmte Person einzustellen. Der Missbrauch zur Erzeugung nicht einvernehmlicher Darstellungen ist gut dokumentiert und durch die Offenheit der Gewichte nicht wirksam einzudämmen.

Problematisches Material im Bestand. Eine Untersuchung von 2023 wies nach, dass der zugrunde liegende Datensatz Verweise auf strafbares Bildmaterial enthielt. Der Datensatz wurde daraufhin zurückgezogen und überarbeitet.

Verzerrungen. Berufsbilder, Herkunftszuschreibungen und Körperdarstellungen folgen den Schieflagen des Bestands. Bei einem Modell, das Vorstellungsbilder erzeugt, wirkt das unmittelbar auf das Erzeugte.

Offenheit als Streitfrage. Befürworter verweisen auf unabhängige Forschung, Unabhängigkeit von Anbietern und die Vermeidung einer Machtkonzentration. Kritiker halten dem entgegen, dass veröffentlichte Gewichte nicht zurückzuholen sind und jede Auflage damit unverbindlich bleibt.

Was die Offenheit tatsächlich veränderte

Der übliche Streit über offene Modelle verläuft zwischen Innovation und Missbrauch. Der Fall Stable Diffusion zeigt eine dritte Wirkung, die in dieser Gegenüberstellung nicht vorkommt.

Wo ein Modell über eine Schnittstelle bereitgestellt wird, bestimmt der Anbieter den Rahmen: was erzeugt werden darf, in welcher Auflösung, mit welchen Vorgaben, zu welchem Preis. Diese Entscheidungen sind Produktentscheidungen und stehen nicht zur Verhandlung.

Mit offenen Gewichten fielen sie an die Nutzenden – und was daraus entstand, hatte niemand vorhergesehen. Die Steuerung über Umrisse und Tiefenkarten, die feingliedrigen Anpassungsverfahren, die Verbindung mit Bildbearbeitungsprogrammen: All das kam von außen und veränderte, wofür das Modell überhaupt taugt.

Damit ist die eigentliche Folge der Offenheit weder Innovation noch Missbrauch, sondern der Verlust der Definitionsmacht darüber, was ein Werkzeug ist. Für die Weiterentwicklung war das ein Gewinn; für jede Form von Kontrolle war es das Ende.

Verwandte Begriffe

• Latent Diffusion Models – zugrunde liegendes Verfahren
• U-Net – Architektur des entrauschenden Netzes
• CLIP – Modell des Textkodierers
• Open Weights – Veröffentlichungsform
• Deepfake – Missbrauchsform, die die Offenheit begünstigt
• Urheberrecht und KI – ungelöste Rechtsfrage
• Algorithmic Bias – Verzerrungen im Trainingsbestand
• Multimodale KI – Feld, dem das Modell zugehört

Quellenangaben

1. Carlini, Nicholas / Hayes, Jamie / Nasr, Milad u. a. (2023): Extracting Training Data from Diffusion Models. In: Proceedings of the 32nd USENIX Security Symposium. arXiv: 2301.13188.
2. Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
3. Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
4. Schuhmann, Christoph u. a., 2022. LAION-5B: An Open Large-Scale Dataset for Training Next Generation Image-Text Models. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2210.08402.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.