Das U-Net ist eine Architektur für Faltungsnetze, die eine Eingabe zunächst schrittweise verkleinert und anschließend wieder auf die ursprüngliche Größe bringt. Der Name stammt von der Form des Ablaufdiagramms: absteigender Ast, Tiefpunkt, aufsteigender Ast.
Zusammenfassung
Die Architektur entstand 2015 an der Universität Freiburg für ein enges Problem: die Segmentierung von Zellen in Mikroskopaufnahmen. Aufgabe war, jedem Bildpunkt eine Klasse zuzuordnen – nicht dem Bild als Ganzem.
Die Schwierigkeit dabei ist ein Zielkonflikt. Um zu erkennen, was an einer Stelle zu sehen ist, braucht ein Netz einen weiten Blick; um zu bestimmen, wo genau die Grenze verläuft, braucht es feine Auflösung. Beides zugleich leistet eine gewöhnliche Faltungsarchitektur nicht.
Die Antwort waren Überbrückungen: Die feinen Darstellungen des absteigenden Astes werden unmittelbar an die entsprechenden Stufen des aufsteigenden weitergereicht. Der weite Blick entsteht in der Tiefe, die Genauigkeit kommt über die Abkürzung.
Bemerkenswert ist die zweite Karriere der Architektur. Ab 2020 wurde sie zum Rückgrat der Diffusionsmodelle – einer Aufgabe, für die sie nicht entworfen war und die mit Segmentierung nichts zu tun hat.
Begriffsgeschichte
Vor 2015 wurde Segmentierung meist so gelöst, dass für jeden Bildpunkt ein kleiner Ausschnitt seiner Umgebung durch ein Klassifikationsnetz geschickt wurde. Das Verfahren war langsam und begrenzte den Blick auf die Größe des Ausschnitts.
2014 erschienen vollständig faltende Netze, die ein ganzes Bild in einem Durchgang verarbeiten. Ihre Ausgabe war jedoch grob, weil die Auflösung im Netz verlorenging.
Olaf Ronneberger, Philipp Fischer und Thomas Brox ergänzten 2015 den aufsteigenden Ast und die Überbrückungen. Ihr Netz gewann mehrere Wettbewerbe der biomedizinischen Bildverarbeitung und kam dabei mit sehr wenigen Trainingsbildern aus – ein für die Medizin entscheidender Punkt.
Die Architektur verbreitete sich zunächst in ihrem Fachgebiet. Ab 2020 fand sie einen zweiten, größeren Anwendungsbereich: Diffusionsmodelle benötigen ein Netz, das ein verrauschtes Bild entgegennimmt und eine Rauschschätzung gleicher Größe zurückgibt – genau die Form, die das U-Net bietet.
Seit etwa 2023 wird es dort schrittweise durch Transformer-Architekturen ersetzt, die sich besser skalieren lassen.
Methodische Grundlagen
Der absteigende Ast. Wiederholte Faltungen und Verkleinerungen. Mit jeder Stufe sinkt die Auflösung, während die Zahl der Merkmalskanäle steigt – das Netz sieht weniger genau, aber weiter.
Der Tiefpunkt. An der schmalsten Stelle ist die räumliche Auflösung am geringsten und der Blick am weitesten. Hier steht, was das Bild als Ganzes zeigt.
Der aufsteigende Ast. Schrittweise Vergrößerung zurück auf die ursprüngliche Auflösung, wobei die Kanalzahl wieder sinkt.
Die Überbrückungen. Der eigentliche Beitrag. Auf jeder Stufe wird die Darstellung des absteigenden Astes an die entsprechende Stufe des aufsteigenden angehängt. Ohne sie wären die feinen Ortsangaben unwiederbringlich verloren.
Anpassung für Diffusion. Für den zweiten Anwendungsbereich kamen zwei Ergänzungen hinzu: eine Kodierung des Rauschschritts, damit das Netz weiß, wie stark das Bild gestört ist, und Aufmerksamkeitsschichten in den mittleren Stufen für weiträumige Zusammenhänge.
Anwendungsfelder
Medizinische Bildverarbeitung. Das Ursprungsfeld und bis heute das wichtigste eigenständige. Organgrenzen, Tumore, Gefäßbäume werden damit umrissen.
Diffusionsmodelle. Der Anwendungsbereich mit der größten Reichweite. In Stable Diffusion und verwandten Systemen führt das Netz jeden einzelnen Entrauschungsschritt aus.
Satelliten- und Luftbildauswertung. Flächennutzung, Gewässergrenzen, Bebauung – Aufgaben mit derselben Struktur wie die medizinische Segmentierung.
Bildrestaurierung. Entrauschen, Schärfen, Auffüllen fehlender Bereiche: Aufgaben, bei denen Ein- und Ausgabe dieselbe Größe haben.
Kontroversen und Kritik
Schlechte Skalierbarkeit. Die Architektur lässt sich nicht so gleichmäßig vergrößern wie ein Transformer. Mehr Stufen bringen ab einem Punkt keinen Gewinn, und die Zahl der Kanäle wächst schnell in den Speicher.
Feste Auflösung. Das Netz erwartet Eingaben, deren Größe durch die Zahl der Verkleinerungsschritte teilbar ist. Abweichende Bilder müssen aufgefüllt oder zugeschnitten werden – eine Quelle stiller Fehler an den Rändern.
Begrenzter Blick. Auch der Tiefpunkt sieht nur einen begrenzten Bereich. Weiträumige Zusammenhänge erschließt die Architektur nur über zusätzliche Aufmerksamkeitsschichten – womit sie einen Teil ihrer Einfachheit einbüßt.
Ablösung in der Bilderzeugung. Neuere Diffusionsmodelle verwenden Transformer statt U-Netzen, weil deren Leistung gleichmäßiger mit der Größe wächst. Der Wechsel ist im Gange, aber nicht abgeschlossen.
Aufwand je Bild. In Diffusionsmodellen läuft das Netz für jeden Entrauschungsschritt einmal durch – bei zwanzig bis fünfzig Schritten je Bild ist es der Kostenblock der Erzeugung.
Eine Architektur, die ihr Problem wechselte
Der Weg des U-Netzes ist ungewöhnlich, weil die Architektur ihren Anwendungsbereich verlassen hat, ohne sich zu ändern.
Entworfen wurde sie für eine Aufgabe der Zuordnung: Jeder Bildpunkt bekommt eine Klasse. Verwendet wird sie heute überwiegend für eine Aufgabe der Schätzung: Aus einem verrauschten Bild wird das Rauschen geschätzt.
Was beide Aufgaben teilen, ist nicht der Inhalt, sondern die Form. Ein- und Ausgabe haben dieselbe Größe, die Antwort an einer Stelle hängt sowohl von der unmittelbaren Umgebung als auch vom Gesamtzusammenhang ab, und die feine Ortsauflösung muss erhalten bleiben.
Das ist eine allgemeinere Beobachtung über Architekturen: Was sie brauchbar macht, ist selten der Gegenstand, für den sie entworfen wurden, sondern die Gestalt des Problems. Eine Architektur passt auf alle Aufgaben mit derselben Gestalt – und die Ähnlichkeit zwischen Zellsegmentierung und Bilderzeugung ist eine Ähnlichkeit der Gestalt, nicht der Sache.
Verwandte Begriffe
- Stable Diffusion – System, in dem die Architektur ihre größte Verbreitung fand
- Latent Diffusion Models – Verfahren, dessen Rückgrat sie bildet
- Convolutional Neural Networks – Architekturfamilie, der sie angehört
- Batch Normalization – Normierungsverfahren ihrer Entstehungszeit
- Vision Transformer – Architektur, die sie in der Bilderzeugung ablöst
- Multi-Head Attention – Ergänzung für weiträumige Zusammenhänge
- Deep Learning – Feld der Entstehung
Quellenangaben
- Ho, Jonathan / Jain, Ajay / Abbeel, Pieter, 2020. Denoising Diffusion Probabilistic Models. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arXiv: 2006.11239.
- Ronneberger, Olaf / Fischer, Philipp / Brox, Thomas, 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015). arXiv: 1505.04597.
- Rombach, Robin / Blattmann, Andreas / Lorenz, Dominik / Esser, Patrick / Ommer, Björn, 2022. High-Resolution Image Synthesis with Latent Diffusion Models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022). arXiv: 2112.10752.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.