Diffusionsmodelle in der Bildbearbeitung – wie viel Thermody

imagetoimageai · Anmeldungsdatum: 09.10.2026 Beiträge: 1 Wohnort: Portland, Oregon, USA

Mir ist beim Lesen über die aktuellen Bildgeneratoren aufgefallen, wie viel Physik eigentlich in den sogenannten Diffusionsmodellen steckt, und ich fände es spannend, das hier im Off-Topic einmal aus physikalischer Sicht zu diskutieren.

Die Grundidee stammt ziemlich direkt aus der Nichtgleichgewichts-Thermodynamik: Man nimmt ein Bild und fügt in vielen kleinen Schritten Gaußsches Rauschen hinzu, bis nur noch etwas übrig bleibt, das statistisch von reinem Rauschen nicht zu unterscheiden ist. Mathematisch ist das nichts anderes als ein Diffusionsprozess, beschrieben durch eine stochastische Differentialgleichung vom Typ Ornstein-Uhlenbeck bzw. eine Langevin-Gleichung. Die zugehörige Fokker-Planck-Gleichung beschreibt, wie die Wahrscheinlichkeitsdichte im "Bildraum" mit der Zeit zerfließt – vergleichbar mit Tinte, die sich in Wasser verteilt.

Der eigentliche Trick ist die Umkehrung: Ein neuronales Netz lernt den sogenannten Score, also den Gradienten der logarithmischen Wahrscheinlichkeitsdichte. Mit dieser Information kann man den Prozess rückwärts laufen lassen (Anderson hat schon 1982 gezeigt, dass zu einer Vorwärts-SDE eine Rückwärts-SDE existiert). Physikalisch gesprochen läuft man also gegen den "Zeitpfeil" an, indem man in jedem Schritt eine Driftkraft hinzunimmt, die aus der gelernten Dichte stammt. Das erinnert stark an Langevin-Dynamik in einem Potential, wobei das Potential hier die negative Log-Dichte der Trainingsbilder ist.

Besonders interessant finde ich die Bild-zu-Bild-Variante: Dort startet man nicht bei reinem Rauschen, sondern verrauscht ein vorhandenes Foto nur teilweise und lässt den Rückwärtsprozess dann von diesem Zwischenzustand aus laufen. Je weniger Rauschen man hinzufügt, desto mehr von der ursprünglichen Struktur (Komposition, Pose, Lichtverteilung) bleibt erhalten, weil die groben, niederfrequenten Anteile des Bildes bei kleinem Rauschniveau kaum zerstört werden. Das ist im Prinzip eine Aussage über das Frequenzspektrum: Weißes Rauschen überdeckt zuerst die feinen Details mit kleiner Amplitude, während großflächige Helligkeitsverläufe erst bei starkem Rauschen verschwinden. Wer das ausprobieren möchte, kann sich zum Beispiel einen browserbasierten Editor wie image to image ai ansehen, bei dem man ein Foto hochlädt und per kurzem Textprompt den Stil oder Hintergrund ändert, alte Fotos restauriert oder den Bildausschnitt erweitert, während Pose und Beleuchtung weitgehend erhalten bleiben.

Offene Fragen, die mich interessieren würden: Wie gut passt die Analogie zur statistischen Physik wirklich – ist die "Temperatur" des Rauschplans mehr als nur eine Metapher? Und lässt sich der Zusammenhang zwischen Rauschstärke und erhaltenen Bildfrequenzen sauber über die Fourier-Darstellung des Wärmeleitungs- bzw. Diffusionskerns herleiten? Ich würde mich über Einschätzungen von Leuten freuen, die sich mit stochastischen Prozessen besser auskennen.