Magic Fixup denkt die Retuschen eines Benutzers weiter

In Zusammenarbeit mit Adobe stellte ein Forscherteam ein neuartiges KI-Modell vor. Es wird mit Videodaten trainiert, die eine verbesserte Fotobearbeitung erlauben sollen. Beispielsweise berücksichtigt das Modell Wasserspiegelungen oder perspektivische Linien. Damit kann „Magic Fixup“ selbst komplexe Bildkorrekturen überzeugend durchführen.

Die Trainingsdaten bestehen aus Videobildpaaren, was gegenüber anderen Modellen einen deutlichen Vorteil bietet: Anders als bei statischen Bildern kann die KI so verstehen, wie sich Gegenstände und komplette Szenen unter verschiedenen Lichtverhältnissen, Perspektiven und Bewegungen verändern.

Die Magic Fixup-Verarbeitung besteht zudem aus zwei so genannten Diffusionsmodellen. Grundsätzlich gehört diese Art der Bilderzeugung zu den stärksten Verfahren: Diffusionsmodelle generieren neue Bilder, indem sie ein erkennbares Motiv in zufälliges Rauschen verwandeln und dieses Rauschen dann durch sinnvolle Entscheidungen wieder in erkennbare Motive zurückverwandeln.

Das eine Modell nennt sich Detailextraktor und verarbeitet das Referenzbild und eine verrauschte Version davon. Bei diesem Vorgang erkennt es Merkmale, die wesentliche Details des Originalmotivs ausmachen. Gemäß diesen Merkmalen erfolgt im nächsten Schritt eine Synthese, also eine Zusammenführung unter neuen Bedingungen - beispielsweise wenn ein Palmenstamm gespiegelt wurde.

„Wir konstruieren einen Bilddatensatz, bei dem jede Vorlage aus einem Paar von Quell- und Zielbildern besteht, die in zufällig gewählten Zeitabständen aus demselben Video extrahiert wurden“, erklären die Forscher in ihrer Abhandlung. Und weiter: „Wir verformen das Quellbild in Richtung des Zielbildes, indem wir zwei Bewegungsmodelle verwenden, die die erwarteten Änderungen des Benutzers während der Testphase nachahmen."

Überraschend ist neben dem Verfahren selbst die Tatsache, dass es auf der Open-Source-Plattform GitHub veröffentlicht wurde. Doch bei der innovativen KI-Entwicklung ist es ohnehin zweckmäßiger, wenn sich Firmen nicht abschotten, sondern zumindest grundlegende Ideen gemeinsam weiterentwickeln. Adobe gab allerdings noch keinen Zeitplan bekannt, ob oder wann Magic Fixup etwa in Adobe Photoshop verfügbar ist.