iOS 13.2: So funktioniert Deep Fusion

| 20:22 Uhr | 1 Kommentar

Apple hat die Beta 1 zu iOS 13.2 freigegeben (wir berichteten). Das kommende X.2 Update bringt allerhand Neuerungen für das iPhone mit sich. Eine der größeren Neuerungen stell die neue Kamera-Funktion „Deep Fusion“ dar. Diese setzt allerdings einen A13-Chip und somit das iPhone 11, iPhone 11 Pro oder iPhone 11 Pro Max voraus.

So funktioniert Deep Fusion auf dem iPhone 11 & 11 Pro (Max)

Im Rahmen der September Keynote hat Apple bereits einen kurzen Ausblick auf Deep Fusion gegeben. In der begleitenden Pressemitteilung zum  iPhone 11 & 11 Pro (Max) heißt es 

Deep Fusion: Deep Fusion ist ein neues, von der Neural Engine des A13 Bionic ermöglichtes Bildverarbeitungssystem. Deep Fusion nutzt fortschrittliches maschinelles Lernen, um Fotos Pixel für Pixel zu verarbeiten und Textur, Details und Bildrauschen in jedem Teil des Fotos zu optimieren.

Natürlich steckt ein wenig mehr hinter Deep Fusion. Die Kollegen von The Verge hatten die Möglichkeit, sich ein wenig intensiv zu Deep Fusion mit Apple auszutauschen. Laut Apple bietet Deep Fusion bei Innenaufnahmen und bei mittlerer Beleuchtung einen enormen Schritt nach vorn. 

Mit Deep Fusion verfügen die Kameras des iPhone 11 und 11 Pro über drei Betriebsmodi, die je nach Lichtverhältnissen und verwendetem Objektiv automatisch aktiviert werden:

  • Das Standard-Weitwinkelobjektiv verwendet Apples verbesserte Smart HDR für helle bis mittelhelle Szenen, wobei Deep Fusion für mittlere bis schwache Lichtverhältnisse und der Nachtmodus für dunkle Szenen aktiviert werden.
  • Das Teleobjektiv verwendet meistens Deep Fusion, wobei Smart HDR nur für sehr helle Szenen und der Nachtmodus für sehr dunkle Szenen verwendet wird.
  • Der Ultrawide verwendet immer Smart HDR, da er weder den Deep Fusion- noch den Nachtmodus unterstützt.

Im Gegensatz zum Nachtmodus, der über eine Anzeige auf dem Display kenntlich gemacht wird und ausgeschaltet werden kann, ist Deep Fusion für den Anwender völlig unsichtbar. Es gibt keine Anzeige in der Kamera-App oder in der Foto-App und die Funktion wird in den EXIF-Daten nicht angezeigt. Apple gibt zu verstehen, dass dies Absicht sei und der Nutzer nicht darüber nachdenken soll, wie man das beste Foto schießt.

Im Hintergrund erledigt Deep Fusion jedoch eine Menge Arbeit und arbeitet ganz anders als Smart HDR. Hier ist die grundlegende Funktionsweise:

  1. Wenn ihr den Auslöser drückt, hat die Kamera bereits drei Bilder mit einer kurzen Verschlusszeit aufgenommen, um die Bewegung in der Aufnahme einzufrieren. Wenn ihr auf den Auslöser drückt, werden drei zusätzliche Aufnahmen und dann ein Foto mit längere Belichtungszeit geschossen
  2. Diese drei regulären Aufnahmen und die Langzeitbelichtung werden von iOS zu einem als  „“synthetic long“ bezeichneten Foto zusammengeführt. Dies ist ein wesentlicher Unterschied zu Smart HDR.
  3. Deep Fusion nimmt das kurzbelichtete Bild mit den meisten Details auf und kombiniert es mit der synthetischen Langzeitbelichtung. Im Gegensatz zu Smart HDR werden bei Deep Fusion nur diese beiden Bilder zusammengeführt, nicht mehr. Diese beiden Bilder werden auch anders als bei Smart HDR auf Rauschen hin verarbeitet, was für Deep Fusion besser ist.
  4. Die Bilder durchlaufen vier „Pixel für Pixel“- Detailverarbeitungsschritte, von denen jeder auf eine zunehmende Detailgenauigkeit zugeschnitten ist – der Himmel und die Wände befinden sich im untersten Bereich, während Haut, Haare, Stoffe usw. auf der höchsten Ebene liegen. Dadurch wird eine Reihe von Gewichtungen für das Mischen der beiden Bilder erstellt. Dabei werden die Details des einen und der Ton, die Farbe und die Luminanz des anderen aufgenommen.
  5. Das endgültige Bild wird generiert.

Das alles dauert einen Tick länger als ein normales Smart HDR-Bild – ungefähr eine Sekunde. Wenn ihr also direkt in Fotos-App springt, seht ihr ganz kurz eine Art Vorschau während Deep Fusion im Hintergrund ausgeführt wird. Anschließend wird das detailreichere Foto angezeigt. Dies bedeutet, dass Deep Fusion im Burst-Modus nicht funktioniert.

Apple zeigt zwei Beispielfotos, die schon ziemlich beeindruckend aussehen. Schlussendlich müssen wir jedoch abwarten, wie gut Deep Fusion während der Beta-Phase und dann in der finalen Version Funktionen.

1 Kommentare

  • G

    Ist der „Durst-Modus“ jetzt auf das iPhone oder den Besitzer bezogen?:P

    03. Okt 2019 | 21:19 Uhr | Kommentieren

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert