Die Technik hinter Apples 3D-Videos: So verbessert die Vision Pro immersive Videos

In einer Welt, in der sich Virtual Reality (VR) und Augmented Reality (AR) immer mehr durchsetzen, steigt die Nachfrage nach immersiven Videoinhalten, die den Betrachter in ein digitales Erlebnis eintauchen lassen. Apple hat für sein Vision Pro Headset einen innovativen Weg gewählt, um immersive Videos darzustellen, wobei die typische 180-Grad-Fischaugenprojektion in etwas viel Raffinierteres verwandelt wird.

Fotocredit: Mike Swanson

Quadratische Projektion

Der Forscher Mike Swanson zeigt, dass die immersive Videoprojektion von Apple einen anderen Ansatz als die herkömmliche Fischaugenformatierung verfolgt. Apple nutzt eine spezielle Technik, um die Videoprojektion für das AR-Erlebnis zu optimieren. Die klassischen 360-Grad-Kameras, die mit zwei Fischaugenobjektiven arbeiten, erfassen das Geschehen in einem kreisrunden Bild, das stark verzerrt sein kann.

Apple projiziert diese kreisrunden Bilder auf eine quadratische Fläche, die um 45° gekippt ist. Diese Technik maximiert den Horizont im Bild, was die Wahrnehmung und die Schärfe des menschlichen Auges begünstigt. Hierdurch kann das Headset die volle Auflösung des Materials nutzen, speziell in den kritischen Bereichen der Schärfewahrnehmung. So erhält jedes Auge bei der Vision Pro ein individuelles, quadratisches Bild mit einer Auflösung von 4320 × 4320 Pixeln bei 10 Bit Farbtiefe.

Spatial

Swanson hat es geschafft, durch die Analyse von unverschlüsseltem Videomaterial, das über WLAN an die Vision Pro gesendet wurde, weitere wertvolle Einblicke zu gewinnen. Diese Analysen führten unter anderem zur Entdeckung eines Encoders namens „Spatial“. Hierbei handelt es sich um ein Kommandozeilenprogramm, das speziell für macOS Sonoma entwickelt wurde. Es ermöglicht die Konvertierung von traditionellen Stereoskopie-Videoformaten in das von Apple verwendete MV-HEVC-Format, welches für die Vision Pro optimiert ist. Das Programm spielt eine wichtige Rolle dabei, Inhalte für verbesserte visuelle Erfahrungen auf AR-Plattformen zu adaptieren.

MV-HEVC steht für Multi-View High Efficiency Video Coding, ein Format, das mehrere Videostreams effizient handhabt, was besonders nützlich ist, um hochauflösende Videos auf AR-Brillen wie die Vision Pro darzustellen. „Spatial“ ist nicht nur auf die Verarbeitung von Apple-spezifischen Formaten beschränkt, sondern kann auch verwendet werden, um Videos für andere AR-Headsets, wie etwa die Oculus Quest, zu optimieren.