Apple Vision Pro: „Visual Search“ kann Objekte identifizieren, gedruckten Text übersetzen und mehr – weitere virtuelle Umgebungen in visionOS Beta entdeckt

Nachdem nun die Entwicklerwerkzeuge zum Erschaffen räumlicher Erlebnisse mit der Apple Vision Pro und die zugehörige visionOS Beta zur Verfügung stehen, erhalten wir neue Einblicke in die erweiterte Welt des Mixed-Reality-Headsets. So wurden unter anderem eine innovative „Visual Search“-Funktion und eine Auswahl an immersiven Umgebungen entdeckt. Beide Funktionen sind Teil des neuen visionOS Betriebssystems, das ein umfassendes virtuelles Erlebnis bietet und die Grenzen der digitalen Interaktion verschiebt.

Fotocredit: Apple

Die „Visual Search“-Funktion

Die in das Vision Pro Headset integrierte Funktion „Visual Search“ ermöglicht es dem Benutzer, Informationen über ein Objekt zu erhalten. Die Technologie ähnelt der iOS-Funktion „Visuelles Nachschlagen“ („Visual Lookup“). Mit dem iPhone und iPad können Nutzer mit der Fotos App schnell verschiedene Objekte, Sehenswürdigkeiten, Tiere, Pflanzen und vieles mehr in der eigenen Bilddatenbank finden. Vision Pro hebt die KI-gestützte Funktion jetzt auf die nächste Stufe.

Mit „Visual Search“ können Benutzer das Vision Pro Headset verwenden, um Informationen über einen Gegenstand zu erhalten, Text in der Welt um sie herum zu erfassen und mit ihm zu interagieren, gedruckten Text aus der realen Welt zu kopieren und in Anwendungen einzufügen, Text zwischen 17 verschiedenen Sprachen zu übersetzen und vieles mehr.

Die Anwendungsfälle sind vielseitig. Wenn zum Beispiel ein gedrucktes Handbuch einen Link zu einer Webseite enthält, kann Vision Pro den Text scannen und ein Safari-Fenster öffnen, um die Webseite anzuzeigen. Oder wenn in einem Rezept Unzen angegeben sind und ihr Gramm bevorzugt, kann das Headset dies schnell umrechnen. Die Textübersetzung in Echtzeit wird auf Reisen und in anderen Situationen nützlich sein, in denen man schnell übersetzen möchte, was man in der realen Welt sieht.

Die Entdeckung der visuellen Suchfunktion in visionOS wurde von Steve Moser gemacht, der auch auf die Möglichkeiten der damit verbundenen Zugänglichkeitsfunktionen hinweist.

It looks like ‚Visual Search‘ is part of Spotlight instead of the camera. I wish Apple had shown off this feature and ARKit during the keynote. Related accessibility feature: „“Describe Passthrough“ requires Image Captions to be enabled in Settings Accessibility > VoiceOver.“ https://t.co/e0GPqjvECc

— Steve Moser (@SteveMoser) June 22, 2023

Weitere visionOS Umgebungen

Fotocredit: Apple

Eine weitere Besonderheit des Vision Pro Headsets ist die Einführung von „Umgebungen“ („Environments“). Diese bieten die Möglichkeit, sich mit Hilfe der Digital Crown virtuell von der Außenwelt abzugrenzen. Benutzer können diese Umgebungen dann als Hintergrund für eine Vielzahl von Aktivitäten nutzen, wie z. B. Filme ansehen, Anrufe tätigen, Apps nutzen und vieles mehr.

Apple beschreibt die Funktion folgendermaßen:

„Mit den Umgebungen kann die Welt der Anwender über die Dimensionen eines physischen Raums hinaus wachsen. Wunderschöne dynamische Landschaften helfen ihnen, sich zu konzentrieren und können Ruhe in belebte Räume bringen. Mit einem Dreh an der Digital Crown können die Nutzer kontrollieren, wie präsent oder wie eingetaucht sie in einer Umgebung sind.“

Apple hatte im Zuge der WWDC-Präsentation Mount Hood als eine der verfügbaren Umgebungen gezeigt. visionOS wird laut MacRumors zum Start einige weitere Umgebungen bieten, darunter: Haleakala, Yosemite, Himmel, Joshua Tree, Lake Vrangla, Mount Hood, Der Mond, Strand, White Sands, Winterlicht, Herbstlicht, Sommerlicht und Frühlingslicht.