Die Neurowissenschaften hinter Vision Pro: Wie Apple Benutzeraktionen vorhersagen kann

Mit dem Fortschreiten der Technologie bricht eine neue Ära an, in der Computer und Menschen wie nie zuvor interagieren. Das Apple Vision Pro Headset, ein Produkt umfassender neurologischer Forschung, ist ein mutiger Schritt in dieses neue Zeitalter. Das zugehörige visionOS Betriebssystem ist so konzipiert, dass es Benutzeraktionen auf der Benutzeroberfläche vorhersagen kann, bevor sie überhaupt stattfinden. Diese Fähigkeit wird durch zahlreiche neurowissenschaftlich fundierte Funktionen ermöglicht, die dem Benutzer ein intuitives und hochgradig personalisiertes Erlebnis bieten.

Fotocredit: Apple

Die Zukunft der Mensch-Computer-Interaktion

Sterling Crispin, ein ehemaliger Apple-Ingenieur, gibt nun einen Einblick in die neurologische Forschung hinter Apple Vision Pro. Er war über drei Jahre lang als Neurotechnology Prototyping Researcher in der Technology Development Group von Apple tätig und trug maßgeblich zur Entwicklung des Headsets bei. Seine Arbeit konzentrierte sich vor allem auf „ehrgeizige Forschungsprojekte mit Neurotechnologie“, darunter Funktionen, die die Aktionen der Anwender auf der Benutzeroberfläche vorhersagen.

Der Schlüssel zu dieser innovativen Technologie ist das Verstehen des mentalen Zustands des Benutzers. Dies wird durch die Sammlung und Analyse von Daten aus dem Körper und dem Gehirn während der immersiven Erfahrung erreicht. Informationen wie Augenbewegungen, elektrische Aktivität, Herzschlag, Muskelaktivität, Blutdruck, Hautleitwert und andere Messwerte werden in KI-Modelle eingespeist. Diese KI-Modelle versuchen dann, den kognitiven Zustand des Benutzers zu erkennen, d. h. ob er neugierig, ängstlich, konzentriert ist, sich an vergangene Erfahrungen erinnert oder sich in einem anderen Zustand befindet.

Crispin merkt an, dass eines der bemerkenswertesten Ergebnisse die Fähigkeit des Systems ist, den Klick eines Nutzers vorherzusagen, bevor er überhaupt erst erfolgt. Er erklärt: „Die Pupille reagiert, bevor man klickt, weil man erwartet, dass nach dem Klick etwas passiert“. Diese Erkenntnis ermöglicht Anpassungen der Benutzeroberfläche in Echtzeit auf der Grundlage von vorausschauenden Pupillenreaktionen, wodurch ein einzigartiges Biofeedback-System mit dem Gehirn des Benutzers entsteht.

Sensorische Stimuli und adaptives Lernen

Darüber hinaus setzt Apple Vision Pro auch subtile sensorische Reize ein, um die Reaktionen des Nutzers zu messen. Bilder und Töne werden auf eine Weise abgespielt, die der Benutzer möglicherweise nicht bewusst wahrnimmt, wobei seine Reaktionen gemessen werden, um seinen mentalen Zustand zu ermitteln.

In Patenten wurde auch die Verwendung von maschinellem Lernen und Körpersignalen zur Vorhersage des Konzentrations- und Entspannungszustands des Benutzers beschrieben. Die aus diesen Prozessen gewonnenen Informationen ermöglichen es dem System, die virtuelle Umgebung zu verändern und so den gewünschten Zustand des Nutzers zu verbessern.

Obwohl ein Großteil seiner Arbeit vertraulich bleibt, äußert Crispin die Hoffnung, dass in Zukunft noch mehr enthüllt werden wird. Er lobte die Vision Pro als einen bedeutenden Schritt nach vorn in der virtuellen Realität (VR), obwohl er davon ausgeht, dass es noch mindestens zehn Jahre dauern wird, bis die Branche derartige Fortschritte in vollem Umfang nutzen kann. Apples Vision Pro, mit seinen beeindruckenden vorausschauenden Funktionen, ist ein Beweis für das Potenzial der Neurotechnologie, die Interaktion zwischen Mensch und Computer zu verändern.

I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved that it’s finally… pic.twitter.com/vCdlmiZ5Vm

— Sterling Crispin 🕊️ (@sterlingcrispin) June 5, 2023