Apple Manager erklären, wie die Bedienungshilfen in iOS 14 verbessert wurden

Apple hat gerade erst seine Info-Seite zur Barrierefreiheit überarbeitet, um die nativen Bedienungshilfen in macOS und iOS hervorzuheben. Passend hierzu gaben Chris Fleizach und Jeff Bigham ein Interview. Fleizach arbeitet bei Apple als Entwickler für die iOS-Barrierefreiheit und Bigham ist ein Experte bei Apple für künstliche Intelligenz und maschinelles Lernen.

Foto: Apple.com

Barrierefreiheit bei Apple

Apple war eines der ersten Unternehmen, das Funktionen für die Barrierefreiheit in seinen Produkten integrierte. Apple war schon immer bestrebt, seine Produkte für jedermann zugänglich zu machen und implementiert mit jeder neuen Software-Version neue Bedienungshilfen.

Eine der größten Verbesserungen von iOS 14 ist eine neue Funktion zur Bildschirmerkennung. Sie geht weit über das bekannte VoiceOver-Feature hinaus. Das neue System ist ein Computer Vision System, das an tausenden von Bildern von Apps im Einsatz trainiert wurde und dabei lernte, wie eine Taste aussieht, was Symbole bedeuten und so weiter. Solche Systeme sind sehr flexibel – je nach den Daten, die vorliegen, können sie Experten im Erkennen von Katzen, Gesichtsausdrücken oder wie in diesem Fall der verschiedenen Teile einer Nutzeroberfläche werden. Das Ergebnis ist, dass Nutzer in jeder App die Funktion aufrufen können und im Bruchteil einer Sekunde jedes Element auf dem Bildschirm beschrieben wird.

TechCrunch unterhielt sich mit Chris Fleizach und Jeff Bigham über den Ursprung dieser äußerst hilfreichen Bedienungshilfe.

„Wir haben nach Bereichen gesucht, in denen wir in Sachen Zugänglichkeit Fortschritte machen können, wie zum Beispiel Bildbeschreibungen“, sagte Fleizach. „In iOS 13 haben wir Icons automatisch beschriftet – die Bildschirmerkennung bringt uns einen weiteren Schritt voran. Wir können uns die Pixel auf dem Bildschirm ansehen und die Hierarchie der Objekte identifizieren, mit denen man interagieren kann, und all dies geschieht auf dem Gerät innerhalb von Zehntelsekunden.“

Vor ein paar Jahren wäre das noch nicht möglich gewesen – der Stand des maschinellen Lernens und das Fehlen einer speziellen Hardware-Einheit für dessen Ausführung bedeutete, dass so etwas das System extrem belastet und wahrscheinlich die ganze Zeit den Akku geleert hätte.

Apples rasante Entwicklung auf Hardware- und Softwareebene machte es jedoch möglich, dass Apples Entwicklungsabteilungen zusammen einen Prototyp der neuen Bildschirmerkennung anfertigen konnten, der alles bisher dagewesene übertreffen konnte. So erklärte Bigham:

„Wenn man sich die Entwicklungsschritte für die Bildschirmerkennung ansieht, so beruht sie auf teamübergreifender Zusammenarbeit mit unseren Kollegen in den Bereichen Barrierefreiheit, Datenerfassung und Annotation, KI/ML und natürlich Design. Wir taten dies, um sicherzustellen, dass unsere Entwicklung des maschinellen Lernens weiterhin in Richtung einer ausgezeichneten Nutzerfreundlichkeit voranschreitet.“