Sprachassistenten im Test: Siri kann sich deutlich verbessern

Vor rund fünf Monaten hat Loop Ventures Sprachassistenten auf den sogenanten Smart Speakers getestet. Es sollte überprüft werden, wie hoch die künstliche Intelligenz bei verschiedenen Disziplinen ist. Nun wurden Sprachassistenten auf dem Smartphone auf den Prüfstand gestellt und die Ergebnisse mit einem Test von April 2017 verglichen.

Sprachassistenten im Test: Siri versteht 99 Prozent aller Anfragen

Wie schneiden Siri, Google Assistant, Alexa und Cortana bei einem IQ Test ab? Um dies zu ermitteln, wurden die Sprachassistenten mit insgesamt 800 Fragen konfrontiert. Die Ergebnisse wurden mit einem Test aus April 2017 verglichen.

In dem aktuellen Test konnte Siri 99 Prozent aller Anfragen verstehen und 78,5 Prozent der Anfragen korrekt beantworten.  Dies stellt eine deutliche Verbesserung zum Test aus April 2017 dar. Damals verstand Siri 95 Prozent der Anfragen, konnte jedoch nur 66,1 Prozent der Anfragen richtig beantworten. Nun – rund 15 Monate später – versteht Siri nicht nur mehr Anfragen, sondern kann diese auch besser beantworten. 

An dieser Stellte merkt Loup Ventures noch an, dass man digitale Sprachassistenten auf dem Smartphone und auf Smart Speakers nicht direkt vergleichen kann. In der Tat leistet Siri auf dem iPhone deutlich mehr als auch dem HomePod. So beantwortete Siri im Februar diese Jahres auf dem HomePod nur 52,3 Prozent der 782 gestellten Fragen korrekt.

Den aktuellen KI-Test auf dem Smartphone hat Loup Ventures in fünf Kategorien (Lokal, Kommerziell. Navigation, Information und Kommandos) unterteilt. Siri lief auf einem iPhone unter iOS 11.4, Google Assistent wurde auf dem Pixel XL getestet, Alexa über die iOS-App und Cortana ebenso über die iOS-App. Siris beste Kategorie war übrigens „Kommandos“. Dort wurden 90 Prozent korrekt beantwortet. Damit war Siri in dieser Disziplin stärker als alle anderen Sprachassistenten.

Bei „örtlichen Anfragen“ konnte Siri 87 Prozent der Fragen richtig beantworten, bei Navigation waren es 83 Prozent, bei Information 70 Prozent und bei Kommerziell 60 Prozent. Außer bei Kommandos hat Google Assistant in den anderen Kategorien am Besten abgeschnitten.

Google Assistant konnte im aktuellen Test 85,5 Prozent der Fragen richtig beantworten (Verbesserung von 11 Prozent). Siri konnte, wie bereits erwähnt, 79 Prozent der Antworten richtig beantworten (Verbesserung um 13 Prozent), Cortana lag bei 52 Prozent (Verbesserung um 3 Prozent) und Alexa konnte 61 Prozent der Anfragen richtig beantworten.

Im Herbst dieses Jahres wird Apple iOS 12 veröffentlichen und weitere Verbesserungen für Siri auf den Weg bringen. Unter anderem werden Siri Kurzbefehl eingeführt, mit denen Anwender Automationen für das Zusammenspiel mit Drittanbieter-Apps kreieren können. Zudem wir Siri Texte in weitere Sprachen übersetzen können.