ChatGPT Health enttäuscht im Praxistest

OpenAI hat vor kurzem ChatGPT Health vorgestellt, einen neuen Bereich innerhalb von ChatGPT, der sich ausschließlich um Gesundheitsfragen dreht. Das Besondere daran ist die optionale Verknüpfung mit verschiedenen Gesundheitsdiensten wie Apple Health, MyFitnessPal oder Peloton. Nutzer können sogar ihre Krankenakten einbinden, damit der Chatbot Laborergebnisse und die Krankengeschichte in seine Antworten einfließen lässt.

Ein Journalist macht den Selbstversuch

Geoffrey Fowler von der Washington Post wollte wissen, was die KI aus echten Langzeitdaten macht. Er fütterte ChatGPT Health mit zehn Jahren Apple Watch Daten, darunter 29 Millionen Schritte und 6 Millionen Herzschlagmessungen. Dann bat er den Chatbot, seine Herzgesundheit zu bewerten. Das Ergebnis war ein glattes F, also die schlechteste Note.

Von dieser Bewertung alarmiert konsultierte Fowler seinen Arzt. Der winkte jedoch sofort ab. Fowlers Risiko für Herzprobleme sei so gering, dass seine Krankenversicherung vermutlich nicht einmal zusätzliche Tests zur Widerlegung der Chatbot-Diagnose übernehmen würde. Auch der Kardiologe Eric Topol vom Scripps Research Institute zeigte sich wenig beeindruckt und bezeichnete die Analyse schlichtweg als „haltlos“.

Schwankende Ergebnisse und vergessliche KI

Bedenklich war auch die Inkonsistenz des Chatbots. Bei mehrfacher Wiederholung derselben Frage schwankte Fowlers Bewertung zwischen F und B. Außerdem vergaß ChatGPT regelmäßig grundlegende Informationen wie Geschlecht und Alter, obwohl der Zugriff auf alle Daten bestand.

Auch Anthropics Claude wurde getestet und schloss im Vergleich etwas besser ab. Allerdings berücksichtigte auch dieser Chatbot die Apple Watch Daten nicht angemessen.

Zwischen Innovation und Verantwortung

Beide Unternehmen betonen, dass ihre Gesundheitstools keine Ärzte ersetzen oder Diagnosen stellen sollen. Topol argumentiert jedoch zu Recht, dass Chatbots dann auch keine Noten vergeben sollten, wenn sie Gesundheitsdaten nicht korrekt auswerten können.

OpenAI kündigte bereits Verbesserungen an der Konsistenz der Antworten an. ChatGPT Health ist derzeit nur für eine begrenzte Gruppe von Beta-Nutzern verfügbar, was dem Unternehmen Zeit gibt, das System vor einem breiteren Rollout zu optimieren.