„Apple GPT“: Apple arbeitet an effizienten KI-Modellen – Umwandlung von 2D-Videos in 3D-Avatare

Im Juli haben wir erfahren, dass Apple intern bereits einen eigenen KI-Chatbot einsetzt, der mitunter auch als „Apple GPT“ bezeichnet wird. Passend hierzu berichtet VentureBeat nun, dass sich Apples jüngste Forschungsbemühungen auf die Integration fortschrittlicher KI-Funktionen in iPhones konzentrieren. Dazu gehören die Entwicklung eines effizienten ChatGPT-ähnlichen Systems und die Umwandlung von 2D-Videos in 3D-Avatare.

Effiziente Sprachmodelle

In den letzten Monaten gab es mehrere Hinweise, dass Apple an neuen KI-Funktionen für iPhones arbeitet. Hierzu gesellen sich nun zwei Forschungsarbeiten von Apple-Mitarbeitern, in denen effiziente Sprachmodelle und neue Techniken für 3D-Avatare vorgestellt werden.

Das Forschungsdokument von Apple mit dem Titel „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ befasst sich mit der Herausforderung, große Sprachmodelle (LLMs) auf Geräten mit begrenzter DRAM-Kapazität auszuführen. Die Arbeit stellt eine Methode vor, die den Datentransfer vom Flash-Speicher zum RAM minimiert, wodurch LLMs auf Geräten mit begrenztem RAM bis zu 25 Mal schneller arbeiten können. Diese Methode umfasst die Optimierung des Datentransfervolumens und das Lesen von Daten in größeren, zusammenhängenden Blöcken. Dieser Durchbruch könnte die Anwendbarkeit fortschrittlicher LLMs in ressourcenbeschränkten Umgebungen (wie dem iPhone) erheblich erweitern, wie VentureBeat erklärt.

Berichten zufolge entwickelt Apple sein eigenes generatives KI-Modell namens „Ajax“, das mit OpenAIs GPT-3 und GPT-4 konkurrieren soll. Es soll mit 200 Milliarden Parametern arbeiten, was auf ein hohes Maß an Komplexität und Fähigkeiten im Bereich des Sprachverständnisses und der Generierung schließen lässt. Das System zielt darauf ab, die Entwicklung von maschinellem Lernen bei Apple zu vereinheitlichen, was auf eine umfassendere Strategie zur tieferen Integration von KI in Apples Ökosystem hindeutet.

Umwandlung von 2D-Videos in 3D-Avatare

Wenn man einen realistischen 3D-Avatar aus einem Video erstellen will, braucht man normalerweise mehrere Kameras, um Aufnahmen aus verschiedenen Blickwinkeln zu machen und diese zu einem 3D-Modell zu kombinieren, erklärt Apple in seinem zweiten Whitepaper namens „HUGS: Human Gaussian Splats“.

Die neue Technologie ermöglicht es, verschiedene digitale Charaktere oder „Avatare“ in eine neue Szene zu versetzen, indem man nur ein Video von der Person und dem Ort aufnimmt. Die Arbeit ist sehr technisch, und selbst die Zusammenfassung und die Schlussfolgerungen sind voller Akronyme, aber unterm Strich ist die Methode von Apple etwa hundertmal schneller als bestehende Methoden, um ein vergleichbares Ergebnis zu erzielen.

Die Forscher zeigen fotorealistische Ergebnisse, nachdem sie das System nur 30 Minuten lang auf einer typischen Gaming-GPU optimiert hatten. Die neue Fähigkeit zur 3D-Modellierung ist eine beeindruckende Leistung der Apple-Mitarbeiter. Die Echtzeitleistung und die Fähigkeit, Avatare aus 2D-Videos zu erstellen, könnten in relativ naher Zukunft neue Möglichkeiten für virtuelle Kleideranproben, Telepräsenz und vieles mehr eröffnen.