pte20201013017 Technologie/Digitalisierung, Medien/Kommunikation

Kopfhörer erkennt Gesichtsausdruck trotz Maske

System "C-Face" der Cornell University erfasst mit verbauten Kameras Konturen der Wangen


KI-Rekonstruktion: Mund unter der Maske (Foto: Cheng Zhang, youtube.com)
KI-Rekonstruktion: Mund unter der Maske (Foto: Cheng Zhang, youtube.com)

Ithaca (pte017/13.10.2020/10:30) Forscher der Cornell University http://cornell.edu haben ein neues Kopfhörer-System entwickelt, das den Gesichtsausdruck von Nutzern selbst trotz Maske erkennt. Denn "C-Face" nutzt auf beiden Seiten verbaute Kameras, um die Konturen des Gesichts, speziell der Wangenpartie, zu erfassen. Daraus leitet das System den Gesichtsausdruck ab, den es dann als Emoji darstellen kann. Zudem versteht C-Face so lautlose Sprachbefehle. Das könnte dem Team zufolge gerade in Verbindung mit VR-Headsets interessant sein.

Schau Backe

Die meisten Lösungen zur Gesichtserkennung erfordern eine Kamera vor dem Gesicht, was sowohl bei Video-Conferencing als auch VR-Anwendungen oft unpraktisch ist. C-Face hat dieses Problem nicht. "Dieses Gerät ist einfacher, unaufdringlicher und leistungsfähiger als alle existierenden, am Ohr getragenen Technologien zur Verfolgung von Gesichtsausdrücken", betont Cornell-Informatikprofessor Cheng Zhang. Denn das System nutzt kompakte RGB-Kameras, von denen einfach eine auf jeder Seite im Kopfhörer oder sogar Ohrstecker verbaut wird. Eben diese Kamera schaut sehr genau von hinten auf die Backen des Nutzers, weshalb ein Mundschutz wenig stört.

Die Wangenpartie verformt sich nämlich je nach Gesichtsausdruck unterschiedlich auf eine von den Ohren aus gesehen charakteristische Weise. Dank Künstlicher Intelligenz rekonstruiert das System also aufgrund der Backenform die Position von Mund, Augen und Augenbraue - somit also den Gesichtsausdruck. Eben diesen kann das System in eines von acht Emojis wie "wütend" oder "kussmundig" übersetzen. Zudem versteht es acht wortlose Sprachbefehle wie "Play" oder "Nächster Song". Bei aufgrund von Corona-Einschränkungen bislang begrenzten Tests mit nur neun Probanden erreichte die Emoji-Übersetzung 88 Prozent Genauigkeit, die Erkennung von Sprachbefehlen 85 Prozent.

VR-Potenzial

Das System könnte so nicht nur die Laune maskentragender Videokonferenz-Teilnehmer als Emoji wiedergeben. Echtes Potenzial für die Technologie orten die Forscher gerade in Verbindung mit VR-Technologie. Denn ein VR-Headset verdeckt zumindest die Augenpartie und damit den Gesichtsausdruck des Trägers. "Was sehr spannend an C-Face ist, ist die Möglichkeit ein VR-Headset zu tragen und dabei direkt Emotionen für andere zu übersetzen", betont Cornell-Informatikprofessor Francois Guimbretière. Das System könnte diese beispielsweise auch als Gesichtsausdruck eines virtuellen Avatars wiedergeben.

Das Team will nun an energieeffizienteren Sensoren arbeiten, da beim aktuellen C-Face-Prototypen die Akkulaufzeit recht kurz ist. Die aktuelle Version des Systems wird kommende Woche im Rahmen des virtuellen Association for Computing Machinery Symposium on User Interface Software and Technology http://uist.acm.org/uist2020 näher vorgestellt.



(Ende)
Aussender: pressetext.redaktion
Ansprechpartner: Thomas Pichler
Tel.: +43-1-81140-314
E-Mail: pichler@pressetext.com
Website: www.pressetext.com
|