Инженеры разработали наушники со встроенными камерами, способными определять выражение лица, даже если оно частично закрыто медицинской маской, и обеспечивающими возможность чтения по губам. По мнению создателей, данная технология может найти применение в проектировании трехмерных объектов и облегчить общение для людей с нарушениями слуха.
C-Face разработал Чэн Чжан, директор лаборатории SciFi Разработано в Корнеллском университете в США. Конструкция включает в себя наушники и два миниатюрных камер, устройства, размещенные под ухом, регистрируют движения лицевых мышц. Полученные данные с помощью машинного обучения используются для определения возможных эмоций пользователя. Презентация разработки состоится на симпозиуме Ассоциации вычислительной техники, посвященном пользовательскому программному обеспечению и технологиям UIST’20.
Чжан и его коллеги уже протестировали C-Face на девяти добровольцах. Устройство собирало данные по 42 точкам лица, расположенным в районе рта, глаз и бровей, а также по контурам щек, затем сравнивая их с галереей снимков, на которых были показаны разные эмоции. Оказалось, наушники определяют выражение лица с точностью до 88 процентов, даже если человек носит маску, и могут выводить его на компьютер. Также C-Face оказался способен читать по губам, точно распознавая беззвучные команды.
«Ранее для фиксации мимики требовалось располагать камеру напротив пользователя», – сообщил Чжан. Он считает, что это создает определенные ограничения, особенно в нынешней ситуации, когда большинство людей используют защитные маски, а обычные системы распознавания лиц демонстрируют низкую эффективность.
Ученые считают, что их разработка найдет применение в создании трехмерных моделей персонажей и отображении мимики в виртуальной реальности. Также предполагается, что технология окажется полезной для людей с проблемами слуха, использующих чтение по губам, и для педагогов, которым необходимо оценивать вовлеченность учащихся в учебный процесс при дистанционном обучении. В заключение, лицевые сигналы планируется использовать для управления воспроизведением в музыкальных приложениях и видеосервисах, а также для передачи эмоций в видеозвонках без использования веб-камеры.
C-Face все еще находится на ранней стадии разработки. Прежде чем начать массовое производство наушников, разработчикам необходимо найти решения для ряда технических задач, включая повышение эффективности использования батареи и обеспечение безопасности пользовательских данных.