Ученые из Корнелльского университета и Корейского института передовых технологий (KAIST) создали систему, позволяющую использовать обычные умные часы для отслеживания движений кисти руки. Для этого они применили технологию эхолокации, основанную на искусственном интеллекте.
Технология WatchHand применяет встроенный динамик и микрофон, присутствующие в обычных умных часах, для отслеживания движений пальцев и запястья в режиме реального времени. Принцип ее работы заключается в излучении неслышимых звуковых волн с умных часов. Эти волны отражаются от руки пользователя и возвращаются к микрофону, формируя эхо-профиль. Алгоритм машинного обучения обрабатывает полученные данные непосредственно на устройстве для определения положения кисти в трехмерном пространстве.
В отличие от имеющихся носимых устройств для отслеживания движений кисти, которые используют камеры или объемные внешние датчики, WatchHand не нуждается в дополнительном оборудовании. Благодаря этому она становится гораздо удобнее для регулярного применения и позволяет легко интегрировать ее в миллионы уже существующих устройств. Разработчики подчеркивают, что их задача – превратить человеческую руку в устройство ввода для работы с компьютерами и другими цифровыми системами, снижая необходимость в использовании клавиатур, мышей и сенсорных экранов.
«По словам Чи-Джуна Ли, аспиранта Корнелльского университета и одного из авторов исследования, в будущем такая технология отслеживания движений кисти позволит нам контролировать печать непосредственно с умных часов. Он добавил, что наши руки потенциально могут стать устройством ввода для компьютеров ». Проведение четырех отдельных исследований с участием 40 добровольцами позволило протестировать систему и собрать около 36 часов данных о жестах. Оценка производилась на нескольких моделях умных часов, при разных положениях руки и в условиях повышенного шума. Полученные результаты продемонстрировали, что WatchHand способна точно распознавать движения пальцев и вращения запястья в разнообразных ситуациях. Данная технология открывает возможности для создания множества приложений, таких как управление компьютерами с помощью жестов, системы дополненной и виртуальной реальности, а также вспомогательные средства для людей с нарушениями моторики или речевых способностей.
«По словам Дживана Кима, аспиранта KAIST и одного из авторов разработки, WatchHand значительно упрощает процесс определения положения кисти. Данный метод может быть реализован на любом устройстве, оснащенном динамиком и микрофоном ». Система обрабатывает все данные непосредственно на умных часах, что позволяет решить вопросы конфиденциальности, возникающие при использовании облачных сервисов отслеживания. Это также уменьшает задержку, обеспечивая взаимодействие в режиме реального времени без необходимости внешних вычислений. Однако технология имеет определенные ограничения. В настоящий момент она функционирует только на умных часах с операционной системой Android и испытывает сложности с поддержанием точности, когда пользователь находится в движении, например, во время ходьбы. Исследователи работают над улучшением производительности в подобных условиях.
«WatchHand демонстрирует расширенную концепцию моей лаборатории, направленную на преобразование обычных носимых устройств в интеллектуальные платформы для анализа поведения », — пояснил Чэн Чжан, доцент Корнелльского университета. Работа основана на общей тенденции к использованию акустического зондирования в носимой технике, которое обеспечивает большую энергоэффективность и точность по сравнению с системами, использующими зрение. « Простое обновление программного обеспечения способно активировать новые функции на миллионах уже используемых устройств », — добавил Чжан. Результаты исследования будут представлены на конференции ACM CHI, посвященной изучению человеческого фактора в вычислительных системах.