Разработчики из Массачусетского технологического института создали носимый браслет, использующий ультразвук, для точного отслеживания сложных движений кисти. Устройство фиксирует движения рук, позволяя визуализировать внутренние структуры запястья, такие как мышцы, сухожилия и связки.
Носимый гаджет применяет алгоритм искусственного интеллекта для перевода внутренних анатомических изменений в цифровые данные, описывающие 22 параметра свободы движений пальцев и ладони. Разработчики утверждают, что устройство анализирует особенности движений руки и в режиме реального времени передает соответствующие команды роботу или компьютерной игре, позволяя им точно воспроизвести эти движения.
«По нашему мнению, данная разработка сразу же повлияет на замену текущих способов мониторинга движений рук с помощью носимых ультразвуковых устройств в виртуальной и дополненной реальности », — отметил Сюаньхэ Чжао, профессор кафедры машиностроения Массачусетского технологического института. « Это также открывает возможность для получения обширных данных, необходимых для обучения роботов, имитирующих человеческие качества », — добавил Чжао.
Традиционные способы отслеживания движений рук обладают рядом ограничений: камеры могут быть заблокированы, перчатки с датчиками выглядят неудобно, а датчики мышечных сигналов слишком чувствительны, что затрудняет фиксацию деликатных и плавных движений. Для преодоления этих трудностей ученые из MIT создали носимый ультразвуковой браслет, использующий миниатюрные «ультразвуковые наклейки», которые позволяют сканировать область под кожей.
Носимое устройство, сопоставимое по размеру с умными часами, постоянно формирует подробные ультразвуковые снимки внутренней структуры запястья. Последующая обработка изображений осуществляется с помощью искусственного интеллекта, который, благодаря обучению на обширном наборе данных, анализирует полученные паттерны и соотносит их с положением каждого из пяти пальцев и ладони, учитывая 22 параметра свободы.
«В вашем запястье сухожилия и мышцы действуют как нити, посредством которых управляются ваши пальцы, подобно марионеткам », — объяснил Гэнси Лу. «При каждом создании снимка состояния потоков вы получаете информацию о состоянии кисти ». Для разработки использовались камеры, которые записывали движения добровольцев, и ультразвуковое оборудование, фиксировавшее изображения запястья. Это позволило исследователям идентифицировать определенные внутренние структуры, соответствующие углам сгибания пальцев.
Учитывая, что человеку сложно самостоятельно анализировать столь стремительные и многогранные связи, исследователи разработали систему искусственного интеллекта, способную моментально выявлять эти закономерности, обучив ее на подготовленных данных. Для проверки работоспособности система была протестирована с участием восьми добровольцев. Примечательно, что браслет продемонстрировал высокую точность в прогнозировании разнообразных положений кисти, включая 26 букв сложного языка жестов американских глухонемых, а также деликатных движений, требуемых для удержания ножниц, теннисного мяча или карандаша. Эта удачная интеграция подтвердила возможность надежного преобразования искусственным интеллектом едва заметных микроскопических движений сухожилий в точные цифровые жесты кисти, учитывающие различные типы телосложения.
Инженеры из Массачусетского технологического института показали, насколько универсален разработанный ими браслет, применив его для одновременного контроля над виртуальными и реальными объектами в режиме реального времени. В ходе цифровых экспериментов пользователи смогли с помощью интуитивно понятных жестов, таких как сведение пальцев и захват, легко и аккуратно увеличивать и перемещать виртуальные объекты на экране компьютера. В тестировании с роботами браслет действовал как цифровой пульт управления для марионетки, давая возможность пользователю на расстоянии воздействовать на механическую кисть, как будто он держит невидимые нити. Благодаря этому добровольцам удалось сыграть музыкальную пьесу на пианино и даже поучаствовать в настольной баскетбольной игре, поскольку роботизированная рука в реальном времени повторяла движения их пальцев.
«По нашему мнению, это наиболее современный метод мониторинга сложных движений рук, основанный на использовании носимой визуализации, закрепленной на запястье », — подчеркнул Чжао. Разработчики полагают, что браслет может стать ключевым элементом в сфере виртуальной и дополненной реальности. Также, полученные с устройства данные потенциально применимы для обучения роботов, имитирующих человеческие действия, в частности, для проведения хирургических вмешательств или осуществления сложного производства, благодаря способности воспроизводить точность и отточенность движений человека.