Ученые из Техасского университета в Далласе представили инновационный интерфейс дополненной реальности, дающий возможность пользователям создавать текстовые надписи на поверхности обыденных предметов. Данная технология, обозначенная как PropType, формирует проекцию виртуальной клавиатуры на различные объекты, включая бутылки, банки и книги.
Данная разработка направлена на решение одной из основных проблем AR-интерфейсов – низкую скорость набора текста и дискомфорт в руках, возникающие из-за необходимости ввода информации в виртуальном пространстве. PropType использует любой предмет, находящийся в руках, в качестве основы для клавиатуры, предоставляя пользователям ощутимую тактильную обратную связь. По словам доктора Джина Рёнга Кима, заведующего кафедрой компьютерных наук, система интегрирует объекты из окружающей среды, переопределяя процесс ввода текста в дополненной реальности и создавая естественную связь между физическим и виртуальным мирами.
PropType применяет тактильную обратную связь, встроенную в сами элементы управления, что повышает уверенность в нажатии и уменьшает необходимость в визуальных индикаторах. Данная система была представлена исследователями на ведущих конференциях, посвященных взаимодействию человека и компьютера, прошедших в Японии и Южной Корее в начале года.
Виртуальные клавиатуры нередко доставляют пользователям неудобства, поскольку ввод осуществляется в пустоте и требует постоянного визуального внимания. PropType стремится изменить эту ситуацию, возвращая ввод в физическую реальность. Система проецирует раскладку клавиатуры на физический объект и подстраивается под его контуры. Она функционирует на изогнутых и неровных поверхностях, таких как бутылки, банки с газировкой, кофейные чашки и книги.
Команда провела исследование, наблюдая за тем, как шестнадцать человек взаимодействуют с обычными предметами. В ходе работы были проанализированы сила захвата, положение руки и движения пальцев. Полученные данные позволили разработать пользовательские раскладки клавиатуры, которые обеспечивают естественное ощущение при работе с различными предметами. Также пользователи имеют возможность самостоятельно создавать собственные раскладки. Инструмент редактирования предоставляет возможность изменять размеры, интервалы и визуальные эффекты. Исследователи утверждают, что это способствует более эффективной работе PropType в ситуациях, когда использование внешних клавиатур затруднено.
Работа над PropType является частью более масштабных исследований доктора Кима, посвященных технологиям осязания. Эти технологии изучают ощущения, связанные с вибрацией и температурой, в цифровых системах. Недавно лаборатория получила признание за достижения в области теплового маскирования и термотактильной интеграции. Проводимые эксперименты направлены на изучение того, как мозг обрабатывает тепловые и вибрационные сигналы. Так, если тепловой актуатор расположен на предплечье, а вибрационный – на небольшом расстоянии от него, сочетание этих сигналов может ввести пользователя в заблуждение, создавая ощущение тепла в обеих точках. Данное направление исследований способно трансформировать области виртуальной реальности и медицинских симуляторов, позволяя создавать более правдоподобные ощущения. По словам Кима, главная задача – разработка интерфейсов, которые будут реагировать с высокой точностью и обеспечивать более глубокое погружение.