AR-технология позволяет использовать окружающие предметы как клавиатуры для набора текста

Новости МирТесен

Ученые из Техасского университета в Далласе представили инновационный интерфейс дополненной реальности, дающий возможность пользователям создавать текстовые надписи на поверхности обыденных предметов. Данная технология, обозначенная как PropType, формирует проекцию виртуальной клавиатуры на различные объекты, включая бутылки, банки и книги.

Данное решение направлено на устранение одной из основных сложностей AR-интерфейсов – низкой скорости ввода текста и дискомфорта в руках, возникающих из-за необходимости набирать текст в виртуальном пространстве. PropType позволяет использовать любой предмет, находящийся в руках, в качестве основы для клавиатуры, предоставляя пользователям ощутимую тактильную обратную связь. По словам доктора Джина Рёнга Кима, заведующего кафедрой компьютерных наук, система интегрирует объекты из окружающей среды, трансформируя процесс ввода текста в дополненной реальности и устанавливая тесную взаимосвязь между физическим и виртуальным пространствами.

PropType применяет тактильную отдачу, генерируемую непосредственно элементами управления, что повышает уверенность в нажатии кнопок и уменьшает необходимость в визуальных сигналах. Ранее в этом году эта разработка была представлена на ведущих конференциях, посвященных взаимодействию человека и компьютера, прошедших в Японии и Южной Корее.

Виртуальные клавиатуры нередко доставляют пользователям неудобства, поскольку ввод осуществляется в пустоте и требует постоянного визуального внимания. PropType стремится изменить эту ситуацию, возвращая ввод в физическую реальность. Система проецирует раскладку клавиатуры на физический объект и подстраивается под его контуры. Она функционирует на изогнутых и неровных поверхностях, таких как бутылки, банки с газировкой, кофейные чашки и книги.

Команда провела исследование, наблюдая за тем, как шестнадцать человек используют обычные предметы. При этом изучались сила захвата, положение руки и движения пальцев. Полученные данные позволили разработать пользовательские раскладки клавиатуры, которые интуитивно удобны при работе с различными предметами. Пользователи также имеют возможность создавать собственные раскладки. Инструмент редактирования позволяет настраивать размеры, интервалы и визуальное оформление. По словам исследователей, это способствует более эффективной работе PropType в ситуациях, когда использование стандартных клавиатур затруднено.

Продолжающиеся работы над PropType являются частью более масштабных исследований доктора Кима, посвященных технологиям осязания. Данная область изучает возможности передачи осязательных, вибрационных и тепловых сигналов в цифровых системах. Недавно лаборатория доктора Кима была отмечена за достижения в области теплового маскирования и термотактильной интеграции. В рамках этих экспериментов исследуется, как мозг обрабатывает тепловые и вибрационные ощущения. К примеру, если тепловой актуатор расположен на предплечье, а вибрационный – на небольшом расстоянии от него, сочетание этих сигналов может ввести пользователя в заблуждение, создавая ощущение тепла в обоих местах. Эта область исследований способна трансформировать виртуальную реальность и медицинские симуляторы, делая ощущения более правдоподобными. По словам Кима, ключевая задача – разработка интерфейсов, которые будут реагировать с высокой степенью точности и обеспечивать более глубокое погружение.