Разработанный учеными роботизированный датчик способен распознавать шрифт Брайля вдвое быстрее, чем человек. В его работе используются как уникальные тактильные сенсоры, так и современная нейронная сеть.
Развитие робототехники набирает обороты, и решение стоящих перед ней задач предполагает разработку алгоритмов, имитирующих характеристики человеческого организма. К примеру, для автоматизации доставки необходимо улучшать способность роботов ориентироваться в пространстве. А чтобы осваивать ресурсы океанов, необходимо научить роботов проводить «тактильное зондирование», то есть определять объекты с помощью прикосновений. Ученые уже разработали «магнитную кожу», она предоставляет возможность для этого, благодаря чему алгоритм может, как минимум, проводить различие между объектами, обладающими признаками жизни, и неживыми предметами.
Ощущения, передаваемые через пальцы, предоставляют человеку обширный объем данных об окружающей обстановке. При этом эластичность кожи позволяет корректировать взаимодействие с внешним миром, например, регулировать усилие при захвате предметов. Одновременное сочетание этих характеристик в технологиях представляет собой сложную задачу. Однако ученым из Кембриджского университета (Великобритания) удалось достичь значительных успехов в этой области.
В статье, которую опубликовал журнал IEEE Robotics and Automation Letters, ученые разработали роботизированный датчик, который с большей точностью и скоростью, чем существующие решения, распознает шрифт Брайля. Предыдущие устройства считывали информацию по одной букве, отрываясь от поверхности после каждого символа, что не соответствует особенностям восприятия текста на Брайле.
Разработанная технология способна обрабатывать шрифты с эффективностью, сопоставимой с человеческой, однако вдвое быстрее. Для идентификации шрифта Брайля была применена нейросетевая модель YOLO v8, относительно нетребовательную к вычислительным ресурсам.
Ученые сообщают, что робот одновременно обрабатывает данные с камеры и сенсорных датчиков. Однако, при движении, изображение становится нечетким, что затрудняет распознавание букв. Для решения этой задачи исследователи обучили модель на искусственно размытых текстах, выполненных шрифтом Брайля. С помощью технологии компьютерного зрения алгоритм научился определять и классифицировать каждый символ.
Проводились испытания разработанного робота, который быстро перемещался по строкам текста, выполненного шрифтом Брайля. Датчик обеспечивал скорость чтения 315 слов в минуту с точностью 87%. Это вдвое превышает скорость чтения для большинства людей, владеющих шрифтом Брайля, и сопоставимо с количеством ошибок, допускаемых ими. Исследователи подчеркнули, что при применении искусственного размытия полученный результат можно считать впечатляющим.
Первоначально технология не предназначалась для поддержки других решений: чтение шрифта Брайля оказалось удобным способом проверки чувствительности датчика. Подобные разработки могут быть полезны, например, при создании протезов с искусственной кожей, а также в приложениях, предназначенных для определения текстуры поверхности. Однако, в конечном итоге, разработанный алгоритм может оказаться полезным для людей с ослабленным зрением, поскольку ученым удалось достичь баланса между скоростью и точностью, которые сопоставимы с человеческими.