Специалисты создали робототехнический прибор, способный считывать шрифт Брайля вдвое быстрее большинства людей. В его работе применяются особые тактильные датчики и мощная нейросеть.
Робототехника стремительно прогрессирует, а поставленные перед нею задачи подразумевают создание алгоритмов, обладающих характеристиками человеческого организма. К примеру, для осуществления автономной доставки необходим… улучшатьСпособность роботов ориентироваться в пространстве — важный шаг для освоения морских ресурсов. Важно обучить роботов проводить «тактильное зондирование», определяя объекты через прикосновения. Ученые уже разработали… «магнитную кожу»Эта технология даёт возможность алгоритму хотя бы раз отличать живые существа от неживых предметов.
Чувствительность пальцев даёт человеку массу информации о мире. Мягкость кожи позволяет регулировать взаимодействие с ним: например, силу сжатия предметов. Создание технологии с обеими этими свойствами сложно. Учёные из Кембриджского университета (Великобритания) успешно реализовали это на высоком уровне.
В статье, которую опубликовал журнал IEEE Robotics and Automation LettersИсследователи разработали роботизированный датчик, который распознает шрифт Брайля точнее и быстрее существующих аналогов. Предыдущие модели считывали по одной букве и поднимались от поверхности после каждого символа, в отличие от восприятия текста на Брайле человеком.
Новая технология обрабатывает шрифт, подобно человеку, но за меньшее время — вдвое быстрее. Для распознавания шрифта Брайля была применена нейросетевая модель. YOLO v8, относительно нетребовательную к вычислительным ресурсам.
Учёные сообщают, что робот обрабатывает информацию с камеры и датчиков одновременно, но при движении изображение размывается, затрудняя распознавание букв. Чтобы решить эту проблему, исследователи обучили модель на искусственно размытых текстах шрифта Брайля. Благодаря компьютерному зрению алгоритм обнаруживает и классифицирует каждый символ.
В ходе тестирования робот демонстрировал быструю проработку строк текста на Брайле. Датчик обрабатывал 315 слов в минуту с точностью 87%, превосходя темпы большинства людей, разбирающихся в данном шрифте, почти наполовину и показывая аналогичное количество ошибок. Ученые выразили удивление таким результатом при применении искусственного размытия.
Технология изначально не предназначалась как вспомогательная; чтение шрифта Брайля было лишь эффективным способом проверить чувствительность датчика. Такие разработки полезны для протезов с искусственной кожей и приложений, определяющих текстуру поверхности. Тем не менее, итоговый алгоритм может стать помощником для слабовидящих: ученым удалось добиться баланса скорости и точности, показатели которого близки к человеческим.