Система технического зрения «Фасетка», разработанная в НТЦ Робототехники и компьютерных технологий МФТИ при поддержке фонда НТИ, способна распозна ет местность в любое время суток и при любой погоде, позволяя беспилотнику ориентироваться там, где не работают GPS и ГЛОНАСС. Это особенно важно для работы в зонах стихийных бедствий, техногенных аварий, при мониторинге трубопроводов и выполнения специальных задач в условиях радиомолчания. Испытания на вертолёте и БПЛА подтвердили точность навигации до 6 метров при высоте 1000 метров. Разработка готова к интеграции в беспилотные комплексы.
В настоящее время управление беспилотными летательными аппаратами полностью основано на спутниковой связи. В глубоких каньонах, в условиях плохой видимости и при подавлении сигналов ГНСС они теряют ориентацию. В некоторых ситуациях для навигации могут применяться методы визуальной ориентации, при которых беспилотник использует предварительно созданные карты местности.
И здесь возникают трудности. Прежде всего, зимний ландшафт трансформируется – снег скрывает знакомые очертания. К тому же, распознавание изображений затруднено, если съёмка ведётся под углом, а не строго сверху, что существенно ограничивает возможности маневрирования. Помимо этого, многие системы перестают функционировать в условиях недостаточной освещённости и неблагоприятных погодных явлений.
Решение этой задачи было найдено в НТЦ Робототехники и компьютерных технологий МФТИ, где была создана система «Фасетка». Это не просто программное обеспечение, а комплексное решение, охватывающее все этапы: от физических датчиков до специализированного тензорного процессора. В состав «Фасетки» входит многоканальная система технического зрения, способная обрабатывать информацию из видимого диапазона, ближнего и дальнего ИК-спектра, а также радиолокационного канала.
Благодаря объединению этих каналов удается извлекать данные, которые не зависят от погодных условий, времени суток и сезонных колебаний. К примеру, тепловой контур здания сохраняется в зимний период, а радиолокационное изображение отражает крупную структуру леса, вне зависимости от наличия листвы.
Для обработки используется интеллектуальный тензорный алгоритм, осуществляющий глубокую семантическую сегментацию входящих данных. Он позволяет выделять не отдельные пиксели, а полноценные объекты, такие как дороги, здания, русла рек и опоры линий электропередач. Эти ориентиры характеризуются высокой стабильностью и практически не изменяются в зависимости от времени года или времени суток.
Идентифицированные объекты приводятся в соответствие с базовой спутниковой картой (Google, Яндекс.Карты), которая находится в памяти устройства. Это обеспечивает глобальную локализацию, а не просто измерение пройденного расстояния.
Традиционная визуальная навигация предполагает съемку с прямого угла сверху. Технология «Фасетка» позволяет отклонять камеру от вертикального положения до 45 градусов. Это стало возможным благодаря обучению нейронной сети на искусственно созданных ракурсах и применению генеративных моделей.
Аналогично, сезонные колебания не оказывают существенного влияния, поскольку алгоритм был обучен на данных, охватывающих различные сезоны, и использует стабильные семантические категории.
Испытания системы «Фасетка» были осуществлены с использованием как небольших беспилотных летательных аппаратов, так и вертолёта Ми-8. В ходе проверок имитировались полёты над местностями с различным рельефом, погодными условиями, временем суток и в ситуациях, когда сигналы были заглушены.
Анализ продемонстрировал, что на высоте 1000 метров точность определения координат варьируется от 6 до 15 метров, в зависимости от внешних факторов. Типичная неточность определения местоположения составляет 30 метров на каждый километр пройденного пути, а в ходе практических испытаний на вертолете Ми-8 удалось достичь среднеквадратичного отклонения горизонтальной ошибки в 5,2 метра.
Таких характеристик вполне хватает для того, чтобы дрон мог безошибочно двигаться по установленному пути или достигать требуемой координаты.
Разработка подходит к этапу интеграции в автономные комплексы. В дальнейшем исследователи намерены уменьшить размеры устройства, а также расширить совместимость с различными типами аппаратуры и беспилотных летательных аппаратов.
Работа выполнена при поддержке Фонда НТИ.
Информация предоставлена пресс-службой МФТИ