Моргнуть два раза — взлет, сконцентрироваться на полете — движение вперед, расслабиться — назад, моргнуть три раза — посадка. Управление техникой силой мысли: раньше об этом писали фантасты, а сегодня разработки проверяют на экспериментальных образцах. Нейроинтерфейс, позволяющий управлять квадрокоптером (дроном), создали ученые Института проблем управления им. В.А. Трапезникова Российской академии наук. Эти разработки поддержаны Российским научным фондом.
Разработчик системы неройпилотирования Д.А. Вольф в нейрогарнитуре. Перед ним квадрокоптер и смартфон с приложением для управления дроном.
Фото: Александр Бурмистров / «Научная Россия»
Нейрогарнитура, снимающая электроэнцефалограмму с лобной части головного мозга, — китайская, такую сегодня можно без проблем заказать через интернет. Квадрокоптер — тоже стандартный рыночный образец. Но основная часть — российская: это программа, анализирующая сигналы мозга и конвертирующая их в команды для дрона.
Созданный нейроинтерфейс — результат объединенной работы Института проблем управления им. В.А. Трапезникова РАН и лаборатории медицинской кибернетики Воронежского госуниверситета. Ученые ИПУ РАН отвечают за техническое и программное обеспечение технологии, а сотрудники ВГУ поддерживают проект с медицинской стороны — в области исследования мозга.
В лаборатории ИПУ РАН корреспондент «Научной России» попробовал на себе, каково это — управлять дроном силой мысли. «С посвящением в нейропилоты», — поздравил меня создатель программы, старший научный сотрудник ИПУ РАН Данияр Александрович Вольф с новым опытом после того, как мне удалось поднять коптер в воздух, сместить его вперед и назад и посадить. Всего полета — метр вверх и столько же в стороны; занятие на минуту, но дольше пришлось тренироваться «правильно» думать — концентрироваться и расслабляться, чтобы усиливать или снижать активность альфа- и бета-ритмов головного мозга. Именно на эти сигналы «завязаны» команды движения вперед или назад. Взлет и посадка активируются морганием.
На голову оператора коптера надевается нейрогарнитура с датчиком, снимающим активность лобной части головного мозга. Считывающее устройство подключается к смартфону с установленной программой и передает данные. Никаких исключительных вычислительных мощностей смартфона не требуется, программа запускалась, как рассказывал Д.А. Вольф, на устройстве, «когда-то купленном за 5 тыс. рублей». Потом начинается процесс тренировки: программа подстраивается под пиковые активности сигналов мозга конкретного оператора, а оператор, в свою очередь, привыкает к расслабленному и сконцентрированному состоянию. Можно обмануть себя, полагая, что ни о чем не думаешь, но графики альфа- и бета-ритмов объективно показывают, насколько получилось успокоиться или сосредоточиться. И только после этих этапов эксперимент переходит в стадию полета.
Надо отметить сразу: опытный образец в ИПУ РАН пока способен только на простейшие действия. Летать влево — вправо, разворачиваться, подниматься выше или ниже заданных параметров дрон не может. Но это исключительно вопрос поставленных задач и времени, которое уйдет на развитие технологии. Разработанный фундамент — это большая и уже пройденная часть пути.
Набор для управления квадрокоптером. Нейрогарнитура снимает сигналы с головного мозга. Программа на смартфоне анализирует и конвертирует данные в команды для устройства-эффектора — квадрокоптера.
Фото: Александр Бурмистров / «Научная Россия»
Созданная в ИПУ РАН система — гибридная. Для управления движением используются данные энцефалограммы: активность альфа- и бета-ритмов — диапазон частот от 8 Гц до 21 Гц. Команды взлета и посадки интерпретируются из сигналов электроокулографии — регистрации активности глазных мышц.
Для классификации сигналов используются искусственные нейронные сети. И в этой области, рассказывает Данияр Вольф, ученые ИПУ РАН добились лучших результатов в мире. В простой схеме электроэнцефалограмма переводится в частотный спектр, а нейронная сеть, обученная на примерах этих частот, интерпретирует их как команды. В российской разработке используются состязательная нейронная сеть, которая кодирует сигналы и нейросеть, а затем их анализирует. Именно использование созданного в ИПУ РАН автокодировщика позволяет применять в обучении и использовании нейросетей не параметры регистрируемых частот, а намерения человека, например к движению вперед или назад.
Экран приложения, разработанного для управления дроном. На верхнем экране отображаются данные электроэнцефалограммы с лобной части головного мозга. На среднем графике отображается регистрация моргания и определяются пороги активности. По этим порогам сигнал интерпретируется как команда на взлет или посадку (включение или выключение, если транслировать область применения на другие устройства) и передается на дрон. Третий график отображает активность альфа- и бета-ритмов мозга.
Фото: Александр Бурмистров / «Научная Россия»
Важно, что разработки ИПУ РАН — это неинвазивные технологии: вмешиваться в организм, вживлять чипы непосредственно в мозг не надо. Конечно, в данных, полученных непосредственно из мозга, меньше шумов, а диапазоны частот, которые можно зарегистрировать, значительно шире. Но использование внешних приборов дешевле, оно не требует медицинского вмешательства, а полученной информации вполне достаточно, чтобы решить поставленные задачи. В конце концов, это не ставит вопросы этики, права и безопасности применения инвазивных технологий в отношении человека, на которые ни ученые в частности, ни общество в целом пока большей частью не нашли ответы. При этом математические методы и алгоритмы, применяемые для анализа полученных сигналов, едины и для инвазивных, и для неинвазивных методов.
Устройствами для обмена информацией между мозгом человека и устройством, как их называют, нейроинтерфейсами, или интерфейсами «мозг — компьютер», занимаются ученые во всем мире, например Neuralink Илона Маска, специалисты в Азии, Великобритании и Австралии. И способов, которыми можно так или иначе использовать то или иное устройство, тоже достаточно много, а их комбинации значительно расширяют прикладной потенциал.
Актуальные исследования в области разработки нейроинтерфейсов связаны со зрительными вызванными потенциалами (ЗВП). Запуская в глаз человека световые раздражители с разной частотой, можно регистрировать сигналы в затылочной области головного мозга, отвечающей за зрительные ассоциации, и интерпретировать их как команды. «Допустим, человек парализован и не может шевелить ни руками, ни ногами, ни головой, может только смотреть. Перед ним расположена панель с разными светодиодами, а на затылке закреплены регистрирующие электроды. Человек смотрит на определенный светодиод, и это конвертируется в цифру один. Смотрит на другой — в цифру два и т.д. Получается световая клавиатура, или зрительная система управления, которую можно применять для различных устройств. И для этого не нужны инвазивные технологии», — привел пример Д.А. Вольф.
У Данияра Вольфа интересная стрижка: на висках и затылке волосы выбриты, чтобы в данных энцефалограммы было меньше шумов. Исследователь говорит, что возникали мысли набить татуировки, чтобы разделить черепную коробку на зоны и лучше понимать, куда какой электрод крепить. Но пока от этой идеи отказался.
Фото: Александр Бурмистров / «Научная Россия»
У Данияра Вольфа интересная стрижка: на висках и затылке волосы выбриты, чтобы в данных энцефалограммы было меньше шумов. Исследователь говорит, что возникали мысли набить татуировки, чтобы разделить черепную коробку на зоны и лучше понимать, куда какой электрод крепить. Но пока от этой идеи отказался.
Фото: Александр Бурмистров / «Научная Россия»
Развитие нейроинтерфейсов связано в том числе с сочетаниями различных технологий. Например, чтобы квадрокоптер мог летать не только вперед и назад, но также влево и вправо, разворачиваться, набирать высоту и спускаться, к существующей системе можно добавить технологии ЗВП: после установки световой клавиатуры оператору будет достаточно смотреть на тот или иной светодиод, чтобы контролировать направление полета. Или можно закрепить эти функции за электроокулографией: регистрировать и интерпретировать команды, связанные с количеством морганий левым или правым глазом. Эти разработки еще впереди. Фундаментальное понимание, как развивать технологию, у ученых Института проблем управления РАН есть, но для полной подготовки системы потребуется написать дополнительную программу, подготовить ее графический интерфейс, продумать системы сбора, обработки и интерпретации данных.
Самое безобидное, малозатратное и быстрое в реализации применение уже разработанного нейроинтерфеса Д.А. Вольф видит в нейроволейболе: состязании, в котором два участника силой мысли должны перегнать дрон на сторону противника. А при апгрейде можно играть и командами по трое: один человек управляет полетом вперед и назад, другой — влево и вправо, третий — вверх и вниз. По словам разработчика, на подготовку такой системы потребуется около трех месяцев, если будет соответствующий запрос.
На самом деле прикладное применение такого интерфейса гораздо шире: от диагностики состояния организма до новых систем идентификации. Подробнее мы напишем об этом в следующей статье.
Фото: Александр Бурмистров / «Научная Россия»