Специалисты из Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и СПбГУ разработали нейросеть, способную автоматически определять функциональное состояние человека (бодрость или усталость) на основе анализа стратегии его движений глаз. Данное решение может быть использовано в системах, предназначенных для мониторинга деятельности операторов транспортных средств, тяжелого оборудования, а также объектов промышленного и критически важного значения. Результаты исследования были опубликованы в научном журнале Sensors.
В настоящее время управление и функционирование многих объектов транспортной, промышленной и оборонной инфраструктуры обеспечивается операторами, водителями или специализированными информационными центрами, в которых работают целые команды специалистов. В связи с этим, для обеспечения безопасности на объектах необходимо контролировать психофизиологическое состояние персонала.
«Чтобы решить поставленную задачу, нейросеть, анализирующая движения глаз человека, была обучена для определения состояния оператора транспорта или другого оборудования – находится ли он в состоянии бодрости или утомлен. Информация, необходимая для обучения нейросети, была получена с использованием айтрекера – прибора, отслеживающего направление взгляда. В будущем, по словам старшего научного сотрудника Лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексея Кашевника, данное решение можно будет интегрировать в системы, осуществляющие контроль за действиями операторов различной техники и объектов критической инфраструктуры.
Нейросети были обучены с использованием данных, отражающих особенности стратегий глазных движений при отсутствии и наличии утомления. Выбранные показатели основывались на результатах собственных исследований, посвященных восприятию и анализу информации в различных функциональных состояниях, проведенных научной командой.
В ходе реализации проекта исследовательская группа разработала развернутую базу данных, содержащую информацию о траекториях взгляда пользователей компьютеров, выполнявших разнообразные задачи (чтение, письмо, работа) в течение рабочего дня. Фиксация положения глаз осуществлялась с использованием закрепленного на голове устройства для отслеживания взгляда.
«Ирина Шошина, профессор Санкт-Петербургского государственного университета, подчеркивает, что для обучения нейронной сети были применены наборы данных, собранные в ходе решения разнообразных задач, включая чтение, поиск по изображениям, обнаружение объектов и отслеживание.
Разработанная библиотека с открытым исходным кодом системы предоставляется всем пользователям и разработчикам программного обеспечения по ссылке. Данное исследование финансировалось грантом Фонда содействия инновациям.