Первое место в большом хакатоне проектной смены «Доверенный искусственный интеллект» в университете Сириус заняли студенты Московского государственного университета с проектом Adversarial Purification for IQA Models («Состязательное очищение для моделей по оценке качества изображения»). Представленная конкурсантами работа посвящена разнообразным методам защиты искусственного интеллекта от вредоносного вмешательства, позволяющим предотвратить атаки на работу нейросети.
В команду вошли два студента магистратуры факультета вычислительной математики и кибернетики МГУ Александр Гущин (6 курс) и Анна Чистякова (5 курс) и студент Физтех-школы прикладной математики и информатики МФТИ Владислав Минашкин (4 курс). Куратором проекта стала старший научный сотрудник Института искусственного интеллекта МГУ и Института системного программирования им. В.П. Иванникова РАН Анастасия Анциферова. Группа молодых специалистов заняла первое место среди 15 команд хакатона с преимуществом в 0,2 балла.
«Наша команда занимается защитой нейронных сетей от атак: мы разрабатываем атаки и пытаемся защититься от них. Поскольку сейчас нейронные сети используются в крупных компаниях в большом количестве сфер жизни, мы считаем, что это очень полезная технология. В рамках проектной смены мы разрабатывали защиту для метрик качества видео. Сейчас большое количество медиафайлов передается через Интернет, в процессе видеоизображения сжимаются, и необходимо оценивать качество их воспроизведения на устройствах. Для этого и разрабатывают метрики, в которых используются нейронные сети», — сообщила Анна Чистякова.
«Мы разрабатывали методы защиты для моделей, которые оценивают качество изображений и видео. Существуют злоумышленники, которые могут специальным образом модифицировать изображения и видео и посредством этого взломать модели обработки видео, распознавания образов или в данном случае оценивания качества входящих изображений или видео. Мы разработали методы постобработки видео и изображений таким образом, что атака злоумышленников оказалась в значительной степени нивелирована», — рассказал Александр Гущин.
Победители разработали семь методов защиты искусственного интеллекта от 10 разных видов атак.
«Для нейронных сетей атака — это подход к подбору входных данных, который максимизирует ошибку сети. Состязательные атаки — класс атак, которые незаметны человеческому глазу, но при этом такое возмущение очень сильно портит предсказание нейронной сети, — пояснила Анна Чистякова. — Состязательная защита включает несколько подходов: можно менять нейронную сеть, обучая ее по-другому, а можно изменять входные данные. Например, к нам приходит изображение, и, если оно является носителем атаки, мы можем очистить его».
Для борьбы с атакой AdvCF, связанной с загрузкой в нейросеть изображения, искаженного цветовым фильтром, студенты создали программу для восстановления оригинала картинки, опубликовав код в открытом доступе на GitHub. Александр и Анна рассказали, что команда продолжает работу над технологией и планирует представить статью о разработке на научной конференции.
«О перспективах коммерциализации будем думать после того, как получим окончательные результаты работы над проектом», — отметил Александр. Специалист добавил, что разработка может применяться при обработке видеоконтента, определении качества видео в стримингах на платформах YouTube, RuTube и т.п., оценке качества видеокодеков (программ для сжатия видео и их восстановления) и во многих иных областях работы с данными.
«В данный момент нужно обращать внимание не на то, что нейронные сети начинают хорошо себя проявлять в реальных задачах, а на то, что мы не до конца понимаем их. Необходимо искать различные способы интерпретации результатов работы нейронных сетей, а не слепо верить в то, что они будут верны», — подчеркнула Анна Чистякова.
Источники
Беседа с Александром Гущиным и Анной Чистяковой
Факультет вычислительной математики и кибернетики МГУ им. М.В. Ломоносова. Победа студентов ВМК в хакатоне «Доверенный искусственный интеллект»
Фото на превью: Денис Турдаков / Факультет вычислительной математики и кибернетики МГУ им. М.В. Ломоносова