В рамках исследования, проведенного на факультете ВМК МГУ имени М.В. Ломоносова, была изучена интерпретация работы нейросетевых моделей с использованием методов анализа чувствительности конференции «Ломоносовские чтения», проходившей в МГУ весной 2025 года.
Нейросетевые модели часто рассматриваются как непрозрачные системы, поскольку логика их работы трудно поддается объяснению. Это представляет особую проблему в медицине и других сферах, где критически важны не только точные прогнозы, но и понятность принципов, по которым функционирует алгоритм. В рамках исследования авторы предложили применять методы анализа чувствительности для определения, какие входные данные оказывают наиболее существенное воздействие на результат работы нейросети.
На первом этапе исследования авторы использовали метод глобального анализа чувствительности Соболя для небольшой нейронной сети, обученной на клинических табличных данных о сахарном диабете. Этот подход позволил определить четыре наиболее влиятельных параметра, влияющих на результат классификации. Полученные результаты соответствовали данным, полученным с помощью метода главных компонент, однако анализ чувствительности предоставил более ясную картину значимости признаков. Впоследствии, без заметного снижения общей точности, авторы создали упрощенную нейронную сеть, используя только эти четыре ключевых параметра.
«Анализ чувствительности предоставляет ценные сведения об устойчивости модели и факторах, оказывающих на нее наибольшее воздействие. По мнению доцента кафедры вычислительных технологий и моделирования Высшей школы экономики МГУ, это может способствовать созданию более надежных моделей, применяемых в медицине и биоинформатике Сергей Матвеев.
В дальнейшем исследование охватило сверточные нейронные сети, включая VGG-16 и ResNet-18, используемые для работы с изображениями. Огромное количество входных параметров (даже в относительно небольших изображениях CIFAR-10 — 3072 пикселя) сделало глобальный анализ невозможным, поэтому команда исследователей использовала локальные подходы: тепловые карты и метод максимизации активации. Полученные результаты показали, что сеть VGG-16 эффективно определяет контуры объектов, а наличие остаточных связей в ResNet-18 способствует сохранению чувствительности на самых глубоких уровнях. Несмотря на то, что эти характеристики широко известны в профессиональной среде, проведенное исследование предоставило возможность для их четкой визуальной иллюстрации.
При анализе применения нейросетей в медицине было уделено особое внимание данному вопросу. Другие исследователи ранее использовали модель VGG-16 для классификации ультразвуковых изображений легких, и она показала способность успешно различать COVID-19, бактериальную пневмонию и здоровые ткани. В ходе нового исследования, проведенного авторами из МГУ с использованием метода максимизации активации и технологии GradCam, были продемонстрированы паттерны, оказывающие влияние на работу обученной нейросетевой модели при классификации. Сравнительный анализ этих подходов позволил авторам заключить, что метод максимизации активации обеспечивает более точную локализацию областей на изображении, определяющих итоговый результат работы классификатора.
Представленная работа показывает, как анализ чувствительности может быть использован для увеличения надёжности и обеспечения большей понятности решений, принимаемых нейронными сетями, что особенно важно при решении медицинских задач.
Полную версию предварительной публикации можно найти на сайте arxiv.