Ученые Центра искусственного интеллекта МГУ с коллегами из лаборатории компьютерной графики и мультимедиа факультета ВМК МГУ и Института искусственного интеллекта МГУ разработали платформу для оценки устойчивости алгоритмов детекции синтетических изображений, называемых часто дипфейками, к распространенным методам маскировки дипфейков, таким как сильное сжатие и т.п. Проект реализуется в рамках набора соревнований NTIRE (Новые тенденции в восстановлении и улучшении изображений) были представлены на конференции CVPR, являющейся мировым лидером по показателю импакт-фактора среди конференций и журналов.
Цель проекта – оценить, насколько точно алгоритмы распознавания объектов продолжают работать после того, как изображения становятся доступны в социальных сетях. В условиях реальной эксплуатации изображения часто подвергаются сжатию, вплоть до повторного, обрезке, изменению цветовой гаммы, контрастности, резкости и другим модификациям, что негативно сказывается на результативности моделей в практических ситуациях, в отличие от лабораторных тестов.
«Создание изображений открывает новые перспективы для развития технологий, но в некоторых случаях крайне важно уметь различать сгенерированный контент и реальные объекты. Для этого требуются как эффективные способы оценки качества работы алгоритмов, так и подходящие наборы данных для их обучения. В связи с этим мы поддерживаем коллег из МГУ в проведении международного соревнования и считаем достигнутые ими результаты значимыми, — подчеркнул Александр Крайнов, директор по развитию технологий искусственного интеллекта в Яндексе.
Для оценки способности моделей к обобщению и предотвращения переобучения на конкретный тестовый набор, в рамках соревнования предоставлен сложный набор данных (Hard Validation). Чтобы обеспечить более справедливую итоговую оценку, также установлено ограничение на количество ежедневных отправляемых решений.
В конкурсе приняли участие более 500 команд со всего мира, общее количество отправленных решений превышает 3400. Наборы данных доступны на международной исследовательской платформе HuggingFace ( deepfakesMSU). Лидирующие позиции заняли команды Ant Group (Китай), на третьем месте — ChinaTelecom (Китай), на четвертом — INTSIG Information Co (Китай, разработчики популярной программы CamScanner), на пятом – молодой аспирант, выступавший индивидуально (Китай), на шестом – команда University of Electronic Science and Technology of China (Китай) и, наконец, на седьмом месте — команда Reagvis Labs (Индия).
Для проведения работ был задействован суперкомпьютер МГУ-270. Результаты соревнований будут изложены в статье, которая будет представлена на конференции CVPR и посвящена сравнительному анализу устойчивости алгоритмов обнаружения дипфейков к разнообразным видам цифровых преобразований. Также уже сформирован значительно более крупный набор данных, предназначенный для обучения и тестирования детекторов дипфейков, который претендует на звание самого большого в мире и будет опубликован до конца текущего года.
Информация предоставлена пресс-службой МГУ