Сотрудники факультета вычислительной математики и кибернетики МГУ в соавторстве с учеными из Геологического института РАН разработали способ увеличения объемов обучающих данных для семантической сегментации минералов на микрофотографиях шлифов. Предложенный метод позволяет автоматически определять участки изображения, в которых модель показывает высокую степень неопределенности, что дает возможность эксперту сосредоточить свою работу на наиболее содержательных фрагментах, избегая повторной разметки всего изображения. Исследование, поддержанное Российским научным фондом, было опубликовано в Международный архив фотограмметрии, дистанционного зондирования и пространственной информации .
Автоматическое разделение минералов необходимо для проведения петролого-минералогического анализа и для ускорения обработки информации. Однако, точность работы нейронных сетей может значительно ухудшаться при применении к изображениям, полученным с использованием другого оборудования или в других условиях освещения и цветопередачи. В подобных случаях зачастую требуется дополнительная разметка данных, что является сложной задачей и требует привлечения опытных геологов.
В рамках рассматриваемого подхода для построения карты неопределенности на всем изображении применяется гиперболическое активное обучение (HALO). «Гиперболический радиус» в пространстве Пуанкаре рассчитывается для каждого пикселя, выступая в качестве показателя эпистемической неопределенности: большие значения указывают на области, в которых модель демонстрирует меньшую уверенность в своих предсказаниях. Это на практике отображается в виде тепловой карты, позволяющей выявлять участки, нуждающиеся в дополнительной разметке.
«Оценка неопределенности, выраженная в гиперболических величинах, позволяет целенаправленно дополнять разметкой участки аншлифов, где модель демонстрирует снижение качества при изменении условий съемки. Это более продуктивный подход, чем расширение датасета без конкретных указаний”» , — уточняет Александр Хвостиков, старший научный сотрудник лаборатории математических методов обработки изображений на факультете ВМК МГУ.
Метод оценивался на датасете LumenStone S1v2. Чтобы смоделировать влияние доменного сдвига, авторы создали последовательности искусственных искажений цвето-яркостного типа («blue», «pink», «yellow») с постепенным увеличением интенсивности и оценили работу двух архитектур сегментации — ResUnet и модифицированной PSPNet. Установлено, что карты гиперболического радиуса связаны с картами ошибок модели и могут быть использованы для определения участков, нуждающихся в дополнительной разметке. Также проведено сопоставление с другими подходами к оценке неопределенности (энтропия предсказаний, выборка по margin и произведение энтропии на гиперболический радиус); в ходе экспериментов гиперболический радиус показал сопоставимые, а иногда и превосходящие результаты.
Использование карт неопределенности позволяет существенно уменьшить объем ручной разметки, поскольку позволяет сосредоточиться на наиболее важных участках. В будущих исследованиях авторы намерены создать комплексную систему разметки микроскопических изображений шлифов, которая будет включать предварительную цветокоррекцию и интеграцию разработанного подхода в открытый Python-пакет petroscope.
Информация предоставлена пресс-службой МГУ