Разделение объектов на изображениях: новая разработка от специалистов Массачусетского технологического института

Новости МирТесен

Благодаря этой технологии можно изменять фон, предметы или их отдельные элементы без появления нежелательных следов.

В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика ( Wojciech Matusik) показалиразработала инновационный алгоритм, который позволяет точно определять объекты на изображении и создавать между ними четкие переходы. Эта разработка получила название Semantic Soft Segmentation.

В своей статье авторы обращаются к нескольким общепринятым методам выделения объектов. Среди них — soft segmentation. Метод заключается в разделении изображения на сегменты, при этом каждый пиксель может относиться к нескольким сегментам одновременно. По мнению авторов, он эффективен при работе с цветокоррекцией, однако не позволяет точно определить границы между различными объектами.

С другой стороны, метод, названный semantic segmentation, система использует нейронную сеть для определения типов объектов и их выделения на изображении. Разработчики не стремились создать систему, основанную на классификации для разделения объектов. Вместо этого они объединили два упомянутых метода, наделив алгоритм возможностью выделять объекты, опираясь на границы между ними.

Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.

Несмотря на достигнутые улучшения, авторы указывают на существующие недостатки. Наиболее значительный из них – продолжительность вычислений. Для обработки изображения с разрешением 640×480 требуется от трех до четырех минут. В дальнейшем они намерены сократить это время.

В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, способна создавать трехмерную модель окружения на основе единственного двухмерного изображения.