Благодаря этой технологии можно изменять фон, предметы или их отдельные элементы без появления нежелательных следов.
В рамках конференции SIGGRAPH 2018 студенты Массачусетского технологического института (MIT) и Швейцарской высшей технической школы Цюриха под руководством профессора Войцеха Матусика ( Wojciech Matusik) показали алгоритм, способный выделять объекты изображения без ошибок и проводить между ними плавную границу. Новый метод они назвали Semantic Soft Segmentation.
В своей статье авторы обращаются к нескольким общепринятым методам выделения объектов. Среди них — soft segmentation. Метод заключается в разделении изображения на сегменты, при этом каждый пиксель может относиться к нескольким сегментам одновременно. По мнению авторов, он эффективен при работе с цветокоррекцией, однако не позволяет точно определить границы между различными объектами.
С другой стороны, метод, названный semantic segmentation, система использует нейронную сеть для определения типов объектов и их выделения на изображении. Разработчики не стремились создать систему, основанную на классификации для разделения объектов. Вместо этого они объединили два упомянутых метода, наделив алгоритм возможностью выделять объекты, опираясь на границы между ними.
Система Semantic Soft Segmentation учитывает, что пиксели могут принадлежать одновременно двум объектам. Она присваивает каждому слой и анализирует уровень прозрачности в пограничных областях. Благодаря этому алгоритм может заменять не только фон, но и его части, не оставляя при этом визуальных шумов.
Разработчики отмечают, что, несмотря на достигнутый прогресс, существуют определенные ограничения. Наиболее значимым из них является время, необходимое для обработки. Анализ изображения с разрешением 640×480 занимает от трех до четырех минут. В дальнейшем планируется сократить этот показатель.
В июне британская компания DeepMind разработала нейронную сеть под названием Generative Query Network, способна создавать трехмерную модель окружения на основе единственного двухмерного изображения.