Nvidia представила нейросеть, генерирующую фотореалистичные изображения по эскизам

Благодаря искусственному интеллекту, создание черновиков занимает всего несколько секунд.

С 18 по 21 марта в Калифорнии состоится конференция GTC 2019, организованная Nvidia. На данном мероприятии выступят представители американской компании, занимающейся разработкой графических процессоров продемонстрировали искусственный интеллект, который за секунды обрабатывает схематичный набросок и превращает его в фотореалистичное изображение.

Нейросеть носит название GauGAN, модель получила свое название в честь художника Поля Гогена, чьи произведения относятся к постимпрессионизму. Это генеративно-состязательная сеть (GAN), состоящая из двух взаимосвязанных компонентов: генератора и дискриминатора. Генератор создает изображения, а дискриминатор, обученный на реальных фотографиях, указывает, какие изменения требуются для улучшения результата.

Приложение включает три инструмента: кисть, карандаш и заливка. Также доступны разнообразные текстуры, имитирующие небо, камни и деревья. Чтобы создать объект, достаточно выбрать нужную текстуру, определить ее форму и залить ею область — нейросеть автоматически сгенерирует реалистичное изображение.

©NVIDIA

При обучении искусственного интеллекта (ИИ) был задействован объем в один миллион изображений, преимущественно полученных с платформы Flickr. Брайан Катандзаро, вице-президент по прикладным исследованиям в сфере ИИ ( Bryan Catanzaro) заверил, что они соблюдали авторское право.

Разработчики подчеркивают, что нейросеть умеет изменять время суток и времена года. Например, если ввести зиму, то претерпят изменения не только окружающие пейзажи, которые будут покрыты снегом, но и небо – оно станет облачным и приобретет серый оттенок. Аналогичные преобразования произойдут и с деревьями, которые сбросят листву. При этом GauGAN понимает, когда объекты стоят перед водной гладью, и отражает их там. Алгоритм мультимодальный: даже по двум одинаковым эскизам он создаст два отличающихся изображения.

В ходе демонстрации программа выполняла все операции за считанные секунды, функционируя в режиме реального времени. По словам Брайана Катандзаро, достижение таких результатов стало возможным благодаря графическому процессору Titan. Тем не менее, он отметил, что после внесения некоторых улучшений алгоритм сможет работать практически на любой платформе, хотя на это потребуется больше времени.

Пока GauGAN работает только с объектами природы, но авторы не исключают возможности натренировать алгоритм на отображение зданий, дорог, людей и других элементов реальности. По мнению Катандзаро, этот инструмент пригодится ландшафтным дизайнерам, архитекторам и всем тем, кто связан с созданием виртуальных миров. Он надеется, что демоверсия скоро появится на сайте Nvidia — AI Playground, который компания также представила на GTC 2019.

Вы можете пройти наш тест, который проверит, способны ли вы определить, где сгенерированный портрет, а где — фотография реального человека.