Искусственный интеллект "рисует" город в реальном времени: видео

В компании Nvidia разработали "систему гибридной графики" на основе искусственного интеллекта, которая умеет отрисовывать городские пейзажи в режиме реального времени. Обученная на видео, снятом в реальном мире, новая ИИ-модель научилась генерировать новые виртуальные пространства с нуля.

За отрисовку зданий, автомобилей, пешеходов и других объектов отвечает генеративно-состязательная сеть (GAN). Эта система "стравливает" между собой две нейросети: ту, что непосредственно создает изображение ("генератор"), и которая его анализирует ("дискриминатор"), сравнивая получившуюся работу с картинками-эталонами.


Графика генерируется в несколько этапов, пишет The Verge. Сначала исследователи "скормили" нейросети публично доступные видеоданные, обычно используемые для тренировки алгоритмов автономного вождения. Каждый кадр был отнесен к определенной категории: небо, деревья, дорога, строения и так далее. Далее в дело вступила GAN, которая создавала новые версии этих объектов, обучаясь на видеосъемке из реального мира.


Затем, прибегнув к помощи игрового движка Unreal Engine 4 (его используют Fortnite, PUBG, Gears of War 4 и другие хиты), инженеры Nvidia создали базовую топологию виртуальной среды. Используя UE4 в качестве фреймворка, ИИ-алгоритмы смогли генерировать графику для каждого объекта, прикрепляя их в моделям игрового движка.

Чтобы продемонстрировать работу технологии, исследователи создали простой симулятор вождения, в котором игроки могут ездить по жилым кварталам и любоваться архитектурой. Помимо видеоигр, "система гибридной графики" Nvidia может применяться в кино и виртуальной реальности, использоваться в качестве учебной среды для роботов и самоуправляемых автомобилей. Источник