NVIDIA представили новую технологию 3D отрисовки

NVIDIA сегодня представила значимую исследовательскую работу, которая позволит разработчикам впервые отрисовывать полностью синтетические интерактивные 3D-окружения с помощью модели, обученной на видео реального мира. Исследователи NVIDIA использовали нейросеть для рендеринга синтетического 3D-окружения в реальном времени. В настоящий момент каждый объект в виртуальном мире нужно индивидуально моделировать, что затратно как с точки зрения стоимости производства, так и с точки зрения времени. Команда же NVIDIA для отрисовки зданий, деревьев и транспорта использует модели, автоматически обученные на видео из реальной жизни.

Новая технология позволит быстро создавать виртуальные миры для игр, автомобильной промышленности, архитектуры, робототехники и виртуальной реальности. Например, сеть может сгенерировать интерактивные сцены на базе локаций реального мира или показать пользователям, как танцуют их любимые звезды.

Результат исследования представлен на конференции NIPS в виде гоночной игры, где участникам предстоит управлять машиной в городских локациях. Весь контент отрисовывается интерактивно с помощью нейросети, которая трансформируют скетчи 3D-мира, сделанные на традиционном игровом движке, в видео.  

 Чтобы достичь подобного уровня интерактивности графики, генеративная нейросеть научилась моделировать миры, включая освещение, материалы и их динамику. Так как сцена полностью синтетически сгенерирована, ее можно легко редактировать, изменять, удалять и наполнять объектами.