康奈尔大学开发SNeRF解决方案可快速创建动态虚拟场景

只看该作者 · 2022-7-19 18:34:45|发表时间：2022-7-19 18:34:45

　　康奈尔大学近期公布旗下开发SNeRF系统，可以让用户快速轻松地构建风格化3D内容和虚拟世界的能力只会变得越来越重要。感兴趣的小伙伴们一起来看看吧!

　　使用各种参考图像，Thu Nguyen-Phuoc、Feng Liu和Lei Xiao的研究团队能够生成可在各种虚拟环境中使用的风格化3D场景。例如，戴上VR头显，通过毕加索的画作等风格化的镜头观察现实世界的样子。
　　此过程使团队不仅可以快速创建虚拟对象，还可以利用其真实世界环境作为3D对象检测虚拟世界的一部分。
　　值得注意的是，研究小组还能够通过同一视点的不同视图方向观察同一物体，也称为交叉视点一致性，这在VR中查看时会产生身临其境的3D效果。通过交替使用NerF和风格化优化步骤，研究团队能够获取图像并将其用作参考样式，然后以适应该图像的风格化方式重新创建现实世界的环境、对象或人，从而加快创建过程。
　　该团队表示：“我们引入了一种新的训练方法，通过交替使用NerF和风格化优化步骤来解决这个问题。这种方法使我们能够充分利用硬件内存容量，既能以更高的分辨率生成图像，又能采用更具表现力的图像风格传输方法。我们的实验表明我们的方法可以为广泛的内容(包括室内、室外和动态场景)生成风格化的NeRF，并合成具有跨视图一致性的高质量新颖视图。”
　　由于NerF的内存限制，研究人员还必须解决另一个问题，即他们如何以更实时的速度渲染更多的高清3D图像。解决方案是创建一个渲染视图循环，每次迭代都能够在每次通过时更一致地定位样式化点，然后用更多细节重建图像。
　　该技术还改进了头像。研究团队的SNeRF风格化方法让他们创造了一个在对话中更具表现力的化身。结果是动态4D头像，可以逼真地传达愤怒、恐惧、兴奋和困惑等情绪，所有这些都不需要使用表情符号或按下VR控制器上的按钮。
　　研究工作仍在继续，但目前该团队能够开发一种3D场景风格化的方法。此外，他们使用交替风格化方法使他们能够充分利用其硬件内存功能来风格化静态和动态3D场景，从而使团队能够以更高的分辨率生成图像，并在VR中采用更具表现力的图像风格传输方法。