一项新研究展示神经网络 3D 场景 NeRF 可面向 VR

2022-11-08

        NeRF 指的是神经网络中的 3D 场景,一项新研究为动态场景打开了 AI 技术。

  神经辐射场 (NeRF) 从图像中学习 3D 表示,然后可以渲染 3D 场景,例如从以前看不见的角度。这允许在物体周围进行 360 度摄像机移动、无人机录制游览或穿越餐厅内部。该技术还可用于生成逼真的 3D 对象。

  然而,在几乎所有情况下,这些都是静态场景或物体,因为运动在训练过程中引入了迄今为止难以解决的时间维度。

  在一篇新的研究论文中,来自布法罗大学、苏黎世联邦理工学院、InnoPeak 和蒂宾根大学的团队展示了 从 2D 图像中学习 4D 表示的 NeRF 动态场景。

  该演示以来自不同相机或单个移动相机的 RGB 图像用作输入。例如,在镜头中可以看到移动的人或有人将咖啡倒入玻璃杯中。

  为了使场景可学习,团队将动态场景分为三种时态模式:静态、变形和新区域。例如,在咖啡的情况下,玻璃杯所在的木板保持静止。玻璃的内容物看起来是新的,可见的手变形了。分解场接管将场景划分为三个类别,每个区域都有专属神经域。

  在他们的方法中,研究人员还分离了时间和空间维度,以改善代表性。

  与其他方法相比,动态场景的分解表示显著减少了视觉伪影。该团队还使用 NeRFPlayer 来演示一种以有限比特率实时流式传输学习表示的方法。

  得益于 Nvidia InstantNGP 框架,该框架允许神经网络在几秒钟内学习千兆像素图像、3D 对象和 NeRF 表示,所提出的方法也很快。

  在工作中,该团队将虚拟现实的“真实 4D 时空环境”的视觉探索描述为一种愿景,并将自己的工作视为对这一目标的贡献。该论文指出:“在 VR 中自由地对真实的 4D 空间进行视觉探索是一项长期的任务。当仅使用几个甚至单个 RGB 相机来捕获动态场景时,这项任务特别有吸引力。”

原文来自http://vr.sina.com.cn/news/hot/2022-11-08/doc-imqqsmrp5365842.shtml

在线咨询
联系电话

15605156696