就实景VR视频而言，通过体三维技术捕捉的视频通常能带来更深的沉浸感，而在静态场景捕捉中，通常会采用摄影测量技术。但这两种方法都存在有损于真实感的局限性，尤其是在涉及与视点相关的效果时，如镜面高光和半透明物体。近日，来自泰国Vidyasirimedhi科学技术研究所的研究显示了一种令人惊叹的视图合成算法，它通过准确地处理这种照明效果大大提升了图像的真实性。

来自泰国罗勇府Vidyasirimedhi科学技术研究所的研究人员今年早些时候发表了一款名为NeX的实时视图合成算法的工作成果。它的目标是仅使用场景中的少量输入图像来合成新帧，从真实图像之间的任意点真实地描绘场景。

研究人员Suttisak Wizadwongsa、Pakkapon Phongthawee、Jiraphon Yenphraphai和Supasorn Suwajanakorn写道，这项工作建立在一种叫做多平面图像（MPI）的技术之上。与之前的方法相比，他们的方法能更好地模拟与视图相关的效果（如镜面高光），并创造出更清晰的合成图像。

除了这些改进之外，该团队还对系统进行了高度优化，使其能够在60Hz下轻松运行，据称这比以前的技术水平提高了1000倍。

虽然还没有为使用案例进行高度优化，但研究人员已经使用一个具有立体深度和完整的6DoF运动的VR头显对该系统进行了测试。

研究人员得出结论：

我们的表述在捕捉和再现复杂的视图依赖性效果方面是有效的，在标准图形硬件上的计算也是高效的，因此可以进行实时渲染。对公共数据集和更具挑战性的数据集的广泛研究表明，我们的方法具有先进的质量。我们相信神经基础扩展可以应用于光场分解的一般问题，并使其他不限于MPI的场景表现的高效渲染成为可能。我们的见解是，可以显式优化一些反射参数和高频纹理，这也有助于恢复精细的细节，这是现有的隐式神经表征所面临的挑战。

想了解更多细节，可在NeX项目的网站上查看完整的论文，其中包括可以在浏览器中尝试的Demo。此外还有基于WebVR的演示，如果使用的是Firefox，可以在PC VR头显上查看该Demo，遗憾的是目前该Demo不能在Quest的浏览器上使用。

如上图所示，可以看到木头的反光和手柄的复杂高光，对于现有的体三维测量和摄影测量的捕捉方法来说，想要呈现这样的细节是非常困难的。

如今我们一般在VR中看到的体三维测量视频捕捉方法通常无法呈现这种根据视线进行变化的效果，因为通常难以确定镜面高光的适当立体深度。

而摄影测量或 "场景扫描 "方法，通常将场景的照明 "烘焙 "成纹理，这通常会使半透明的物体看起来像纸板（因为当你从不同角度观察物体时，照明亮点不会正确移动）。

NeX的视图合成研究可以大大改善VR中体三维捕捉和回放的真实性。