研究员为2D视频移植AR 3D效果,用HoloLens看世界杯
备受期待的世界杯将在本周开幕。尽管比赛毫无疑问会非常精彩,但我们大多数人都只能在平面电视机上观看。不过,华盛顿大学的研究人员提出了一种增强现实替代方案。尽管可能无法赶在今年世界杯为大众提供服务,但这预告了球迷在未来享受体育赛事的新方式。
研究人员开发了一种能够将2D足球片段移植为3D重建内容的机器学习算法,而观众可以利用微软HoloLens等AR头显欣赏比赛。这种技术可以支持观众将桌面或地面等平坦表面变成虚拟球场,然后系统将渲染相应的3D内容,从而支持你从不同角度进行观看。
这不能等同于在现场观影赛事,但显然比平面电视更加接近。而且更重要的是,这可比现场观赛的成本更低。
项目的一位研究人员康斯坦丁诺斯·里马塔斯(Konstantinos Rematas)表示:“我们的目标是提升体育赛事的观影体验。不再需要在平面2D屏幕上观看足球比赛或球场,而是将原始视频移植为3D,并在增强现实中将其视觉化出来。比赛从根本上变成了全息图,而你可以四处走动并从不同的角度欣赏赛事,从而带来更逼真的体验。”
作为输入,他们研发的算法只需一段YouTube足球视频。由于这无法提供没有足够的信息来训练渲染系统将2D球员“升频”为3D,所以研究人员通过神播放游玩《FIFA 2018》游戏的视频来帮助神经网络估计深度。利用所有这一切信息,系统可以相对精确地判断球员在球场上的位置。
目前项目仍在开发之中。例如,球没有被正确地渲染(这对于足球比赛而言非常重要),而且球员仍然是2D裁剪。研究人员希望未来可以在这两方面取得进步。
里马塔斯继续道:“接下来我们要提高比赛重建的质量。特别地,我们希望精确估计球的位置并且更好地重建球员,如遮挡,完整的3D形状估计等等。”此外,研究人员计划扩展至其他运动,如篮球,曲棍球和足球。