Facebook的VR Spectator工具或朝MR投射演化
Facebook最近在Quest v29软件更新中添加了“实时叠加”(Live Overlay)功能,该功能能够将VR中的第一人称视角与头显佩戴者的摄像头视图叠加在一起。 Facebook在电子邮件中表示,该功能已开始在Oculus应用程序中向部分用户推出,“它将与任何支持投影与录制功能的VR应用程序一起使用。
Oculus Quest开发人员文档中的一页说明写道:Spectator Camera正在将混合现实捕获(MRC)扩展到Oculus应用程序。它不需要MRC中使用的OBS设置,并且允许用户简单地投射到手机上。从Oculus Quest投射和查看第一人称视角时,用户可以创造性地在场景中的第一人称视角和第三方摄像头视角之间切换。”Facebook解释道:“Spectator Camera允许将视图从VR投射到Oculus应用程序,同时可以使用触摸控件通过手机控制视图。”
目前虽然“实时叠加”功能的确具有用户在VR中的外部视图,但它不包含第三人称视角或“混合现实捕获”关键点的准确对齐。
混合现实捕获主要由社区项目驱动,以将来自VR应用程序的模拟内容与实际摄像机的场景视图融合。两种现实的融合成为一个无缝的视图,观众立即可以理解。在2016年,Valve在其最初的SteamVR宣传视频中大体上推广了这个想法。从那时起,诸如LIV和Fabio Dela Antonio开发的Reality Mixer之类社区项目使开发人员和广播公司可以更轻松地共享无需进行后期制作即体验玩VR游戏是什么感觉。Dela Antonio还为他为Reality Mixer应用程序上维护了一个开放源代码存储库。 但是,其中一些项目需要艰巨的调整过程来同步两个现实的视图,或者需要添加诸如OBS之类的额外记录软件。
Facebook CEO马克·扎克伯格(Mark Zuckerberg)本周发布了一个混合现实视频,视频内容是他自己正使用某种工具体验《Beat Saber》。我们联系了德拉·安东尼奥(Dela Antonio),寻求他对扎克伯格的视频的看法,以及Facebook对混合现实广播的兴趣对他的作品意味着什么。他直接给了我们回复,他认为扎克伯格的视频和开发者页面证明该公司最终将提供与他的应用类似的解决方案。
他写道:“我通常认为这是一件有积极影响的事情,这意味着这些视频将变得更加易于访问,并且将开始对现有的Oculus MRC机制进行一些改进。对于我的应用程序而言,其与Quest的未来兼容性将取决于他们对MRC机制所做的更改。我仍在正常使用该应用程序,最近我使用ARKit的人体跟踪功能添加了对Avatars的支持,并且还在支持物理绿屏……我可以做一些其他事情来改善校准过程并允许用户在场景中移动摄像头...但是这需要对Oculus MRC协议的工作方式进行更改,了解Oculus是否具有类似的计划/想法是一件很有趣的事情...我去年能够开始从事自己应用程度的原因之一,是因为OBS的Oculus MRC插件是开源的,这也是为什么我一直将应用程序保持开源的原因。如果他们能够开源其新的移动混合现实解决方案,那就太好了……”
Facebook推出了视频通话设备Portal系列,该系列设备拥有广角摄像头以及将场景中人物放大的关键功能,但却在发布多年之后,仍然没有与Quest的投射或任何其他功能进行集成。一个日本团队最近发布的推文展示了如何使用外部摄像头进行全身追踪,Oculus创始人Palmer Luckey近期发表评论表示应该将Portal用于相同的目的。
“总之,我们正在探索各种方式以帮助人们更好地捕捉、表现和分享他们的VR体验。我们相信这些工具有助于使VR更有趣,并且对生态系统也有好处,因为它们能够让人们分享在VR中的体验。” Facebook在电子邮件中分享到。 “展望未来,您将看到我们继续在Oculus App中尝试不同的功能,这些功能提供了投射、记录和共享来自现实、虚拟、摄像头等不同视角下的VR体验。展示和共享VR的方式有很多,每个VR应用程序都不尽相同。这也是为什么我们正在测试不同的方法,以便向社区学习哪种捕获模式最能展现他们以及他们所使用的VR应用程序。将来,此类功能可能会演变为您所描述的移动“混合现实”投射/录制体验。我们没有具体的计划或时间表宣布,但这是我们正在探索的东西——实际上,我们在OC6上展示了这一点的概念验证,这是我们一直在不断探索的一个方向。”