立体色彩透视、空间锚定和场景理解将为用户提供更真实的MR体验。

据Meta公司的产品经理Sarthak Ray表示，通过MR看到周围的世界并与之互动的能力为VR开辟了新的机会。"你可以和朋友在同一个物理房间里玩耍，或者将巨大的虚拟显示器和物理工具结合起来提升生产力体验，这也是我们向AR的长期愿景迈出的一步。"

如果VR/AR设备能够令人信服地融合物理和虚拟世界，那么MR体验是非常有效的。根据Oculus最近的一篇博文，想要为用户提供MR体验，意味着头显必须具备更多功能，而不仅仅是提供一个2D视频资料。

为了进一步致力于开发前沿的VR技术，Meta公司宣布推出Meta Reality，这是一个新的MR系统，可以让人们深入了解创造非凡体验的要素。

用于空间感知的立体色彩透视

Meta公司认识到，在提供舒适和身临其境的MR体验方面，色彩透视和立体三维技术非常重要 。

Meta计算机视觉工程经理Ricardo Silveira Cabral解释说道："Meta Quest Pro结合了2个摄像头的视角来重建真实的深度，这确保了使用色彩透视技术构建的MR体验让人感到舒适。但同时，立体纹理提示允许用户的大脑完成剩下的工作，即使在深度重建不完美或超出系统范围时也能推断出深度。"

例如，当使用透视功能时，你的大脑会了解到咖啡杯离你的手大约有多远。

Oculus Insight只能捕捉100个兴趣点来确定头显在房间里的位置，这项技术为消费者VR设备提供了一个独立的追踪系统。此后，它又进行了升级，实现了深度感应。作为比较，Meta Quest Pro在不同的照明条件下，每秒可产生高达10000个兴趣点，使用户能够实时创建改进的物理空间的3D表示。

通过这个过程，Meta能够创建一个不断更新的物理世界的三维模型。然后，人们可以使用这些数据来创建一个预测性的渲染框架，可以产生真实世界环境的图像。为了补偿渲染的延迟，通过Asynchronous TimeWarp算法，重建的图像被调整为用户的左眼和右眼视图。

根据Silveira Cabral的说法，使用彩色立体摄像头使该团队能够提供对现实世界更真实的解释。

将虚拟内容融入物理世界的场景理解

Presence Platform的场景理解组件是在Connect 2021大会上推出的。这项技术使开发人员能够创建复杂和具有场景感知的MR体验。据Meta Quest Pro的产品经理Wei Lyu表示，该公司的场景理解组件旨在帮助开发人员专注于建立他们的业务和体验。

"我们将场景理解作为一个系统解决方案推出，"Lyu说道。

场景理解分为三个方面：

• 场景模型：由几何和语义信息组成的单一、全面、新款、系统管理的环境表示。场景模型的基本元素是锚点。每个锚点都可以连接到不同的组件上。例如，一个用户的客厅是围绕着带有语义标签的单个锚点组织的，如地板、天花板、墙壁、桌子和沙发。锚点附有简单的几何表示，包括2D边界或3D边界框。
• 场景捕捉：一个系统引导的流程，让用户走动并捕捉他们的房间结构和家具，以生成一个场景模型。在未来，Meta的目标是提供一个自动版本的场景捕捉，不需要人们手动捕捉他们的周围环境。
• 场景API：应用程序可以用来访问场景模型中的空间信息的接口，用于各种使用情况，包括内容放置、物理学、导航等。通过场景API，开发者可以使用场景模型让一个虚拟球在实际房间的物理表面上弹跳，或者让一个虚拟机器人可以在物理墙壁上伸缩。

"场景理解减少了开发者在开发过程中产生的摩擦，让他们通过实时遮挡和碰撞效果建立尽可能可信和沉浸的MR体验，"Ray补充说道。

用于虚拟对象放置的空间锚点

开发人员可以利用空间锚点轻松创造出色的MR体验，这是Meta Quest Pro平台的一项核心功能。例如，产品设计师可以使用Gravity Sketch这样的平台在整个物理空间中轻松地锚定多个三维模型，为他们的产品创造一个无缝的环境。

Meta产品经理Laura Onu说道："如果说立体色彩穿透和场景理解是让MR体验融合物理和虚拟世界的重头戏，那么我们的锚定功能则是将这一切联系在一起的连接组织。”

与场景模型一起，空间锚可以用来为各种体验和情况创造丰富的自动环境。例如，你可以创建一个与物理墙相连的虚拟门。这对那些希望将XR技术用于数字孪生、仓库自动化、甚至机器人技术企业解决方案的公司来说，将是一个巨大的进步。

就目前而言，Meta似乎更关注社交体验。"通过将场景理解与空间锚结合起来，你可以将你的MR体验与用户的环境相融合并加以调整，创造一个充满可能性的新世界，" Onu说道，"你可以在自己的客厅里成为一个秘密特工，在你的房间里勾画出房屋的延伸部分并放置虚拟家具，创造物理游戏等等。"

此外，Meta还在Presence平台上增加了共享空间锚点功能。这允许用户通过与同一空间的其他用户分享自己的锚来创造本地多人游戏体验。这将允许用户和其他朋友在物理桌子上玩一个VR棋盘游戏，就像Tilt Five提供的游戏体验一样。

混合现实的成功组合

空间锚、透视和场景理解的结合可以帮助人们创造一个丰富的、互动的环境，其设计从视觉和感受来说就像真实世界。Meta Quest Pro的产品经理Avinav Pashine指出，在为用户创造一个有趣而舒适的MR环境方面，有许多权衡因素。

Meta Reality的未来仍在不断发展，因为该公司通过软件更新和将在其下一代产品中提供的硬件创新正不断改进该平台。Meta Quest Pro的产品经理Silveira Cabral指出，该公司的第一个产品是Meta Reality发展过程中的重要一步。

"我们希望与开发者一起学习，因为他们建立了引人注目的体验，重新定义了VR头显的可能性。这个故事还没有完成，这只是第一页。"