近日，美国专利商标局正式授予苹果公司一项专利，该专利涉及用于使用户沉浸在虚拟现实（VR）或增强/混合现实（MR）环境中的头戴式显示器（HMD）领域。该专利描述了苹果公司未来的HMD可以通过手势识别为用户提供输入手段，这也将实现与虚拟元素的交互。

沉浸感的质量受制于几个重要因素，例如显示器的特性，如图像质量、帧率、像素分辨率、高动态范围（HDR）、持久性和纱窗效应（即屏幕上像素之间的可见线）。

对各种元素的追踪通常被认为是实现高端VR和MR应用体验的一个重要前提条件。在这些元素中，位置性头部追踪、用户身体追踪和环境追踪在实现良好的沉浸感方面起着关键作用。

位置性头部追踪（从这里开始被称为位置性追踪），旨在估计HMD在环境中的位置和方向，必须既低延迟又准确。其原因是，为了在VR中产生良好的沉浸感，渲染的图形必须与用户的头部运动密切匹配，并且需要在MR中正确地调整现实世界中的虚拟内容。

用户身体追踪用于估计用户身体（特别是手和手指）相对于HMD的位置和方向。它可以在VR和MR中提供一种用户输入的手段（例如，手势），使其能够与虚拟元素互动。虽然一些位置追踪方法也可用于手部追踪（例如，带有LED阵列红外相机的手持控制器），但还有其他方法利用较小的分析空间（通常在距离HMD一米之内），以提高手部和手指追踪算法的稳健性。

例如，近距离的飞行时间（ToF）相机可以与HMD集成。这些相机可以产生手的深度图，从中可以构建手的骨骼模型。另一种方法是使用红外LED泛光灯和摄像头来分割和估计手和手指上的3D点。

苹果公司的专利图1是一个用户佩戴头戴式显示器（HMD）的示意图，该显示器配备了几个摄像头和红外（IR）发射器；图2A是用于实现虚拟和混合现实的光学器件、显示器和摄像头的示例性实施方案的俯视图。

苹果公司的专利图4A显示了HMD设备的第一个示例性实施方案的前视图，其中有两个为透视目的而优化的RGB摄像头（MR）和两个为追踪提供视觉数据的IR摄像头；图5是实现具有位置和用户身体追踪的处理步骤的流程图；图8是实现用户身体追踪的示例性过程的流程图，它还包括手势识别。

值得注意的是，这项专利所列出的所有发明人都来自VRvana。苹果公司早在2017年就收购了位于蒙特利尔的VRvana，这是一家拥有手部追踪技术的混合现实头显公司。