早在2017年，苹果公司就从蒙特利尔的Vrvana公司那里获得了一项与手部追踪技术有关的专利。今天，美国专利商标局正式授予苹果一项与Apple Vision Pro的主要功能有关的专利，即手部追踪和手指手势。   

苹果公司的专利指出，沉浸感的质量受制于几个重要因素。例如，显示器的特性，如图像质量、帧率、像素分辨率、高动态范围（HDR）、持久性和纱窗效应（即屏幕上像素之间的可见线条）。

如果显示的视野太窄，或者各种追踪功能缓慢和/或不准确（导致迷失方向和恶心；也就是所谓的晕动症），则沉浸式体验的质量会下降。

沉浸感还受到摄像系统性能的影响，如图像质量（干扰、动态范围、分辨率、无伪影）和虚拟图形（三维建模、纹理和照明）与穿透式图像之间的一致性。在MR中，虚拟元素被实时合成到用户看到的真实世界环境中。虚拟元素与真实世界的表面和物体之间的物理互动可以被模拟并实时显示。

对各种元素的追踪被普遍认为是实现高端VR和MR应用体验的一个重要前提。在这些元素中，头部位置追踪、用户身体追踪和环境追踪在实现沉浸感方面起着关键作用。

头部位置追踪（从这里开始称为位置性追踪），其目的是估计HMD在环境中的位置和方向，必须既低延迟又准确。其原因是，为了在VR中产生高质量的沉浸感，渲染的图形必须与用户的头部运动密切匹配，并且需要在MR中正确地调整现实世界中的虚拟内容。

用户身体追踪可以估计用户身体（但不限于手和手指）相对于HMD的位置和方向。在VR和MR中，它可以提供一种用户输入的方式（例如手势），从而实现与虚拟元素的互动。虽然一些位置追踪方法也可用于手部追踪（例如，带有手持控制器上的LED阵列的红外摄像头），但其他方法利用较小的分析空间（通常在距离HMD一米之内），以提高手部和手指追踪算法的稳健性。

例如，近距离的飞行时间（ToF）摄像头可以与HMD集成或放置在HMD中。这些摄像头可以产生手的深度图，从中可以构建手的骨骼模型。另一种方法是使用红外LED泛光灯和摄像头来分割和估计手和手指上的三维点。

苹果公司的专利图1是一个用户佩戴头戴式显示器（HMD）的示意图，该显示器配有几个摄像头和红外（IR）发射器；图2A是用于实现VR和MR的光学器件、显示器和摄像头的示例性实施方案的俯视图。

苹果公司的专利图4A显示了HMD设备的第一个示例性实施方案的前视图，其中有两个为穿透目的（MR）而优化的RGB摄像头和两个为追踪提供视觉数据的IR摄像头；图5是实现具有位置和用户身体追踪的VR的处理步骤的流程图；图8是实现用户身体追踪的示例性过程的流程图。它还包括手势识别。