HMD：低功率眼动追踪系统

苹果的第一个HMD授权专利涵盖了在虚拟和混合或增强现实（VR/AR）应用中进行眼动追踪的方法和装置的各种实施方案。一个VR/AR系统可以包括一个设备，如头戴式显示器、头盔、护目镜或眼镜（在此称为头戴式设备HMD），它包括一个显示器（例如，左和右显示器），用于在用户眼前显示包括左和右图像的框架，从而向用户提供三维虚拟视图。

一个VR/AR系统还可以包括一个控制器。控制器可以在HMD中实现，或者至少部分地由外部设备（例如，计算系统）实现，该设备通过有线或无线接口与HMD通信耦合。控制器可以包括一个或多个各种类型的处理器、图像信号处理器（ISP）、图形处理单元（GPU）、编码/解码器（编解码器）和/或其他用于处理和呈现视频和/或图像的组件。控制器可以渲染包括至少部分基于从HMD上的相机和其他传感器获得的输入的虚拟内容的帧（每个帧包括左和右图像），并可以将帧提供给HMD的投影系统进行显示。

VR/AR系统可包括眼动追踪系统（也可称为注视追踪系统）。专利所描述的用于VR/AR系统的眼动追踪系统的实施方案包括至少一个眼动追踪相机（例如，红外相机），该相机设置在用户面部的每一侧，并被配置为捕获用户的眼睛图像。

例如，位于HMD显示面板边缘或附近的眼动追踪相机，从眼睛反射的红外光中捕捉用户眼睛的图像。由眼动跟踪系统捕获的图像可由控制器进行分析，以检测用户眼睛的特征（如瞳孔）、位置和运动，和/或检测有关眼睛的其他信息，如瞳孔扩张。

提供准确的眼动追踪的关键是知道用户的眼睛相对于眼动追踪相机的位置。在眼动追踪系统的一些实施方案中，为了准确确定用户的眼睛相对于眼动相机的位置，控制器可以执行一种算法，利用眼动相机捕获的图像进行3D重建，生成用户眼睛的3D模型。眼睛的3D模型表明眼睛相对于眼动仪的3D位置，这使得控制器执行的眼动仪算法能够准确地跟踪眼睛的运动。

苹果公司的专利图13说明了一个备选的VR/AR设备（#3000）的例子，该设备包括一个眼动追踪系统，该系统具有头部里程表（#3042），该里程表检测设备相对于用户眼睛（#3092）的运动，以及眼睛里程表（#3044），该里程表在处理由眼动追踪相机（#3040）捕获的帧之间的间隔中追踪眼睛的运动。

苹果公司的专利图11是一个眼动追踪方法的流程图，其中头部里程表用于检测HMD相对于用户眼睛的移动，眼部里程表用于追踪眼睛在处理眼动追踪相机捕获的帧之间的间隔时间内的移动。

HMD：修改混合现实内容以唤起目标用户状态

早在2020年9月，苹果公司就申请了一项关于"设想工作场所和礼堂采用下一代通信系统，通过墙体向HMD提供AR/VR内容"的专利。而近日曝光的新苹果HMD专利与之前的专利有着相同的概念，如专利图6所示。

在2020年，苹果的工程师提到了"中继底座"，而在新专利中，另一个苹果团队将中继底座称为 "远程输入设备"，或在某一点上称为 "控制器"，可能是一个公司的服务器或云服务器。苹果公司的专利图6是一个示例操作架构的框图#600。

虽然与2020年的专利有相似之处，但这项新授权专利增加了几层功能。例如，在一些实施方案中，苹果公司指出，该方法包括获得与用户相关的传感器信息，其中传感器信息对应于用户的一个或多个生理测量值；使用定性情绪分类器，根据与用户相关的传感器信息确定用户的结果状态；以及至少部分地基于用户的结果状态和修改的CGR内容更新用户模型。

在一些实施方案中，用户的一个或多个生理测量值包括眼动追踪信息、瞳孔扩张直径信息、身体姿势特征、语音特征、心率、葡萄糖水平和血氧仪中的至少一个。在一些实施方案中，该方法进一步包括通过确定用户是否提供知情同意来监测与用户信息相关的一个或多个生理模式来确定用户的结果状态。