Apple Vision Pro 欧洲专利曝光,深入探讨3D“无限画布”UI
上周,苹果公司推出了他们革命性的XR空间计算头显Apple Vision Pro。而近日,苹果公司在欧洲申请的一项关于该设备的专利曝光。
苹果公司在专利中指出,XR环境是指完全或部分模拟的环境,人们通过电子设备感知和/或与之互动。例如,XR环境可以包括AR内容、MR内容、VR内容和/或类似内容。通过XR系统,一个人的物理运动或其代表的子集会被追踪,并且作为回应,在XR环境中模拟的一个或多个虚拟物体的一个或多个特征以符合至少一个物理定律的方式被调整。
作为一个例子,XR系统可以检测头部运动,并作为响应,以类似于此类视图和声音在物理环境中的变化方式,调整呈现给人的图形内容和声场。作为另一个示例,XR系统可以检测呈现XR环境的电子设备(例如,手机、平板电脑、笔记本电脑等)的运动,并作为响应,以类似于这种视图和声音在物理环境中变化的方式调整呈现给人的图形内容和声场。在某些情况下(例如,出于无障碍的原因),XR系统可以根据物理动作(例如,发声命令)的表现,调整XR环境中的图形内容的特征。
有许多不同类型的电子系统,使人能够感知和/或与各种XR环境互动。例子包括头戴式系统、基于投影的系统、平视显示器(HUD)、具有集成显示能力的车辆挡风玻璃、具有集成显示能力的窗户、戴在人的眼睛上的镜片显示器(例如,类似于隐形眼镜)等等。
头戴式系统可包括一个或多个成像传感器,以捕捉物理环境的图像或视频,和/或一个或多个麦克风,以捕捉物理环境的音频。头戴式系统可以有一个透明或半透明的显示屏,该显示器可以有一个媒介,通过这个媒介,代表图像的光线会被引导到用户的眼睛。
苹果公司的头显设备#105可包括一个或多个摄像头,例如可见光摄像头、红外摄像头等。它还将包括各种传感器,包括但不限于摄像头、图像传感器、触摸传感器、麦克风、惯性测量单元(IMU)、心率传感器、温度传感器、激光雷达传感器、雷达传感器、声纳传感器、GPS传感器、Wi-Fi传感器、近场通信传感器等。
此外,头显可包括接收用户输入的硬件元件,如硬件按钮或开关。由这种传感器和/或硬件元件检测到的用户输入对应于各种输入模式,用于与给定XR环境中显示的虚拟内容进行互动。例如,这种输入模式可以包括但不限于面部跟踪、眼球跟踪(如凝视方向)、手部跟踪、手势跟踪、生物识别读数(如心率、脉搏、瞳孔放大、呼吸、温度、脑电图、嗅觉)、识别语音或音频(如特定热词),以及激活按钮或开关等。
苹果公司的专利图2说明了一个XR环境的示例,包括多个用户界面,由XR头显(Apple Vision Pro)显示,出现在物理环境中的多个相应位置。
苹果专利图3展示了苹果专利图2的不同三维视图,以说明真实和虚拟组件的分层,在Apple Vision Pro内呈现一个完整的AR视图。
根据苹果公司的说法,对于每个UI(例如,每个底层应用程序),头显都会分配一个边界,该边界定义了物理环境#200的部分,其中包括距离头显较远的位置,在该位置,UI似乎会被显示出来(例如,在该位置,显示器#230使UI被头显的用户感知,即使在感知/可见的位置可能没有物理显示)。
苹果公司的专利图4说明了Apple Vision Pro头显的一个系统进程如何控制各种应用程序对场景信息和/或用户信息的访问。
苹果公司的专利图7说明了一个XR环境的示例,其中显示的UI是显示器的唯一UI,根据一个或多个实施方案,该UI包括一个有界的二维UI窗口、一个有界的部分三维UI窗口和一个有界的三维部分。
更具体到图7,苹果的头显已经确定所显示的UI内容与火星有关,并根据所显示的UI内容修改了二维UI窗口#700、部分三维UI窗口#704和有界三维UI窗口#726的边界之外的可视区域#207的一部分(例如,显示增强的#708,在可视区域#207上显示一个对应于火星的红色半透明背景)。
苹果公司的专利图13说明了一个用于操作跨平台VR应用程序的示例架构的框图。
苹果公司的专利图14说明了一个用于操作第三方应用程序的示例架构框图。
苹果公司早在2022年12月就申请了这项专利,近日在欧洲以编号#WO2023102139公布。