苹果新专利曝光:未来HMD或将配备3D虚拟视图投影仪
今天,美国专利商标局正式授予苹果公司一项专利,该专利涉及一个未来的混合现实系统,该系统包括一个头戴式显示器(HMD),提供用户环境的三维虚拟视图,并以虚拟内容对现实环境进行了增强。
苹果公司这项与HMD相关的授权专利涵盖了混合现实系统的实施方案,该系统可包括一个混合现实设备,如头显、护目镜或眼镜(在此称为头戴式显示器HMD),该设备包括一个投影机元件,用于向用户的眼睛投影或显示包括左右图像的帧,从而向用户提供3D虚拟视图。
3D虚拟视图可以包括用虚拟内容(例如,虚拟物体、虚拟标签等)增强的用户环境视图。混合现实系统可以包括面向真实世界的传感器和面向用户的传感器,前者收集关于用户环境的信息(例如,视频、深度信息、照明信息等),后者收集关于用户的信息(例如,用户的表情、眼球运动、手势等)。
传感器将这些信息作为输入数据提供给混合现实系统的控制器。控制器可以至少部分地基于来自现实世界和用户传感器的输入,渲染包括虚拟内容的帧。控制器可以集成在HMD中,或者至少部分地由HMD外部的设备来实现。
HMD可以显示由控制器生成的帧,以提供包括虚拟内容和用户环境视图的3D虚拟视图,以供用户观看。
在一些实施方案中,传感器可以包括一个或多个摄像头,这些摄像头捕获用户环境的高质量视图,可用于向用户提供其真实环境的虚拟视图。
在一些实施方案中,可以包括一个或多个传感器,这些传感器捕捉用户环境的深度或范围信息。在一些实施方案中,这些传感器可以捕获关于用户在环境中的位置、方向和运动的信息。
在一些实施例中,传感器可以包括一个或多个摄像头,这些摄像头可以捕获用户环境中的照明信息(例如,方向、颜色、强度),可以用于在虚拟视图中渲染(例如,着色和/或照明)内容。
在一些实施例中,传感器可以包括一个或多个跟踪用户眼睛位置和运动的传感器。在一些实施例中,传感器可包括一个或多个跟踪用户的手、手指和/或手臂的位置、运动和手势的传感器。
在一些实施方案中,传感器可以包括一个或多个跟踪用户的眉毛/前额表情的传感器。在一些实施方案中,传感器可包括一个或多个跟踪用户嘴/下巴表情的传感器。
苹果公司的专利图1说明了一个混合现实系统;图2A到2C说明了头戴式显示器(HMD)面向现实世界和面向用户的传感器。
欲了解更多细节,请查阅苹果公司的授权专利11,217,021。