近日，美国专利商标局正式公布了苹果公司的一系列共63项新授权专利。在其中，有一份专利涉及在真实环境的视图中表现虚拟物体的方法和系统。

苹果公司专利11,182,961涉及一种在真实环境的视图中表现虚拟物体的方法和系统，该方法包括提供由相机捕获的人脸图像部分的第一图像的图像信息，提供至少一个人脸的特定特征，确定第一图像中人脸的图像区域为人脸区域，根据人脸区域和至少一个人脸的特定特征确定至少一个落在人脸上的第一光线，并根据至少一个第一光线在真实环境视图中的显示设备上融合虚拟物体。

该方法进一步包括提供多个人脸样本位置，为多个人脸样本位置中的每一个提供辐射度转移函数，确定第一图像中人脸样本位置的图像位置，并根据与第一图像中人脸样本位置的图像位置相关的强度信息以及与第一图像中人脸样本位置相关的辐射度转移函数确定第一光线。

苹果公司的专利图1说明了在图像中捕捉用户面部的方法，以及一般的设置；图4显示了差分渲染的步骤。

更具体地说，苹果公司的专利图4说明了一个差分渲染步骤，该步骤可用于根据照度估计步骤中确定的至少一个第一光线，在真实环境的视图中混合显示设备上的虚拟物体。

基于替代现实世界场景中受虚拟内容添加影响的三维几何和材料部分的代理对象#401，渲染了两个全局照明方案。第一个是代理对象（#401）在真实世界的估计照明条件（#402）下的单独图像（#403）。

第二张是代理物体在现实世界的估计照明条件#402下的图像#404，代理物体的照明受到虚拟物体的影响，例如虚拟眼镜#405。图像#404包含代理物体和虚拟物体组合场景的阴影和光的相互反射，例如来自真实场景的阴影#407，以及从虚拟物体投射到真实场景的阴影#406。

从第二幅图像中减去（步骤#408）第一幅图像#403，这样得到的图像#409只包含两个方案之间的照明差异，例如由虚拟物体引入的阴影区域#410，但不包括那些阴影区域#411，这些阴影区域之前已经被阴影化。