苹果新专利:扩展在Vision Pro中创建用户逼真虚拟人形象的注册流程
2024年1月,苹果发布了一项专利揭示Vision Pro为FaceTime通话+创建逼真3D虚拟人形象的注册流程细节。近期,美国专利商标局正式授予苹果一项新专利,主要是扩展了在Vision Pro中创建用户逼真虚拟人以用于Facetime的注册流程。
苹果表示:“因为用户佩戴Vision Pro之后眼睛被遮住了,所以我们设计了一个系统,利用先进的机器学习技术,让用户在Facetime中的形象更加逼真。虚拟人角色会动态地反映用户的面部和手部动作,在聊天时,人们会看到用户的眼睛、手和真实表情。”
在苹果的专利背景中,他们指出现有的技术可能无法准确或真实地呈现电子设备用户当前(实时)的外观。例如,设备可能会根据几分钟、几小时、几天甚至几年前获得的用户面部图像提供用户的虚拟形象。例如,当用户微笑时,用户的头像不会显示为微笑,或者不会显示用户当前的胡子。因此,最好能提供一种方法,有效地呈现更准确、真实和/或当前的用户表征。
苹果的新专利涵盖了设备、系统和方法,这些设备、系统和方法可生成一组值,这些值代表用户面部在某个时间点的3D形状和外观,用于生成逼真的用户表示(如虚拟人形象)。
本专利中公开的各种实施方案包括调整用户第一部分(如手)的3D表示的颜色的设备、系统和方法。使用用户第二部分(如脸部/头发)的3D表示样本来调整颜色。
一般来说,本专利所述主题的一个创新方面可以体现在以下方法中:在设备的处理器中,获取用户至少第一部分的预定三维(3D)表示,其中预定三维表示与相对于用户骨骼表示定义的三维参考点相关联;获取对应于一段时间内多个瞬间的特定帧三维表示序列、 每个特定帧的三维表示都表示用户在一段时间内的多个时刻中的各自时刻的第二部分,并且每个特定帧的三维表示都与三维参考点相关联,以及生成用户在一段时间内的多个时刻的组合三维表示,其中每个组合三维表示都是通过将预定三维表示与基于对齐的各自特定帧的三维表示组合而生成的,其中对齐是基于三维参考点的。
可以说,这是一项技术性很强的专利。若想要探索更多细节,请查看苹果的专利11908098。