我的订单|我的收藏|我的商城|帮助中心|返回首页
虚拟现实新闻>厂商>厂商动态>官方动态

谷歌新专利:基于雷达的新型“Soli”解决方案,可识别手势以控制用于HMD的谷歌OS

文章来源: 作者:frank 发布时间:2023年12月19日 点击数: 字号:

在苹果公司宣布推出Vision Pro后,谷歌、高通和三星就开始紧锣密鼓地为基于安卓的操作系统以及芯片和硬件构建一个新的生态系统,以便与苹果公司的Vision Pro竞争,从而避免苹果公司在 2024 年及以后主导这一领域。该联盟于 2023 年 1 月匆忙宣布成立。

随后在6月底,谷歌关闭了他们的智能眼镜团队,即“Iris”,以免被开发下一代XR头显的安卓合作伙伴视为硬件竞争对手。

虽然谷歌关闭了智能眼镜团队的硬件部门,但这并不意味着他们的相关知识产权就会凭空消失。谷歌要么会把与XR/VR相关的专利卖给合作伙伴,要么就会把他们开发的概念转化为他们尚未公布的XR/VR操作系统的功能,该操作系统将在2024年(或更晚)的某个时间点出现在HMD上。

苹果Vision Pro的杀手锏之一是使用简单的手势来与VisionOS进行交互。内置在头显底部区域的摄像头能够读取特定用户的手势,以移动物体、滚动网页、点击图标打开应用程序等。

如果智能眼镜集成摄像头,就会显得过于笨重,因此谷歌的工程团队决定使用一种“Soli”雷达技术来帮助用户。用户的手势可以被智能手表解读,然后智能手表可以向智能眼镜操作系统发送信号/命令,实现与智能眼镜操作系统的交互,如点击图标打开应用程序、滚动网页等。

根据检测到的手腕肌肉运动进行手势识别

谷歌的专利背景资料指出,一些AR和VR系统将用户的手势解释为与虚拟对象交互的指令。按照这种思路,一些AR和VR系统中使用的电磁辐射发射器和接收器可以跟踪手、手臂、手腕或其他身体部位的运动,从而形成手势。这些动作可以在运行AR或VR系统的处理器中表示为接收器在接收到来自发射器的辐射并反射到身体部位后产生的波形。

传统AR和VR系统中使用的发射器包括可穿戴设备和肌电图(EMG)设备。然而,EMG设备通常也非常笨重,校准起来非常麻烦,而且可能对接触过于敏感。此外,这些传统系统可能会暴露用户的个人身份信息 (PII),并耗费过多的系统功率。

与解决上述技术问题的传统方法不同,谷歌专利中描述的技术方案包括使用微米分辨率雷达传感器检测用户手腕内侧肌肉运动并对其进行分类。

例如,AR系统的用户可以在手腕上佩戴手环或智能手表。当用户做出手势操纵 AR 系统中的虚拟对象(如HMD)所示)时,用户手腕上的肌肉和韧带会做出 1-3 毫米的微小运动。

腕带包含一个小型雷达装置,该装置的芯片(如Soli芯片)上有一个电磁辐射发射器和若干个接收器(如3个);该芯片距离手腕很近。由于发射器的电磁辐射的波长较小,如毫米波,因此可以检测到这种微小的移动。

此外,电磁辐射以啁啾频率调制连续波(FMCW)的形式发射,每个脉冲串约有 30 个啁啾,起始频率约为 60 千兆赫,带宽约为 4.5 千兆赫。这种辐射在手腕肌肉和韧带上反射,并被芯片上的接收器接收。接收到的反射信号或信号样本随后被发送到处理电路进行分类,以将手腕动作识别为手势。识别出手势后,AR 系统就会执行虚拟物体操纵操作,根据手势操纵虚拟物体。

谷歌专利图 1 是一个示例场景图,涉及使用腕带检测手腕肌肉微动作的 AR 系统用户;图 1B 是一个示例配置图,说明了 FMCW 雷达与人的手腕进行交互的情况。

谷歌专利图 2 是示意图,说明了用于实现谷歌专利中所述技术解决方案的示例电子环境;图 4 是流程图,说明了根据该技术解决方案校准麦克风阵列的麦克风的示例过程。

  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料