Facebook EMG腕带及贴片专利曝光:可检测用户生理数据并在AR环境中提供互动反馈
近日,美国专利商标局公布了Facebook一项专利,该专利支持他们此前曝光的手腕设备,主题为 "可穿戴电子设备和扩展现实系统,包括神经肌肉传感器"。
该发明的技术涉及检测和解释神经肌肉信号的系统和方法,用于在增强现实(AR)环境以及其他类型的扩展现实(XR)环境中执行动作,如虚拟现实(VR)环境、混合现实(MR)环境,等等。
可穿戴的EMG传感器腕带
Facebook的专利图8A说明了一个可穿戴系统,该系统有多个传感器(#810)周向排列在一个弹性带(#820)周围,从结构上看可穿戴在用户的下臂或手腕上。这些传感器可以是神经肌肉传感器(例如,EMG传感器)。如图所示,可能有16个传感器以规则的间距围绕弹性带周向排列。
可穿戴系统(如臂带、腕带、大腿带等)可用于产生控制信息,以控制机器人、车辆、滚动文本、虚拟化身和/或执行任何其他合适的控制任务。
在一些实施例中,传感器可以只包括一组神经肌肉传感器(例如,EMG传感器)。在其他实施方案中,传感器可以包括一套神经肌肉传感器和至少一个辅助设备。辅助设备可被配置为连续感应和记录一个或多个辅助信号。
辅助设备的例子包括但不限于IMU、麦克风、成像设备(例如照相机)、用于辐射生成设备(例如激光扫描设备)的传感器、心率监测器以及其他类型的设备,它们可以捕捉用户的状况或其他特征。
如图8A所示,传感器可以使用纳入可穿戴系统的柔性电子器件(#830)耦合在一起。图8B是图8A中所示的可穿戴系统的一个传感器的横截面图。
Facebook的专利图10示意性地展示了一个使用EMG传感器和摄像头的实施例。例如,图10显示了用户的手臂和手#1010,它是由一个或多个关节和节段组成的,它可以被描绘成肌肉骨骼的代表。
更特别的是,用户的手(#1020)是由关节连接的。手臂和手的位置和节段长度可以由系统1000确定,并在肌肉骨骼模型的三维空间内定位。此外,用户的手还可以包括一个内插的前臂段(#1030)。
Facebook的工程师进一步指出,由多个神经肌肉传感器获得的神经肌肉信号和由相机捕获的图像可用于确定用户对物理对象施加的力。神经肌肉信号数据和辅助传感器数据(例如,照相机数据)可以以任何合适的方式结合起来,以确定用户与物理对象互动有关的信息,在这方面,本实施方案不受限制。
在实施例中,用户与物理对象互动信息的反馈会被提供给与该物体互动的用户。例如,基于AR的系统可以在AR环境中向用户提供反馈(例如,视觉反馈、听觉反馈、触觉反馈)。
在AR环境内,视觉反馈可以以任何合适的方式提供给用户。例如,正在与用户互动的物理对象可以改变颜色或发光,表明用户正在与该对象进行互动。
另外,反馈可以使用独立于物理对象的视觉指示器来提供。例如,在AR环境中可以显示一个图标或其他视觉指示器,显示正在与用户互动的对象的互动模式(例如,画笔模式)。
在一些向用户提供反馈的实施方案中,可以使用非视觉形式的反馈,如提供听觉或触觉反馈。例如,反馈可以指示用户,正在与之互动的物理对象可能具有增强的属性或功能,这些属性或功能可能无法在普通现实世界中通过与这些对象互动而获得。
可穿戴的EMG传感器贴片
Facebook专利的另一个方面涵盖了可穿戴贴片形式的EMG传感器的一种调和应用。在一些实施方案中, #110可以包括多个传感器,并且多个传感器中的一部分可以被安排成为可穿戴设备,其结构是穿戴在用户身体的某个部位或周围。
或者,一部分传感器可以被安排在一个可穿戴的贴片上,其结构是贴在用户身体的一部分。图6A-6D显示了各种类型的可穿戴贴片。
Facebook的专利图6A显示了一种可穿戴贴片(#62),其中电子传感器的电路可以印在柔性基材上,该基材可以贴在用户手臂上,例如,靠近静脉以感知用户的血流。该可穿戴贴片可以是一个RFID类型的贴片,它可以在外部设备的询问下以无线方式传输感应到的信息。
Facebook的专利图6B显示了一种可穿戴贴片(#64),其中的电子传感器可以被整合到一个基底上,该基底的结构是佩戴在用户的额头上,例如,测量汗液的湿度。可穿戴贴片(#64)可以包括用于无线通信的电路,或者可连接到电缆的连接器,例如,连接到头盔、头戴式显示器或其他外部设备的电缆。
可穿戴贴片也可以贴在用户的前额上,或者通过头带、头显等固定在用户的前额上。
Facebook的专利图6C显示了一种可穿戴贴片(#66),其中电子传感器的电路可以印在基板上,该基板可以粘附在用户的脖子上,例如,在用户的颈动脉附近,以感知流向用户大脑的血液。可穿戴贴片#66可以是一个RFID类型的贴片,也可以包括一个结构上可以连接到外部电子设备的连接器。
图6D显示了一种可穿戴贴片#68,其中电子传感器可以被整合到一个基底上,该基底可以佩戴在用户的心脏附近,例如,测量用户的心率或测量流向/来自用户心脏的血液。
无线通信不限于RFID技术,还可以采用其他通信技术。另外,正如可以理解的那样,传感器#110可以被安装在其他类型的可穿戴贴片上,其结构可能与图6A-6D所示的贴片不同。