VR + 肌电传感,能在虚拟世界里体验到「拳拳到肉」?
编者注:现如今大部分都在用手柄和手套来模拟 VR 场景下人的「手」,可我们也能看到类似 Leap Montion 这种通过摄像头直接对手指进行标定和模拟的传感器,可是他们终究有个硬伤——缺乏力反馈。
力反馈作为 VR 中的沉浸式体验十分重要,但是现在并没有哪一款设备能够达到这种效果,今天大朋 VR 公司向90赫兹投稿了一篇文章,我们不妨看看它们的想法。
手势交互是一个「古老」的课题,即便 VR 在今天也是旧调新弹,但前者的研究历史要更漫长。Thalmic Labs 公司的创始人斯蒂芬表示:「我们相信这项技术能够扩展我们的能力,使我们利用自然的动作来直观地控制数字世界。」
Kinect 类交互设备满足了运动轨迹的抓取和反馈,但这类设备是基于计算机图形学理论,即便 VR 为它们提供了更广阔的想象力,人体动作输出与效果反馈之间的巨大落差,只会让体验者更加难受。(在虚拟世界握住物体,手里不会有充盈感)
力反馈该如何实现?
OYMotion 公司将目光瞄向生物电学对手势交互的优化能力。人体的动作由骨骼和肌肉配合产生,肌肉的两端肌腱附着在骨骼上,中间是肌肉纤维,神经系统发送到肌肉的控制信号最终的表现是一种电流,当肌肉纤维受到电流刺激时,产生收缩,通过肌腱带动骨骼,最终产生动作。起到关键作用的这种电流被称为肌电信号 EMG。
EMG 刺激肌腹肌肉纤维,带动肌腱牵动骨骼产生动作(示意图)
肌电信号和动作间有直接关系。手部动作的控制信号,在手臂位置可以通过生物传感器捕获。OYMotion 基于这个原理,研发了 gForce 手势环,另外,OYMotion 正和国内 VR 硬件开发商大朋 VR 联合,将把这个肌电传感技术纳入到虚拟现实设备系统中。
OYMotion CEO 介绍,在 gForce 手势环的实施中,OYMotion 将多个自主研发的肌电传感器做成环状小装置,佩戴在手臂上,以此截获手臂内多个肌肉群的肌电信号,经过一系列的信号处理,结合基于机器学习基础的模式识别算法,实现手势动作的区分,最终应用于 VR/AR 下的人机交互。手臂的姿态,例如是垂下或者是抬起,往左指或者是往右指,则通过九轴运动传感器加上姿态融合算法实现跟踪。
德国哈索普列特纳研究所 HCI(Human-Computer Interaction 人机互动)实验室也开发了一款 VR 交互设备 Impacto。玩家可以把它佩戴在手臂上体验 VR 拳击游戏,而且这个过程不会你因为屡屡战败而受到任何伤害。项目负责人 PedroLopes 提到,Impacto 结合了触觉反馈(hapticfeedback)和肌肉电刺激(EMS:ElectricalMuscle Stimulation)精确模拟实际感觉。
相比起来,Impacto 略显笨重,而且一时半会儿应该是拿不出量产计划,这一点不如 OYMotion 的手势环更有市场诱惑力。
在虚拟世界里实现「拳拳到肉」
VR 追求的沉浸感除了手势识别,另一个比较重要的部分是「我们能否在虚拟世界里自由位移」,在移动 VR 的大趋势下,这一点尤为重要。大朋 VR 研发负责人表示,gForce 手势环解锁了用户在虚拟世界里的手部动作,它将和 M-Polaris 定位系统共同组成更加完备的 VR 硬件生态系统,体验者真正能在虚拟世界里,走动,跑跳,实现更多有触感的动作。
M-Polaris 是大朋 VR 于前日公布的移动 VR 空间定位系统,采用主动光学定位技术,利用多目摄像头技术获取空间信息,配合主动发光的红外 LED 标记点,实现光线环境复杂情况下排除其他光线干扰的定位。gForce 手势环目前已经有工程版本,据 OYMotion 负责人介绍,成熟量产的时间大概在今年 Q4,大朋 VR 技术团队已经和 OYMotion 研发部门进行联合技术攻关,也许在虚拟世界里来一场拳击赛,只是时间问题了。
M-polaris 移动 VR 空间定位系统
交互功能在 VR 的概念里占据很大的比例,与感官上的沉浸感同等重要。我们从来没有停止过对人类与智能终端交互行为的研究,无论是键鼠时代,还是触屏时代,手势交互是继鼠标、键盘和触屏之后新的人机交互方式。手势交流是与生俱来的本能,在学会语言和文字之前,人类已经能用肢体语言互相交流。
肢体动作能最直接的满足我们改变环境的想法,同样,它也能最直接的满足我们对虚拟世界的想象。在视觉上,可以通过光和美术技巧来体现「拳拳到肉」的感觉,但在 VR 概念里,追求高度沉浸,就必须是真正的「拳拳到肉」。