体验LeapMotion手势追踪,在VR世界里拈花不再是梦
LeapMotion 在积蓄了很久后,正式发布了为 VR 而生的手势追踪开发套件 Orion。Orion 据称可以实现完整十指追踪,识别角度、有障碍物、背景混乱和灯光环境出现异常时,仍能够进行准确的手势追踪。今天,小编有幸收到 Leap Motion 的邀请,亲自体验了 Orion,并与 Leap Motion 联合创始人兼 CEO Michael Buckwald 进行了交流。
Orion 性能与体验
Leap Motion 执行助理 Caleb Kruse 先生首先演示了两个 Demo。
第一个 Demo 是连接 PC 的 LeapMotion 演示。Kruse 为我们展示了拈花指法:画面中显示的是一朵花,通过 Leap Motion 映射到虚拟世界中的手,用大拇指和食指可以摘取一片花瓣,或者从茎处摘取整朵花。
第二个 Demo 是连接 Oculus 的 Leap Motion 演示。Kruse 演示了基于 Orion 在虚拟世界中,用双手创建盒子,抓取盒子堆积木,抛接盒子等动作,整个过程流畅自然,与 Leap Motion 官方发布的宣传视频几乎是一样的。
Kruse 演示后,小编亲自体验了连接 Oculus 的 Demo。Demo 中可以做的事情和演示视频是一样的,我们重点尝试了 Orion 的各个方面,有几点发现:
- 正常双手展开的各种条件下,由于刷新率达到了 120HZ,对双手的追踪延时很小,几乎可以理解为同步。
- 大拇指藏在手掌中、握拳、手掌垂直于脸、双手交叉握在一起的几种特殊情况下,可以正确地识别出手指位置。但是在握拳、手掌垂直于脸的情况下,伸出单个手指还是有错误的情况发生。
- 双手放在橙色的桌子上,可以准确地识别到手,没有飘移或跳动;
- 在戴着 Oculus 平视的条件下,在大臂垂直,小臂水平这个高度左右,依然可以识别出双手。这主要是由于 Orion 支持的视场角达到了 150 度。
- 双手在面前重叠时,离眼睛较远的手会消失。这点很好理解,看不见了当然无法识别出来。
- 手以握的姿势抓取盒子可以比较好的识别。大拇指、食指、中指 3 只手指可以捏取盒子,双手合抱盒子也可以,抛接盒子也能做到,纯大拇指和食指捏取盒子还不行。
- 总体来说,除了手指重贴度很高的个别情况,多数情况下的手运动都可以正常追踪,也很流畅,并可以实现抓取,抛接等动作,感觉就像是能看到自己的实际手差不多。
与CEO Michael Buckwald的交流
体验完后,我们也就关心的几个问题与 Leap Motion CEO Michael 进行了交流。
问:Orion 与原 Leap Motion 硬件兼容性如何?
答:Orion 的更新主要在软件和算法层面,使用的还是原来的硬件设备。原 Leap Motion 设备拥有者下载新的固件和开发包就可以。以后也会考虑更新硬件。
问:Orion 里双手与物体交互部分是 Leap Motion 开发的,还是 Unity 引擎自带的?
答:Orion 由双手追踪引擎和互动引擎两部分组成。互动引擎基于物理引擎开发,对于识别抓取这类动作设计了相应算法并封装,供开发者使用,开发者不需要自己想办法进行碰撞检测来判定抓取这类交互动作。互动引擎部分会在不久后放出。
问:长时间使用手作为交互,会不会胳膊导致很累?
答:人在正常说话时,经常也会不自觉地使用很多手势,并不会觉得累。所以这里面的关键在与应用的设计,使得手的动作幅度不大,而且足够自然的情况下,应该不会感觉到累。Orion 识别的精度足够高,微小动作也可以很好识别,应用设计者可以避免动作幅度很大的交互动作。
问:输入方案中,Oculus、HTC Vive 等目前使用的都是手柄,Orion 的双手输入跟手柄输入是替代关系么?
答:对于玩射击游戏,最合适的输入还是仿真枪,玩赛车游戏,最合适的输入是方向盘,Oculus 的手柄也有其适用的场景,但要实现精细的人手动作,如抓、推等动作,或者在飞机上等很多场景下,更合适的是 Orion 的双手追踪方案。
问:Leap Motion 最初作为 PC 输入外设面世时,外界关注度很高,但公司最终达到人们预期的革命性高度,如今基于 VR 的 Orion 是否会重复这样的过程?
答:之前作为 PC 外设时,人们用电脑主要从事的还是上网等 2 维的活动,Leap Motion 作为 3 维输入方案与之并不匹配,而且人们使用鼠标键盘的习惯已经延续了很多年,轻易难以改变。而在 VR 时代,显示本身就是 3 维的,与 Leap Motion 的 3 维输入刚好匹配。而且,VR 现在才刚刚开始,伴随着 VR 的慢慢普及,可以让人们从开始就适应 3 维的输入。
问:Leap Motion 在 VR 方面后续的主要策略如何?
答:Leap Motion 正和某家 OEM 厂商合作,打造 Orion 专用的头显。 未来把 Leap Motion 硬件做成模组嵌入头显中也是一个主要方向。Orion 本身主要靠授权收费。移动式头显方面,也考虑和一些厂商合作,比如中国厂商,中国制造业产业链完整,优势更大些。
问:如何看待同类产品的竞争?
答:Leap Motion 是目前唯一完整追踪 10 个手指的方案,效率等各方面都有明显优势。双手追踪整体上还处于比较早期的阶段,也非常乐意看到与友商们一起推动双手追踪方案的普及。
文章来源:36kr