微软研发新型立体显示器,带真实触觉反馈技术
来源:第三维度
编译:王健亨
触觉反馈技术通过触觉反馈机制模拟触觉,被形容为"犹如计算机图形反馈视觉一样反馈触觉。" 触觉反馈在电子设备中的应用已经非常普遍比如智能手机,平板电脑。点击和振动这种方便快捷的触控可以使用户更好的体验商品。听觉和视觉反馈是相当容易的而且应用程序可以利用键盘,游戏杆,方向盘控制,或者在拥有Kinect的情况下也可以通过身体来控制。然而当触觉反馈技术涉及到虚拟现实,在反馈触觉指令这一方面却存在很大的挑战。
但如何才能使使用者感觉和触摸在虚拟世界中的物体?仅一台触摸屏可以传达深度,重量,运动和形状方面的信息么?微软雷德蒙研究院(Microsoft Research Redmond)的自然互动研究组(Natural Interaction Research group)的科学家们对这一疑问予以肯定。迈克·辛克莱(Mike Sinclair),米歇尔帕胡德(Michel Pahud)和赫尔沃耶(Hrvoje Benko)通过在机器人手臂上安装多点触控,3D立体视觉显示器来研究动态触觉,发现通过运动可以增强与触摸屏的互动。
触控交互技术(Actuated 3-D Display)设有触觉反馈设备,可以提供3D物理模拟力反馈。该系统包括带有机械臂的触摸屏,3D视觉效果、力传感、深度运动运算的应用程序,支持多点触摸屏互动,有灵敏的的响应能力,而且可以平稳向前和向后运动。通过在屏幕上移动手指用户可与屏幕上的3-D对象互动而且可以体验不同的物理模型受到力之后的响应。这项技术第一次公开展览是在2013年度微软技术节(TechFest 2013),有兴趣体验这种独特的、身临其境的感受的人排了很长的队伍。
项目的应用程序包括三个虚拟3-D盒,每个模拟不同设定材料(石材,木材,海绵)的质量和摩擦力。用户可以在屏幕上推动手指直到他们遇到一个箱子,设备会随着每个箱子被推动通过力反馈模拟相应的阻力,力反馈监控通过模拟不同的材料来相应传达给用户相应的感觉。比如石头是坚硬的触感,而且需要跟多力才能推动;而海绵是软的,很容易推开。
一维的力量
辛克莱(Sinclair)说:“我一直热衷于一个观念,让机械臂代替人去操作实验。我本想可以让机械臂更自由多方位的伸展,但成本、安全性、复杂性的问题局限了这种一维运动。在这一点上,我相信一定有人已经深入研究过这种方案,但看文献后,竟然没有一个人这样做”这也证明了机械臂的电枢运动被限制在一维运动内。Z轴的应用程序能够对被触碰的物体进行形状的检测和类型的辨别,可以为人们提供很有价值的数据分析。
帕胡德(Pahud)说:“轮廓检测是该项目的一个重要组成部分。但问题是他仅仅由一个粗制的2-D的触摸屏和只能在一维方向移动的机械臂构成,而且他的移动设备只支持沿着轨道前进或后退。通过这样简陋的设备很难让正常触感的使用者识别被触摸对象的类型。"
为了确定设备是否能够精准的模拟物体轮廓,应用程序向用户呈现两个距屏幕不同距离的刚性形状的物体:杯子和球。通过用户的触摸指令可以改变物体与屏幕的距离,团队现在已经能够模拟3-D物体的表面轮廓。另一种操作模式是设备响应相反的力反馈信号,可以认为是在屏幕上设置了无穷大的阻力,相当于把模拟的物体定在了屏幕上,以便于用户可以沿着3-D物体的表面感受其轮廓。帕胡德(Pahud)解释说:“设备可以一直感受你手指的运动,随着你手指的运动,立体视觉可以与你的感官结合。只要我们不断更新画面,做到准确的捕捉就能使你的手指感知到他们的深度,让你的大脑体验更真实的虚拟世界。
将这个实验更进一步,团队蒙住眼睛,目标是看能否单独通过触觉来识别物体的形状。辛克莱(Sinclai)说:“他们看不到任何东西,而且被测试的都是一些很简单的物体。我们事先就知道对于复杂的对象这种做法是行不通的,但对于一些特定的复杂对象如金字塔、楔子、气缸,会得到意想不到的效果。这也是该项目带来的最大的惊喜!"
帕胡德(Pahud )的赞同观点:
在这种测试中,看到很多人能够识别出物体的形状给我留下了很深刻的印象,甚至有一些项目是100%正确的。这绝对是一个惊喜。该项目证明,只带有一个低带宽数据渠道的手指是可以识别模拟模型的表面轮廓的。低带宽是一个简单实用的功能,通过手指,用户一次只接触一个点,然而随着手指移动就能点动成线、成面,产生做够的触觉反馈而且接收了足够的信息来识别物体的形状。
闲置力的作用:
触觉反馈技术,是一个带有触觉反馈的项目。用户可能不会注意到它的一个特点,但这个特点是其功能中必不可少的:一个恒定的闲置力量的实施。“这是一个跟随阻碍手指推动的非常轻量级的力,并有保持数据传输的功能。起初,你感觉好像碰到了墙面,但你可以在很短的时间适应他,因为它提阻碍手指的力只有几盎司。由于只有用户的的手指与触摸屏表面保持接触才会有交互作用,所以这种模式最大的挑战是无论手指向任意方向移动 靠近还是远离用户,指尖都需要保持与屏幕的接触。由于这个微小的力,屏幕可以响应手指的移动而进行深入浏览。无论正向还是反向,只有触摸力超过闲置力程序才会接受到指令,比如当你的手指与触摸对象发生相互作用时。
该小组还推行了四个额外的命令模式:力量,速度,位置,和制动,闲置力的增强位置取决于手指位置和应用的要求。例如,在制动模式下向控制器制定一个特定的位置,就能使屏幕保持在恰当的位置,从而有效的抵消了闲置力。通过增加一个短暂的阻力为用户传达了一个触觉信号,就像无线拨号时的感官感受一样,只是这种“拨号”没有声音而已。这种模式在拓展数据容量方面有很大的作用。
通过触摸探索数据信息
从这项工作的最初讨论中,帕胡德(Pahud )就设想了一种大脑,准确的说是通过数据构成的大脑的三维图像。他说:“我可以制造面向用户的脑图像,通过手指层层穿过大脑的三维图像我们可以收集关于大脑的数据信息。我可以预料得到当你遇到一个异常(如肿瘤)会产生触觉反馈。因为这是我们事先设定好的,我们可以设定你触碰到不同事物时对应不同的触觉反馈。当你触摸软组织或硬组织,你会有不同的感受,这就可以让你从中积累丰富的经验。”
相比于其他适用于3D场景的应用程序,探索数据的应用程序演示了运动和触觉是如何增强了二维数据交互的。帕胡德实施的医疗图像浏览器显示了人脑的MRI扫描数据。让手指在在屏幕上轻轻推动,用户可以通过触摸与大脑图像的不同切片之间进行数据信息交互。大脑浏览器不仅仅是通过触摸来探索数据。他的原型是为了演示触摸互动被部署的位置和起到的作用。例如,如果用户对一个特定的切片很感兴趣,希望下次能够找到那个点,就可以用另一只没用指令功能的手指按住屏幕上的一个按钮并沿着屏幕的左侧或右侧划过来锁定屏幕。随着屏幕锁定,用户可以在图像的一侧绘图或添加注释来标记切片。
为了便于搜索和检查被注释的切片,这个过程通过触觉反馈控制器对切片进行了标记。当用户的手指划过被标记的切片时,无论是接近还是离开,触觉制动器都会提供给用户触觉性的提醒,来告诉用户这张切片在之前被标记注释过。用户可以不理会触觉提醒继续移动手指,但触觉制动器已经完成其工作,它使得你可以更容易的通过触摸和肉眼的视觉效果找到被标记的切片。
毫无疑问,通过触觉反馈的方法创建了一个可以扩展触摸屏互动的新模式。帕胡德(Pahud)和辛克莱(Sinclair)在这种类型的触觉装置上看到了很多的机遇。辛克莱说,“不仅仅是3-D游戏,在3-D建模,教育和医疗等方面我们都需要预期改善,我们可以改善模拟物体的质感或其他性质,使得其提供更清晰的图像和更详细的触觉反馈。"