HoloLens通过语音导航和环境识别,为视障者提供行动能力
微软HoloLens能够快速感知周围的环境,这令人印象深刻,但仅限于显示电子邮件或游戏角色,缺乏创造力。最新的研究表明,HoloLens在作为视觉障碍者的视觉假体方面效果非常好。不是传递实际的视觉数据,而是通过音频提示和指令实时引导他们。
加州理工学院和南加州大学的研究人员认为,目前恢复视力根本不是一个现实的目标,而替换视觉感知部分并不一定需要从视觉方面入手。毕竟,如果能说出椅子的位置,你无需视觉支持就可以避开它,不是吗?
捣鼓视觉数据并生成高阶特征地图是HoloLens的核心功能之一,所以研究团队决定令设备专注于这一点,并且为用户重新创建环境。
他们围绕声音设计了一种系统,其中每个主要对象和功能都可以通过语音或声效告诉用户它们的位置。例如当用户接近墙壁时,它们将发出嘶嘶声。用户可以扫描场景,然后对象将从左到右地宣布自己的位置。用户可以选择一个对象,并重复其语音或声效,从而帮助用户发现它的位置。
对于在朋友家寻找手杖或沙发这样的静态任务而言,设备的运行效果十分出色。但值得一提的是,系统同时支持运动模式。
团队邀请了7名盲人进行测试。研究人员首先向他们进行简短的介绍,但没有提供培训,然后要求他们完成各种任务。用户能够可靠地定位并指向提供音频线索的对象,而且通常情况下能够迅速在房间中找到椅子,同时可以轻松避免障碍物。
他们接下来的任务是按照头显说明从建筑物的入口导航至二楼的房间。一个“虚拟向导”将在前方数英尺远的位置反复说出“跟我来(follow me)”,然后在楼梯,楼梯扶手等位置发出警告。
7名被试在首次尝试就顺利到达重点,而且用时比正常情况下短。研究人员在论文中指出,其中一名被试说道:“这太有趣了!我什么时候才能买到呢?”
实际上,微软在多年前就开始对这方面进行研究,但当时并不存在所需的硬件。HoloLens改变了这一点。尽管它明显适合正常视力人员使用,但HoloLens的能力可以满足这里描述的视觉假体要求。
有趣的是,研究人员指出30年前就已经有人预测过这种类型的系统。富有远见的C.C. Collins早在1985年写道:“我坚信我们应该采取更复杂的方法,利用人工智能的力量处理大量详细的视觉信息,然后取代眼睛的缺失功能以及大脑所进行的大部分视觉预处理。”
这种系统的潜力十分巨大,但该项目目前仅仅只是原型。随着HoloLens等系统变得更轻和更强大,它们将成为美观时尚的日用物品。我们不难想象,视力障碍者在酒店或商场将能轻松找到自己的目标位置,甚至能够安全地行走在大街上。
研究人员写道:“到目前为止,我们预计读者在提高认知假体方面已经有了自己的建议。现在有一个硬件/软件平台可以快速实施这些想法,并用人类被试测试它们。我们希望这可以促进发展,增强人们对盲人和视力障碍人群的认识,并且利用增强的听觉现实来传达我们无法知觉的一切。”