AdHawk推MEMS眼动追踪技术,无需摄像头、可用于轻型AR/VR设备
眼动追踪已成为增强现实和虚拟现实系统的重要组成部分,但是使用摄像头进行眼动追踪非常昂贵。因此,创企AdHawk Microsystems正在研发使用无须摄像头的眼动追踪技术。
AdHawk的MindLink技术使用微机电系统(MEMS),这是处理机械功能的微型芯片。该公司首席执行官Neil Sarkar在接受采访时表示,AdHawk的MEMS将带来可与AR眼镜或VR头戴设备集成的轻便可穿戴式眼动追踪技术。该公司已将传感器内置到自己的眼镜原型中,研究人员可以很快开始使用它们。
与安卓设备或PC绑定的原型眼镜现已开始预售。Sarkar表示,AdHawk系统能够全天候佩戴,外形类似传统眼镜,比竞争产品更快、更轻、更省电,同时可以提供高度准确的医学级数据。AdHawk的想法是要释放眼睛、大脑和我们周围世界之间的联系。
高质量的数据使研究人员能够研究焦虑、认知负荷、阅读问题、ADHD、脑震荡、癫痫病以及阿尔茨海默氏病和帕金森氏病的早期适应症和进展情况。
AdHawk的AR眼镜原型
Sarkar于2017年在加拿大安大略省基奇纳市创立了AdHawk Microsystems。他具有芯片工程师的背景,并在研究生院学习了MEMS相关知识。他研究的传感器具有可以在亚纳米级的精度下运行的执行器,并且可以扫描用户眼睛中的光束。他在Intel Capital的资助下成立了这家公司。
Sarkar说:“有了我们这种眼动追踪解决方案,就不再需要任何摄像头或任何重型处理。实际上,您可以以很低的延迟、很少的计算量来进行高速度运行。因此,[它]不需要太多电源。这使其非常适合用于AR和VR产品。”
该公司在2019年从三星风险投资公司、惠普、依视路国际、索尼创新基金、英特尔投资,Brightspark Ventures和硅谷银行获得了投资。
AdHawk通过实现更快的游戏、更有效的培训和轻松的用户界面来增强AR和VR的沉浸式体验。该公司现在正在增强其眼动追踪技术,以进行临床研究,因为传统做法需要依靠眼动的定性测量来作为神经系统健康的指标。
“今天,我们真的将自己视为一个全栈眼动追踪解决方案提供商,因为我们公司可以处理从嵌入式系统到使用眼动追踪应用程序的所有内容,” Sarkar说道。
目前AdHawk共有35名员工,并采用无晶圆厂半导体模型,这意味着它设计了组件并由承包商负责制造。
Sarkar说道:“我们一直在将眼动追踪解决方案集成到VR和AR头戴设备等产品中。但是由于时间紧迫,对于某些将要发售的产品,我们不想被受到制造商的限制,为了让我们的技术早日见到光明,我们决定只发布自己的产品。这就是MindLink的意思:具有眼动追踪功能的轻巧眼镜。”
AdHawk Microsystems使用MEMS来测量眼睛运动
AdHawk表示,其用超紧凑型MEMS取代了相机,从而消除了耗电的图像处理,将速度和能源效率提高了两倍(与其最接近的竞品相比)。一旦患者戴上AdHawk MindLink眼镜,他们便会启动该应用程序并点击“开始跟踪”。根据AdHawk的说法,该系统可以在眼睛注视前最多20毫秒准确地预测用户下一步将要看的位置,并且每秒可以捕获500次注视,且准确性要高出一级。
Sarkar说:“光束一旦入射到眼睛的一部分,就会将其反射到光电探测器上,我们就会收到一个脉冲。有时我们会收到来自角膜闪烁的脉冲,就像来自角膜表面的反射一样。但是有时候,当光束越过虹膜和瞳孔之间的阈值时,我们也会收到脉冲。因此,我们能够使用传感器每秒测量用户的角膜和瞳孔数千次。”
除了提高速度和精度外,MindLink还具有灵活性,因为它不受只能在实验室环境中使用的笨重设备的限制。这意味着医生和研究人员现在可以在更多的环境中进行眼动追踪评估,包括医生办公室、野外甚至患者家中。
对于游戏来说,眼动追踪很重要,因为它可以显示玩家在看什么,这样就无需渲染用户看不到的图像,从而节省处理能力。Tobii之类的竞品就通过在屏幕上显示专业游戏玩家的注视点,从而让业余游戏玩家可以学习如何提高自己的游戏水平。
Sarkar说:“您还可以开始使用通过眼睛控制,而不是鼠标或控制手柄操控的应用程序。”
在应用方面,Sarkar认为该技术将推动把眼睛运动与神经和眼部健康联系起来的新研究的发展。这就是为什么该公司将其测试产品瞄准医疗保健和学术界研究人员的原因。 AdHawk正在支持滑铁卢大学和大学健康网络的研究人员测试他们的设备。
Sarkar表示:“我们测量的信号与人们脑海中发生的事情之间有很多相关性。这可能是最令人兴奋的事情。”
通过使用集成的惯性测量单元(IMU)传感器,人们可以舒适地佩戴AdHawk的眼动追踪眼镜,从而精准测量眼睛的运动、瞳孔的大小和头部的运动。研究人员可以收集有助于他们研究焦虑、多动症、脑震荡和癫痫病的数据,同时改善对认知负荷和阅读挑战的评估。数据还将有助于研究神经退行性疾病(例如阿尔茨海默氏病和帕金森氏病)。
该设备还可用于追踪驾驶员在驾车行驶过程中的注意力是否集中。
“眼动仪的采样频率是指眼动仪每秒记录多少次眼睛的位置。更高的采样频率可以提高研究人员估计眼睛运动真实路径的能力,”滑铁卢大学视光与视觉科学学院教授Elizabeth Irving说道。“更高的采样频率带来了更高的成本,因为它需要更昂贵的相机和更多的功率。这就是AdHawk的系统如此特别的原因,他们找到了一种能同时提供灵活性、质量和速度的方法,且成本还更低。”
AdHawk Microsystem的眼动追踪套件预计在预售截止日期后六到八周内发货。目前美国食品药品监督管理局(FDA)尚未认证该设备。