面向移动增强现实的视透型头戴显示器
来源:第三维度
作者:雅尼克·罗兰德、凯文·汤普森
单位:美国罗切斯特大学、美国Synopsys公司
编译:黄志奇(电子科技大学讲师)
引言
面向移动增强现实的视透型(see-through)头戴显示器(head worn displays,HWDs)的设计需要多学科方法的支持,光学工程、光机学、人体工程学以及心理学等对于设计过程都非常的关键。过去十年,显示领域诞生了一项变革性的技术——有机发光二极管(organic light emitting display,OLED),并迅速替代了由LED(light-emitting diode,发光二极管)照明的LCD(liquid crystal display,液晶显示器)或LCOS(liquid crystal on silicon)显示技术,这两者曾被视为替代mini-CRT的变革性技术。用于原型开发的第一代高清制式的OLED显示器已经问世。
目前工业界正致力于建立广受消费者认可的产品体系,这意味着一旦确定设计方案,即可在几个月时间内制造多达百万计的器件单元。该体系必须是低成本的(消费者花几百美元就能买到),外观为眼镜式,分辨率接近延伸周边视场的视觉系统。
自1960年以来,计算机生成图像并与真实世界叠加合成的技术在不断发展。如今,这种带来AR的技术已经改变了传统的感知和交互方式,不再只是与数字信息[1]交互,而是与整个社会进行感知和交互。头戴显示器是增强现实的核心辅助装置,它寻求的是通过信息或者计算机生成的仿真物来补充(增强)而非取代(现有模式下)实际的周边环境。在未来的外科手术室中,外科医生、主治医师和其他医务人员将在头戴显示器的辅助下,在身体对应位置上,清晰地可视患者体内具体的解剖[2~3]以及手术中的动态变化[4]。在诊疗和微创手术[5]中,可以由导入到人体内的探针或内窥镜末端传出可视化的图像。依靠现实增强(augmented reality,AR)技术,可以把内窥镜获取的信息直接与人体内部相对应的解剖结构融合起来,这种可视化技术提供了一种在复杂环境中提取关键信息的新模式。在野外导航应用中,登山者在偏远地区时,可依靠该装置内置的GPS和高分辨率卫星图片来指引路线[6]。对于那些需要在很短时间内做出性命攸关的决策的紧急状况下,救援人员能够通过头戴显示器眼镜[7],实时地与邻近的无线系统连接,根据得到的伤者的心率、皮肤电导或瞳孔扩张等信息,确定伤者是否面临生命危险等。
此外,头戴显示器也能应用于高效的常规通信中。
本文将讨论增强现实的一个重要问题,即在可能限度内如何实现全视透操作的相关技术。20世纪90年代后期,工业界曾尝试对屏幕式(look-at-display)头戴显示器进行市场化,但是没有成功。若想取得进展,则涉及到一项获取无阻碍前视场的技术。这项技术受到最小视场的限制,特别是周边视场。文章将先分析视透型头戴显示器潜在的价值,审视关键技术路线;然后讨论实现眼镜形式头戴显示器面临的阻碍,即基于光学设计的关键工程概念和约束,并讨论近期的解决方案,重点区分眼睛光瞳和可操作眼动范围(operational eyebox)。另外,还会验证限制头戴显示器光学设计的基本约束——拉格朗日不变量;最后总结和简要讨论当前研究工作中影响未来市场(2020年前)选择的因素。
里程碑
伊万·萨瑟兰(Ivan Sutherlands)是美国计算机图形领域的杰出专家,20世纪60年代中期,他在美国国防部高级研究计划局(Advanced Research ProjectsAgency,ARPA)工作期间对互联网的成形起到了关键性的作用。1968年,他在美国哈佛大学展示了第一台计算机图形驱动的头盔视透显示器的目镜,如图1最左侧[8]。此后,头戴显示器的设计取得了巨大的成就[9~10],特别是在先进飞机、地面车辆以及海面舰只的实际训练中成功替代了用于仿真的穹型屏幕。
沿着个人头戴显示器技术发展的历程,一些有代表性的军用头盔式头戴显示器是非常值得回顾的[11],如图1所示。在军事上,头盔式显示器(helmet-mounted display)和头戴式显示器(headmounted display)这两个术语被等同使用。近来,在讨论应用的时候,除了与军事相关的内容外,头戴显示器这一术语已经逐渐被HWD(HeadWornDisplay)所取代。头戴显示器可以是单眼式的,即给单只眼睛提供单一的图像;双眼式的则是可以同时给两只眼睛提供相同的图像,或者给两只眼睛分别提供两幅不同的图像。在20世纪80年代初,AH-64阿帕奇攻击直升机就在机头驾驶舱的前突部位部署了前视红外传感器(forward-looking infrared,FLIR)。从这个传感器上得到的图像被显示在一个小型阴极射线管(mini-CRT)上,并通过霍尼韦尔公司开发的头盔综合显示探测系统(integrated helmet and displaysighting system,IHADSS)将图像传递给用户的眼睛。
20世纪90年代后期,军队改进了这项技术使前视红外传感器的图像与RAH-66科曼奇侦察机飞行员的双目头盔显示器的视场(field of view,FOV)进行部分的重合。
20世纪80年代后期,光学设计师开始探索如何代替传统的具有旋转对称性的光学器件,这种器件通常包括分光镜,不仅沉重,更糟糕的是其总是通过悬臂支撑在头盔的前部。陈(C.W.Chen)的工作在减轻重量方面取得了突破性的进展[12],她是斯威特(B.Sweatt)(全息光学元件(holographic optical element,HOE)建模领域的先驱者)的学生[13]。
从1996年起,光学衍射元件(diffractive optical elements,DOE)用于减轻重量和减少轴向、横向畸变以及色差,应用在头戴显示器。自1990年起,离轴(off–axis)合成器显示器研究工作在军事领域以外的市场开始应用。基于当时先进的60度视场角的小型CRT显示器(用于医学)[14]的光学设计方案包括一个环形的合成器和离轴部件,超越了当时有关装配和测试方面的基础设施。
到2004年,美国ZYGO公司生产了L-3/Link仿真和训练高级头盔式显示器(advanced helmet mounteddisplay,AHMD),它由光学研究协会(现在的Synopsys公司)设计,把高清制式LCD微显示与一个单独的轻量级RGB LED照明系统[15]进行了整合,并且和一个最新的离轴合成器中继进行了匹配,实现了全沉浸式105°视场的单目仿真。该显示器具有30°的重叠,重量为2kg。最近,在增强现实军用显示器产品目录中,引入了一项技术,通过放弃光瞳再成像的方式,以全息的方法使用二维复制创建出多重的眼点(eyepoints)且具有波导性质(waveguided)的眼镜式显示器,比如由卢马斯(Lumus)[16]开发的(BAE公司生产)单色Q-Sight[17],已有了小规模的应用,但其显示系统的效率很低,比如Q-Sight则小于1%,而且对比度在散射和杂散光的影响下下降很快。该项技术蕴含了一个独特的设计理念,即通过耦合整个桥板(bridge plate)上全息光栅(holographicgrating)发出的光线,形成一个非常大的(直径35毫米)出瞳,并对眼球的低效耦合进行权衡。
图1 军用视透型头戴显示器50年发展里程碑
面向消费市场的视透头戴显示器
在实现紧凑(类似太阳镜)、彩色以及全视透等目标的技术路线指引下,过去的十年头戴显示器有三类配置进入了原型阶段。图2展示了一系列的视透型头戴显示器原型,包括早期的头戴式投影显示器、卢马斯的支持光瞳复制的显示器、全息头戴显示器原型以及两种最近由美国罗切斯特大学ODA实验室研制的眼镜形视透头戴显示器原型。
目前主要的全视透成像技术有三种,都属于离轴合成器解决方案,特别是一个尺寸缩减的AHMD。索尼采用了一种功能化的全息波导,佳能和奥林巴斯等公司称其为自由棱镜。该技术是由日本佳能的山崎等提出的[18]。该技术通过一个灵巧的配置,使用内部全反射(total internal reflection,TIR)实现视透功能,而且没有反射性结合板那么强的离轴性。受限于所采用的塑料材质光路,自由曲面棱镜无法开发出可接受的视透功能。由索尼设计的全息成像波导是鼓舞人心的。直到索尼开发出一种基于LED并可以避免颜色被冲淡的可用原型[19],大容量体全息(volume holographic)技术才被作为研究的发展趋势。然而,制造中的可重复性(总体上制约着全息解决方案)、效率(限制电池寿命)等问题使得这项技术无法继续发展。
离轴合成器方案成为目前最可行的发展方向。最新推出的高清像素数OLED显示设备将引领下一代装置潮流。对于上述三种光学系统配置的视透头戴显示器,任何微显示技术都可以采用。然而,在首款高清格式的带有OLED技术的发光微显示器新近推出之后,一些其他的微显示技术,比如显示速度慢但是更便宜的、需要背光的LCD显示器[20~21],以及速度更快但更难制造的反射性FLCoS(ferroelectic liquidcrystal on silicon)微显示器(需要单独的LED照明并在当前的眼镜式原型机中应用),将会被逐渐淘汰。朝着更高像素数的趋势发展对于微显示这项技术来说是可行的,但是这会伴随着像素点大小被缩减的趋势,显示器的整体大小是微显示应用于头戴显示器集成的重要因素。一个意义重大的转折点即将到来,将像素的尺寸降低到3微米以下,除了要考虑到在F/2处的光学衍射的极限,其复杂性对光学设计也是一大挑战。最近,随着支持制造多边形和自由曲面光学表面的金刚石车削技术的出现,人们开始研究新的自由曲面数学描述方法[23~24],这使得在设计紧凑型头戴显示器时,使用超薄光学组合器成为可能。
图2 2000年后头戴式显示器的创新及进入消费市场的努力
技术障碍
20世纪90年代后期,大批的屏幕式头戴显示器进入了市场,但是并没有得到市场的认可,其原因在于周边视觉和许多情况下出现的前方视觉损失所带来的危险。如今,头戴显示器的关键是显示技术。微显示技术和激光扫描显示技术构成了完全不同类型的像源,微显示技术像源虚像是“悬浮”在眼前的虚像,而激光扫描显示则是通过微电子机械系统(micro electro mechanicalsystems,MEMS)技术直接把信息“写”在视网膜上。现在整个产业站在了显示器技术交叉的边缘。OLED作为头戴显示器使用的微显示器的优点是能自己发光,具有小巧的电子封装和令人惊叹的分辨率及色彩,其最新一代的产品已经可以传送真正的高清图像。主流显示器技术更新换代速度非常快,并且方法迥异,以至于几乎没有显示器提供商能在这个市场存在超过7年,更没有任何一家公司能够主导这个领域。供个人使用的头戴显示器市场需要一个稳定的显示器供应商和重要的后备源。目前还不存在这种供应商的体系结构,这成为阻碍头戴显示器进入消费者市场的重要因素。
第二个障碍是电源(电池寿命)等与群体社区的适应性方面的权衡。这种权衡受到两种实际情况的影响:一是成年人有一个变化的瞳间距(interpupillary distance,IPD),变化范围是从56~75mm(2-sigma);二是单通道离轴合成器设计通常包含8~12mm的眼动范围,以适应眼睛2~5mm的瞳孔直径。因此,人体工学要求系统要么必须是可调整的(对成本和可用性都有影响),要么供应商必须像生产鞋子一样制造和存储一系列尺寸,但这需付出昂贵的代价。引入无需调节就能适应较大范围瞳间距和瞳孔大小的技术对电池寿命有影响,同时这种情况又是极其低效的,会损失99%的入射光。目前,可供选择的解决方法为全息的输出光束耦合器,这种方法往往在很大程度上降低了用户感受到的亮度,还对对比度有负面影响。
第三个障碍是目前还没有任何解决决方案。这体现在没有任何一条途径可以支持用户佩戴矫正视力的眼镜(隐形眼镜和LASIK激光手术(laser-assistedin situ keratomileusis)都是解决方案),因为这样可以缩短眼睛离头戴显示器的距离,从而减小光学器件的尺寸及重量。随着眼睛和头戴显示器距离的增大,传统的封装只能脱离眼镜的形态。
如今,iPod和相关的手持显示器等流行趋势清晰地显示了公众接受使用增强信息的需求是无处不在的。最近的例子就是人们对进入和参与全球社交媒体进行交互的热情越来越高涨。那些尝试过个人头戴显示器的最新产品的人会认为,若不能将一个微型显示装置无缝地投射到环境中,而只是拿在手中,这种做法是不能成为主流的。尽管无线网络服务呈爆炸式增长,包括最新宣称的能为手机提供免费电视的功能,这些都要求公众能在行走时手持着手机,别无其他选择。一个成功的技术不仅需要是视透的,还应该在各方面对生活的影响最小。
制约与支配光学设计的因素
每个头戴显示器的调制光源(例如通过微显示器的空间调制或者通过激光源的时间调制)通过光学系统进入人眼,光学系统以眼镜架、帽子、头戴饰品以及头盔等为支撑放置在用户的头部。头戴显示器系统整体设计时需要着重考虑光源、光学和与头部相关光机系统的布局。而且,为了给用户在不同的头部位置以及注视点都能提供合适的观测视角,设计时必须采用视觉耦合系统(如眼动跟踪系统)[26]。
视透型头戴显示器光学设计面临最大的挑战是,设计从像源到人眼的光路时,不影响用户对外界环境的直接观测,如图3所示。人眼决定了分辨率和亮度的需求,显示器提供了光源以及由显示器(QVGA、VGA、SXGA、HD)的像素尺寸和像素数所决定的分辨率。经过光学系统将信息传送到用户眼睛的光路会降低分辨率的等级,减弱光线的传输效率(亮度),尤其重要的是它受到眼动范围的限制(眼动范围是一个二维的区域,要想达到可用的分辨率,眼睛光瞳必须处在这个区域内。)
图3 视透型头戴显示器设计的一个最基本的挑战是为显示器设计一个光路,
光路驻留在视场之外,不影响正常的视野,
并且支持在阳光明媚的室外使用而且无分辨率的限制
我们在追求把头戴显示器设计成眼镜外形样式时,受到一个关键因素的制约,就是其自身所采用的微显示器尺寸。如果像素数的增加不能使与之对应的相应像素尺寸的减少,那么在追求高分辨率上就没有进展。目前,系统光路设计采用了许多技术,光学系统也从离轴合成器发展到自由曲面棱镜,到全息透镜棱镜,再到全息取样器。如图4所示的最新的离轴合成器,头戴显示器的美观性要求离轴合成器必须设定在某一角度,并与这个显示设备的供应链一起共同阻碍了这一代技术在市场中的应用。
图4 全视透型头戴显示器的原型机(支持全彩的QVGA显示,具有20˚的全视场。
采用的是反射式FLCoS像源芯片,支持时间序列和自定义色彩,提供高亮度的LED光源)
图5展示了一种新型的光路设计,当现有技术能够提供2微米像素大小时,这样的设计能进一步减小光学系统的尺寸[27]。
图5 随着头戴显示器微型化设计的最新发展,
ODA实验室提供了一个新型的解决方案[27]
在全彩视透型头戴显示器设计的初始阶段,还要考虑眼动范围的尺寸,它决定了在保持分辨率(在避免边缘模糊的情况下)和视场的情况下,用户眼睛的可活动范围。眼动范围尺寸是最大的挑战。理论上讲,它会影响系统有效的焦距比f系数。焦距比f系数、视场角与系统封装约束相结合,是决定光学系统的性能和其复杂性的主要参数。在这类显示器中,系统光圈孔径是光学设计的一个重要配准参数,它要定位在人眼的瞳孔位置。人眼的瞳孔是限制显示器与人眼之间光量传递的一个光瞳。瞳孔的光圈半径是可变的,在明亮环境下为2mm,而在黑暗环境下可以超过5mm。设计的光路应在用户眼部提供一个恰当直径的通光孔径,而且这个通光孔径的可变化范围必须大于人眼瞳孔的可调节范围。它们必须考虑到人眼瞳孔相对于光路在横向位置上的变化。瞳孔位置的变化主要是由两个因素决定。
一是,在不同种族和性别之间,大约95%的成年人瞳孔直径在56毫米到75毫米之间,这就意味着头戴显示器必须是可调节的,调节余量受系统复杂度和鲁棒性、调节机制的成本、系统尺寸大小的制约;
二是,光路设计时,必须考虑到由于人们活动造成的眼睛和头戴显示器的相对位移。
一般情况下,为了减少因活动所产生的偏差,头戴显示器的人体工程学设计会受到更多因素的限制,这不仅意味着会降低头戴显示器的佩戴舒适性,还会增加头戴显示器的成本。目前,从军事方面应用的经验来看,基于眼动范围的最小直径为8毫米,当前的设计目标可设定为12毫米,长期的设计目标为15毫米。从光路的角度来看,因为眼睛的焦距是25毫米,这意味着初步设想的F/12.5系统(2毫米瞳孔)到F/1.8系统的设计已达到了极限范围。当前主流的模型系统设计在F/10到F/3之间。
虽然对于视场大小的选择是由用户需求推动的,但在更大程度上取决于市场和社会的认可程度。本文主要讨论基于图像增强的全视透型系统,因此首要考虑的问题是相对于头部位置的全视场和由生理构造所决定的眼睛的可观测视场,其中包括了人眼分辨率最高的12°的视场角,在这个视场范围内只需转动眼球无需扭动头部(大约15°的视场角),一般全视场角度为135°。基于使用现有原型系统的经验,最佳功能操作点在20°~32°之间。在此范围内,增强现实的区域使用的是整个眼睛的高分辨率区域,且不用移动头部就能快速获取信息。当在此范围内进行增强现实应用,用户有一个畅通的周边视野。这对于大脑处理外界周边视场信息的方式是很重要的。人眼可观测的外部视场是一个队列区域。通过限制增强现实进入这部分视场区域,可减少相关性小的新信息层数据的处理。然而,最常见的头戴显示器设计目标是40°视场角以上。依据目前的技术路线,头戴显示器受到两个不被接受因素的影响,视场就是其中之一。对于单瞳孔设计(离轴组合器件和自由曲面棱镜),视场的增加将致使光学系统体积增大,无法采用眼镜的外观形态。对于全息设计,增加视场将带来视角的增加,而视角的增加不仅会影响尺寸大小,也大大减少了有效衍射的光谱波段。图6提供了一个极端的实例。
图6 离散镜片组的可扩展性极限设计
目前正在生产的L3 AHMD[15],其视场为105°,眼动范围为15毫米,而这些参数是导致系统非常庞大的直接因素。另一个极端实例是美国罗切斯特大学ODA实验室的太阳镜外型头戴显示器原型,其视场为20°,眼动范围直径为8毫米。
眼动范围与视场的关系可以通过拉格朗日不变性(LI)来更好地理解,其推导可参见许多经典几何光学教科书。LI阐述了½-FOV与½-高度光路中有效瞳孔的线性约束关系。它等价于从像源芯片发出的在人眼出瞳位置所收集的光的f数与显示尺寸(像素大小与像素数的乘积)的约束关系。需要指出的是,此约束方程中的瞳孔直径并不是眼睛的瞳孔尺寸,而是指眼动范围的直径。如果用视场来表示,可用公式来说明这个关系。
式中,θ1/2表示在(可视透)目标空间中的半对角线视场角,Y eyebox表示(圆形)出瞳半径hdisplay_½diagonal是显示的半对角线,f-number display_collected是从显示器到达眼动范围区域的那部分光线的f数。由此可知,在明亮环境下,当出瞳半径为8mm时,90%以上的光照不能到达人眼。头戴显示器可利用电致遮阳板,来保证眼睛处于较暗的环境,使得瞳孔直径保持在5mm范围,采光能力得以提高5倍[29~30]。由上式可知,若LI值确定,则视场与眼动范围尺寸成反比。LI在激光扫描显示器设计中起着决定性的作用,这将在图9中简要讨论[35~36]。
在视场的选择上还要考虑人眼分辨率与CCD(charge coupled device,电荷藕合器件图像传感器)像素数之间的光学关系以及像素尺寸大小的问题。近10年来,CCD的像素通常为10µm,不论是320dpi的低分辨率传感器还是1280dpi的高分辨率传感器。
据保守估计,人眼视觉分辨率为1弧分,头戴显示器相对应的指标是60像素/度,而实际上要达到这个指标的两倍才能与人眼视觉分辨率兼容。根据上述指标,对于10µm的像素,QVGA格式图像覆盖面积不足5˚视场。由于这个视场太小,以至于人们对它完全没有兴趣,因此,业界选择了制造那些分辨率很低但又能被接受的QVGA系统,20˚的显示设计中可提供4弧分的分辨率。在VGA格式中,对角线20˚的显示设计可提供2弧分的分辨率;在SXGA(1280×1040)格式中,达到眼睛分辨率极限的也是20˚。由此推出,对于显示屏分辨率为1800×1400最新的OLED,达到眼睛分辨率极限是30˚视场。如前所述,如果是10um的像素组成的高清格式,显示器的水平尺寸将增长到18mm。这会立刻导致头戴显示器产品不能以眼镜的形式进行封装。若要实现OLED高清格式,必须使用小于10µm的像素,这将激励视透型头戴显示器的设计师研发出对消费市场有吸引力的封装。权衡像素数和分辨率的高层次方法有三种:高分辨率的感兴趣区[31]、采用部分双目重叠[15,32]、opticaltiling(用几个小的视场组成一个大的视场)[33]。对于单目、双眼单目镜、双眼双目镜的头戴显示器,在光学设计及感知方面,要考虑的因素还有很多。
OLED像源芯片发出的光通过光路的第一个部件的数值孔径内被收集,而这个数值孔径是由眼动范围和显示亮度所决定的。焦比数或者是相当于第一个聚焦光学器件的数值孔径决定了能够到达人眼的光通量的大小。在以离轴组合器件或者自由曲面棱镜为基础的光学系统中,光通量守恒和拉格朗日不变量一起应用于微显示和像平面,会得到亮度守恒。恒亮度的描述可能是违反直觉的,最常见错误理解是因虚像被放大导致亮度降低。然而,既考虑放射角度又考虑放大了的像平面区域才是重要的,而且要记住它们两者的乘积是一个常量。这是第二类光路的通路。现有的设计是采用全息方法把较小的眼动范围分开,并将其分散到更大的范围上[16~17]。目前,这种方法虽然能采用一个紧凑的封装,却不能在BAE Q-Sight的条件下提供一个彩色的解决方案,或者只能得到一个暗淡的图像或者折衷对比度,这是由所选择的全息分裂过程中的杂散光本性所决定的。
2008年的信息显示学会(Society for InformationDisplay,SID)会议上,展示了一个到目前为止最具创新性的原型系统[19]。这是一个理想的使用全息元件与基于全内反射的波导的光路的图像模式,而不是一个光束复制模式。显示概念如图7所示。这里显示信息的输出通过一个全息光学元件的聚焦后传递进入到一个波导,实质上是一种显微镜载玻片。
图7 “理想”的光路——索尼公司的全息显示概念[19]
根据全内反射的性质,图像从像源芯片传送到眼睛的轴线上,在这里第二个图像全息光学元件将其直接射入眼内。此设计团队为全彩图像的传输设计了一个独特创新的方案,但是全息图像效率在整个波段的灵敏度限制了视场不能超过20˚,而且即使是20˚,由低效率引起的功耗也是无法让人接受的。
在这么多的设计团队致力于全视透型头戴显示器研发的同时,非视透的或者视频视透的模式作为一种临时的解决方案也得到了发展。在视频视透模式下,视频摄像头捕获的场景和计算机生成的图像融合在了一起。事实上,一个在消费者市场存在已久的发明者最近向市场发布了一种视频视透系统。
在这种模式下用户只能通过显示器看到外部世界,而不能直接观测。文献[2]比较了光学视透和视频视透模式后认为,主要问题在于延迟(latency)、遮挡(occlusion)、真实世界的保真度和用户的接受度。
从历史的观点来看,视频视透型显示在技术上更容易解决遮挡问题,尽管光学视透型仍然在传送和反射方面积极寻求解决方案。
结论和展望
几项性能指标将成为未来视透型头戴显示器设计最根本的驱动力,它能快速促成社交媒体实时互联网社区的出现,并给基于近来发布的高清制式OLED显示或其他还未见的创新研究项目提供持续的市场推动力。军用头戴显示器的关键参数包括眼动范围尺寸、视场、重量、电池寿命、亮度和图像解析度。一般情况下视场要求大于40˚。然而,这些关键参数不仅超出了目前可采用的视透技术能达到的范畴,而且,对那些佩戴过视透显示器的用户来说,这个参数也并非越大越好。近来,提出了一个如图8中所示的设计形式,显示器顶部的一个带状区域可以提供环境感知(situational awareness),非常类似于汽车的后视镜,中心显示区被保留在20˚,以按需显示高解析度的信息。由于士兵执行任务的时间经常被延伸(远大于8小时/天),一个重量轻的头戴显示器对于减少穿戴劳累感是非常重要的。当显示技术不断成熟,图像性能不断增强,比如解析度、调制传函和色彩能力等,能够为士兵提供更多数据,这将增加军用视透头戴显示器可能的军事应用和任务。
图8 一种新的在保持实时直接视透功能基础上增强周边视场的显示形式
图9展示了一个激光扫描类型头戴显示器的实例原型,该原型是由MicroVision开发,目的是为了提供大视场、全彩视透显示,尤其强调尺寸和重量的精简。该系统是一个基于激光扫描的显示器,使用一个眼动范围扩展器和一个细的波导光路,能够在20mm眼动范围内(40˚水平视场)达到848×480像素分辨率。因为防护眼镜是士兵的常规佩戴物件,所以采用基于防护眼镜的形式可以让士兵减少一件装备,同时也不会影响士兵的正常活动。该原型说明紧密集成的、宽视场的头戴显示器是可能的。未来的研究应该进一步减小尺寸,同时增大视场和解析度。
图9 基于RSD和护目镜形式,来自MicroVision公司的最新一代视透显示器
面向未来消费应用的头戴显示器关键设计参数略有不同。迄今为止,成本是这个领域最主要的驱动参数,其次是人体工学和美学,最后是图像的性能参数,如分辨率和视场等。低成本需求将驱使商用头戴显示器设计采用塑料光路(最好是模塑的),而且只要有可能就使用现成部件。商业头戴显示器的使用者会关注外观和感觉方面的因素,因而还需要一个非常紧凑和外观时尚的显示器。综合考虑低成本和美学需求等因素会对设计产生更多的挑战,在塑料光学器件方面的创新方法将会对此有所帮助。
■致谢
感谢美国罗切斯特大学博士研究生黄金鑫和电子科技大学移动计算中心于南翔等数位博硕士研究生等对本文翻译工作的大力协助。
参考文献
[1] Azuma,R.,Y.Baillot,R.Behringer,S.Feiner,S.Julier, andB. MacIntyre,Recent advancesin augmented reality,IEEEComputerGraphics andApplications, 2001, 21(6) 34~47
[2] Rolland, J.P. and H. Fuchs, Optical versus video seethrough head-mounted displaysin medical visualization,Presence: Teleoperators and Virtual Environments(MITPress), 2000,9(3) 287~309
[3] Bichlmeier, C., S.M. Heining, M. Feuerstein, N. Navab,The Virtual Mirror: A New Interaction Paradigm forAugmented Reality Environments, IEEE Trans. Med.Imaging,2009,28(9) 1498~1510
[4] Argotti, Y., L. Davis, V. Outters, and J.P. Rolland,Dynamic superimposition of synthetic objects onrigid and simple-deformable objects, Computers andGraphics,2002, 26(6) 919~930
[5] Rosenthal, A., A. State, J. Lee, G. Hirota, J. Ackerman,K. Keller, E.D. Pisano, M. Jiroutek, K. Muller, and H.Fuchs, Augmented reality guidance for needle biopsies:An initial randomized, controlled trial in phantoms,Medical Image Analysis,2002, 6 (3), 313~320
[6] Klein, G. and D. Murray, Parallel tracking and mappingon a camera phone, Proc. ofISMAR,2009: 83~86
[7] Nilsson, S., B.Johansson, and A.Jonsson, Using AR tosupport cross-organizational collaboration in dynamictasks, Proc. of ISMAR,2009: 3~12
[8] Sutherland, I.E. A head-mounted three-Dimensionaldisplay, in AFIPS Proc. Fall Joint ComputerConf.33,1968: 757~764
[9] Rolland J.P. and H. Hua, Head-mounted displays, inEncyclopedia of OpticalEngineering,R.Barry Johnson andRonaldG.Driggers,Eds.,Taylor andFrancis,2005, 1~14
[10] Cakmakci O. and J.P. Rolland, Head-Worn Displays: AReview,J. Display Technol. ,2006, 2, 199~216
[11] Rolland, J.P., I. Kaya, K.P. Thompson, and O.Cakmakci, Head-worn displays – Lens design,Proceedings of SID, 57, 57.3 ,2010
[12] Chen, C.W., Helmet visor display employing reflective,refractive, and diffractive optical elements, U.S. Patent5,526,183 ,1996
[13] Sweatt, W.C., Describing holographic optical elementsASLenses,JOSA A 67 ,1977: 803~808
[14] Rolland, J.P., Wide angle, off-axis, see-through headmounted display, Optical Engineering - Special Issueon Pushing the Envelope in Optical Design Software,,2000,39(7) 1760~1767
[15] Sisodia, A., A.M. Bayer, P.T. SMIth, B. Nash, J. Little,W. Cassarly, and A. Gupta, Advanced Helmet MountedDisplay (AHMD),Proc. of the SPIE6567,2007:6567~17
[16] Yaakov, A. Substrate-guided optical beam expander,U.S. Patent 6,829,095 ,2003
[17] Cameron, A.A. The application of holographic opticalwaveguide technology to the Q Sight family of helmetmounted displays, Proc. of the SPIE 7326, 7326H ,2009
[18] Yamazaki, S., K. Inoguchi, Y. Saito, H. Morishima, andN. Taniguchi, Thin wide-field-of-view HMD with freefm-Surface prism and applications, Proc. of the SPIE,3639 ,1999: 453~462
[19] Mukawa H. et al., A full color eyewear display usingholographic planar waveguides, Proc. of the SPIE3901,2008: 89~92
[20] Hua, H, Y. Ha, and J.P. Rolland, Design of an ultralight and compact projection lens, Applied Optics,2003:42(1) 97~107
[21] Cakmakci O. and J.P. Rolland Design and fabricationof a dual-element off-axis near-eye optical magnifier,Optics Letters,2007,32(11) 1363~1365
[22] Zhang R., and H. Hua, Design of a polarized headmounted projection display using ferroelectric liquidcrystal-on-silicon microdisplays, Applied Optics,2008,47(15), 2888~2896
[23] Cakmakci, O., B. Moore, H. Foroosh, and J. P. Rolland,Optimal local shape description for rotationally nonsymmetric optical Surface design and analysis, Opt.Express,2008,16, 1583~1589
[24] Cakmakci, O., S. Vo, H. Foroosh, and J.P. Rolland,Application of radial basis functions to shapedescription in a dual-element off-Axis magnifier, OpticsLetters,2008, 33(11), 1237~1239
[25] Cakmakci, O., S. Vo, K.P. Thompson, and J.P.Rolland, Application of radial basis functions to shapedescription in a dual-element off-axis eyewear display:field of view limit,SID,2008, 16(11), 1089~1098
[26] Rolland, J.P., Davis, L.D., and Y. Baillot, A surveyof tracking technology for virtual environments, inFundamentals of Wearable Computers and AugmentedReality,2001, 67v112[27] Cakmakci, O., K.P. Thompson, P. Vallee, J. Cote, andJ.P.Rolland, Design of a free-form single-element headworn display, Proc. of the SPIE 7618 ,2010
[28] Kidger, M.,Fundamentals of Optical Design,Bellingham, WA: SPIE,2001, 26~27
[29] Draper, R., M. Wood, B. Radmard, K. Mahmud,P. Schuler, G.A. Sotzing, V. Seshadri, W. Mino,J. Padilla, and T.F. Otero, Electrochromic variabletranSMIssion optical combiner, Proc. of the SPIE5801,2005,268~277
[30] Mortimer, R., A.L. Dyer, and J.R. Reynolds.Electrochromic organic and polymeric materials fordisplay applications, Displays 27, 2006, 2~18
[31] Yoshida, A., J.P. Rolland, and J.H. Reif, Design andapplications of a high-resolution insert head-mounteddisplay, in Proceedings 1995 Virtual Reality AnnualInternational Symposium,1995, 84-93
[32] Melzer, J.E. Design evolution of a wide field of viewhead-mounted display for aircraft training and simulation,Proc of SPIE4361, 2001
[33] Hoppe, M. and J. Melzer, Optical tiling for wide fieldof-view head-mounted displays, Proc. SPIE;CurrentDevelopmentsin Optical Design and Optical EngineeringVIII, 1999
[34] Edwards, E.,J.Rolland, and K. Keller, Video see-throughdesign for merging ofreal and virtual environments, Proc.IEEE,1993, 223~233
[35] Urey, H. Diffractive exit-pupil expander for displayapplications, Applied Optics 40(32), 5840:5851
[36] Urey, H, and KD Powell, Microlens-array-based exitpupil expander for full-color displays, Applied Optics44(23), 4930~4936