增强现实技术发展概况及应用领域
来源：第三维度
作者：王余涛 硕士学位论文
本文节选自《基于增强现实的协同式装配系统研究》第一章 1—5节
增强现实是从虚拟现实发展出来的一门新兴的技术，能够将虚拟信息，包括图形、声音等叠加到真实场景中去，以达到对现实的信息进行增强的目的。增强现实以其虚实结合的特点在医疗、制造业、军事、教育、娱乐等诸多领域得到越来越多的应用。
增强现实(Augmented Reality)作为门新兴的技术，其研究范围包含了许多相关领域，如计算机图形学(Computer Graphics)、图像处理(ImageProcessing)，机器视觉(Machine Vision)、入机交互(}{uman—ComputerInteraction)、信患可视化(Information Visual ization)、计算机网络(Computer Networks)，以及图形加速设备、移动显示设备、传感器等等诸多方面。增强现实以其独特的虚实结合的技术特点拥有广泛的应用前最。本章将介绍增强现实的技术概念、发展背景、关键技术和应用情况。
1、引言
随着计算机技术的发展，特别是计算机图形学和虚拟现实技术的发展，计舞机辅助设计、三维仿真建模、计算机艺术等领域目趋成熟并逐步走向商用。这些技术的不断发展使得人们逐步进入到数字化的虚拟时代，虚拟现实技术(Virtual Reality，简称VR)作为一种新型的计算机媒体形式，可以透过计算机生成如同真实世界一般的三维虚拟场景图，呈现真实环境不易看到或完全虚构的虚拟世界，给人们带来前所未有的如同真实的体验。用户通过佩戴头盔显示器和各种各样的传感器可以浸入到虚拟世界中进行三维交互，操作虚拟世界中的物体，褥到身临其境的感受。虚拟现实技术经过几十年的发展，已经逐步成熟，并在工业仿真，城市规划、娱乐、教育、医疗、军事等方厦得到广泛的应用。
增强现实(Augmented Reality，简称AR)作为一门从虚拟现实(VirtualReality，简称VR)技术发展出来的额兴技术，其原理是将虚拟的信息，包括计算机生成的图形、文字、声音等，实时地整合到现实的环境中，以达到对现实的信息进行增强的目的。
图1虚拟的茶壶、一个真实的眼镜
图1是个典型的增强现实场景，图中一个真实的书、真实的红蓝眼镜杯和一个虚拟的粉色茶壶同时存在于一个真实画面中，其中背景、书、水杯是由摄像机拍摄获取到的真实场景图像，茶壶为计算机生成的虚拟图形，将该图形叠加到真实图像适当位置上去就得到圈中所示的虚宴结台的场景。从视觉上，理想的增强现实系统能够绘观察者实时地提供真实和虚拟物体混合的逼真的三维场景。为了能够实现具实物体与虚拟模型的无缝融音，系统需要有精确的跟踪定位方法，使得虚拟模型处于正确的方位，融合到真实场景之中。系统还需要提供直现精确的交互设各，使得人能够用像在真实环境一样自然地与混台场景中的物体进行交互。增强现实可以将虚构的场景或不易观察到的真实场景以三维影像的形式展示给观察者，呈现亦真亦幻的世界。增强现实并不局限在从视觉上对真实世界进行增强，它还可以通过模拟的声音、触感、甚至气味等从听觉、触觉、味觉所有感官进行增强，营造一个感官真实的环境。
增强现实(AR)虽然同虚拟现实(VR)一样都是利用计算机生成三维虚拟模形．但不同的是，增强现实是将虚拟的图形等信息叠加到真实场景中击，使用户能够同时感受到真实和虚拟的场景信息，实现虚实结合，而虚拟现实是将用户与真实场景隔离开来，使其浸入到一个完全由计算机生成的虚拟场景，无法感受到真实信息。鉴于虚拟现实同增强现实的相似和不同，Milgram et a1(1994a)(1994b)系统地阐述了二者的关系，增强现实(AR)可咀视作是介于真实环境(Real Environment)和虚拟环境(Virtual Environment)之间的一种场景表达。 图2给出了虚拟和现实联合体环境的四种分类，从中可以看出增强现实和虚拟环境的不同。
图2虚拟和现实联合体环境的四种分类
表1对增强现实和虚拟现实技术的特性进行了对比，可以看出增强现实的最大优势在于其包含了真实环境信息，而不是将用户与真实场景完全隔离开来。增强现实可以为用户提供更加真实的感官和更加自然的三维交互，同时由于增加了真实场景的注册跟踪、虚实融合过程，导致增强现实的系统更加复杂，运算量更大，实时性有所降低。但是随着计算机相关软硬件的发展，系统的运算性能会得到不断的增强。
鉴于增强现实技术的巨大潜力，越来越多的学者和研究机构投入到了增强现实相关技术和应用领域的研究中。
2、增强现实发展背景
增强现实作为新兴的--f3技术，已经逐渐成为虚拟现实研究中的热门领域，是近年来的研究热点之一。增强现实技术起源于二十世纪六十年代，从虚拟现实中发展出来，当时计算机和图形显示设备性能还比较低，头盔显示器(HMD)刚刚开始出现，结构相对简单、显示效果很差，真实感严重不足。早期的增强现实应用只处于概念阶段，没有显著的发展。到了二十世纪九十年代，随着相关软硬件的发展，特别是图形加速设备和显示设备性能的提高，增强现实技术有了较快的发展，相关的国际研讨会日益增多，知名的会议有国际增强现实研讨会(ISAR)、国际增强现实工作会议(IWAR)、国际混合增强现实会议(ISMAR)、等等。与此同时，许多研究机构和公司致力于增强现实关键技术的研究和应用产品的开发。国外研究增强现实技术的知名单位有美国微软公司、德国SIEMENSAG、美国哥伦比亚大学大学、MIT、罗切斯特大学、北卡罗莱纳大学、华盛顿大学的HitLab实验室、新西兰的HitLabNZ实验室、加拿大多伦多大学、新加坡国立大学的ARLab实验室等。相关的技术应用也很多，美国波音公司TomCaudell等人设计了一个辅助布线系统，系统将布线路径以线条的形式绘制出来，并辅以文字提示，来辅助操作者逐步完成拆卸过程，起到很好的指导作用。
Total Immersion公司的D’Fusion(D’Fusion)平台已经能够提供成熟的基于Pc或移动设备的增强现实解决方案，并为标志汽车、Intel、Alstom等公司提供产品展示服务。目前国内研究增强现实的单位主要有浙江大学、北京理工大学、华中科技大学、上海大学等。国内目前没有能够提供成熟的增强现实技术解决方案的公司，仅仅有一些基于已有增强现实平台上开发的小型系统，如基于ARToolkit和Virtools开发的电脑游戏——山海游。总体而言，国外增强现实技术发展较快，并逐步走向商用，相关的国际专利较多，并且发展迅速。国内的增强现实技术研究尚处于起步阶段，相关专利较少，距离商用还有距离。
3、增强现实的应用
由于增强显示能够将真实环境中不存在的虚拟的信息提供给观察者，增强观察者对真实世界的感知和交互。这一特性使得增强现实在很多领域有着巨大的应用前景。1997年HRL实验室的Azuma详细阐述了增强现实技术的应用领域和发展，现状增强现实可以在以下许多领域得到应用(Azuma，1997)。
在医疗领域中，由于增强现实可以表现虚拟的可视化的人体模型，医生就可以将其用在手术和相关训练中。通过核磁共振成像(MRI)、CT扫描等手段获得病人人体的实时的三维数据信息，根据这些信息建立虚拟的人体内脏模型并利用增强现实技术经虚拟模型叠加到真实病人身体上，这样就可以给医生提供类似X光透视的视觉效果，帮助医生判断病区和进行手术操作。由于该方法能够使医生在不需要开较大创口的情况下看到病人内部病区情况，可以实现手术的低创伤性。同时增强现实可以辅助医生执行手术过程，比如MRI或CT提供的病人身体体内部虚拟模型能够帮助医生准确判断在什么部位开刀口、钻孔或使用探针。增强现实技术还可以帮助实习医生进行技能训练(Kancherla eta1．1995)，比如虚拟的器官模型可以帮助医生辨别器官(Durlach et a1．1995)，虚拟的指导信息可以在实习医生操作的同时提示每一部操作的细节，而不需要医生经常去翻看操作手册。目前已经有许多研究机构从事增强现实在医疗方面的技术研究，MIT AI实验室(Grimson et a1．1994)(Mellor 1995)研究如何将MRI和CT收集来的数据生成有效的三维模型并能够使其叠加到病人身体的准确位置上。为了能使虚拟模型和真实的病人身体有正确的遮挡关系实现准确融合，系统采用激光测距器来获得真实场景物体的深度值，进而实现虚实遮挡融合。
在制造业中，增强现实可以用在机械产品的装配和维修中。增强现实可以提供可视化的指导信息，这些信息比起手册上的文字图片更加直观，更容易理解，可以详细的将每一个操作的步骤以三维图形的形式表现出来，指导操作。这些图形也可以是动画的形式，更直观的呈现操作过程，使得指导效果更好。许多学者对这项技术进行了研究，哥伦比亚大学的Feiner等人开发了一套激光打印机维修的原型系统(Feiner et a1．1993a)，将虚拟的打印机零件用线框图的形式绘制到真实打印机图片上，辅助操作者维修安装。他们还研究了如何将真实物体的信息，如名称，介绍等，通过增强现实技术显示给观察者的方法。
根据用户所佩戴的跟踪器定位用户位置，系统将相应可见的真实物体的提示信息显示出来，提示用户接下来做什么(Feiner et a1．1993b)。新加坡国立大学的Shen等人研究了如何在协同式增强现实系统中显示各类可视化信息和避免信息重叠的方法(Shen et a1．2008)。多伦多大学的ARGOS系统(Milgram eta1．1995)通过生成线框图等方式来增强图像，使得在可视度较差如有雾或水下的情况下能够将关键物体的信息显示出来，起到导航的作用。
在机器人技术方面，增强现实可以辅助路径规划。应用增强现实技术，操作者可以避免不够直观且有迟滞的远程操控机器人的方式，而是采用实时操纵本地的虚拟的机器人模型来执行操作。虚拟机器人操作姿态将被直接显示到现实场景中．作为预览，经过操作者评价确认操作的可行性后，真实的机器人就可以按照这个操作姿态进行真实的操作，这样通过预览的方式既直观又避免了无谓的操作。ARGOS系统采用了立体视觉的增强显示系统提高了机器人路径规划的准确性(Milgram et a1．1993)。新加坡国立大学的Chong等人探讨基于增强现实交互方式的机器人无碰撞路径规划和编程方法(Chong et a1．2006)。
在教育和娱乐方面，增强现实以其虚实结合的独特魅力在这些领域得到较多的应用，包括多媒体课程、电子游戏、产品展示等等。比较著名的是华盛顿大学的人际界面实验室设计的MagicBook增强现实系统(Billinghurst eta1．2001a)，读者在看书上文字的同时就能看到书中所描述的场景模型。Sony公司PS3上的游戏审判之眼在游戏卡片上逼真的渲染出三维虚拟怪兽角色，使得这些角色如同存在于真实环境中一般。北京理工大学的王涌天等利用增强现实技术在圆明园遗址上进行虚拟重建，使得游客通过佩戴立体眼镜在游览的时候能够观察到圆明园的原貌(王涌天等，2006)。目前宝马和福特等汽车公司开始采用增强现实技术发布展示他们的汽车产品。
另外增强现实在军事领域、市政规划建设、广告媒体等领域都有其广泛的应用前景。
4、增强现实关键技术概述
增强现实作为一门新兴领域，结合了计算机图形学(Computer Graphics)、图像处理(Image Processing)、机器视觉(Machine Vision)等诸多学科的技术。同时也依赖于显示设备(Monitor、麟D)、图形加速设备(Graphics Cards)、传感器(Sensor)、跟踪器(Tracker)、交互工具(Interactive Tools)等硬件设备的发展。Azuma(1997)详细阐述了增强现实技术的定义、关键技术、技术难题。增强现实系统不是将用户与现实世界隔离，两是利用虚拟的圈形和文字等信息对真实世界的场景进行增强(Azuma，2001)，实现真实世界和虚拟世界的无缝融合，并能够使用户如网在真实空闻一样自然实时地交互。在用户眼中，真实物体和虚拟模型是共存的。一个完善的增强现实系统需要用到以下几个基本的支撑技术：
1)显示技术：主要指显示设备，如头盔显示器(HMD)、投影式显示器、移动设备显示器和电脑所用的液晶或CRT显示器。图4为YelloMosquito公司的无线式头盔显示器示意图。
图4 YelloMosquito公司的无线式头盔显示器示意图
2)注册跟踪技术：增强现实系统需要建立虚拟空间坐标系与真实空间坐标系的转换关系，使得袁拟物体能够合并到真实世界的正确位置上，这个过程就是注册(Registration)。由于观察者的位簧会不断变化，系统要实时的根据观察者的视场重建坐标系的关系，这个过程就是跟踪(Tracking)。注册跟踪的方法主要有两种：基于硬件设备的方法和基于视频处理的方法，后文会详细介绍这项技术。
3)虚实融合技术：简单的增强现实系统只是将虚拟模型直接叠加到真实场景上面，也就是说虚拟模型永远显示在真实物体前方，不能很好的融合到真实场景中。虚实融合技术就是为了解决这个问题而产生的。主要包括虚实环境的注册、虚拟物体和真实物体的遮挡处理、阴影和光照一致性和自然的交互。其中遮挡处理是为了获得虚拟物体与真实物体正确的遮挡关系，需要比较两者之间的深度信息。阴影和光照～致性方面要能够实时的适应真实环境的光照变化，同时考虑真实物体和虚拟物体之间的阴影，使得虚拟物体产生如同真实物体一样的光照和阴影效果。另外虚拟模型还要考虑虚焦模糊等情况下的显示效果。
4)用户交互技术：增强现实系统霈要实现用户与真实环境中虚拟物体自然直观的三维交互，这就需要系统设计针对增强现实系统的交互工具，并能够跟踪定位到交互工具的位置信息．执行用户对空间物体实施的指令。增强现实系统的交互方式主要两种：基于硬件设备的方式，如数据手套。基于视频处理的方式，如在标识物上生成按钮、菜单、笔等，也有采用手势识鄹的方式输入命令。
理想的增强现实系统能够做到完美的虚实结合、自然的三维交互和精确的空间注册。每一个技术模块都需要巨大的数据计算量，为了保证实时性、这些处理必须在极短的时间间隔内完成，保证输出图像的帧频在用户可接受的范围内，避免产生延迟和丢帧。本文后续的章节会对以上关键技术进行详细的分析。
为降低增强系统开发的复杂性，很多研究机构提出了用于增强现实底层处理的工具包，其中最为著名的是ARToolkit(ARToolKit Library)。它是由同本大舨大学的Hirokazu开发，并得到美国华盛顿大学HitLab实验室和新西兰HitLabNZ实验室支持的用于快速编写增强现实应用的开源工具包。ARToolkit采用基于标识物的视频检测法来进行注册跟踪，以OpenGL(OpenGL Library)为图形渲染接口将三维虚拟模型渲染到视频流中。工具包提供了一系列标识物模扳、摄像机和头盔显示器的定标、摄像头视频流的获取和输出等功能。同时ARToolkit是个多平台运行的工具包，支持Windows、Mac、Linux等操作系统。
ARToolkit的简单易用和跨平台的特性使其成为增强现实领域应用最为广泛的开发工具包。
