虚拟现实的起源与发展
虚拟现实（Virtual Reality，VR），是一种采用计算机技术为核心的现代高新技术，可以生成逼真的视、听、触觉一体化的特定范围的虚拟环境（Virtual Environment，VE），用户可借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生亲临等同真实环境的感受和体验。 二十世纪以来科学技术革命，尤其是九十年代初涌现的信息革命，使得世界正在发生深刻的变化。人类为了改善自己的生存环境，提高生活质量，就必须认识和改造客观世界。虽然人是功能强大的万物之灵，但是无限广阔的宇宙、错综复杂的世界使得人类必须借助各种有力的工具，来增强、延伸、扩展自己的感官、肢体和大脑功能。信息时代的人们，正是借助计算科学和技术在某些方面增强人类的功能，来认识、处理和改造信息时代的世界。 然而，自从计算机诞生以来，传统的信息处理环境一直是以计算机为中心，是“人适应计算机”，从而在很大程度上制约了人们以计算机为工具认识和改造世界的能力。要实现以人为本，让“计算机适应人”，必须解决一系列技术问题，形成和谐的人机环境。虚拟现实技术就是解决这一类问题的方法之一。 1965年，美国ARPA信息处理技术办公室（IPTO）主任Ivan Sutherland发表了一篇题为“The Ultimate Display”的论文。文章指出，应该将计算机显示屏幕作为“一个观察虚拟世界（Virtual World）的窗口”，计算机系统能够使该窗口中的景象、声音、事件和行为非常逼真。Sutherland的这篇文章给计算机界提出了一个具有挑战性的目标，人们把这篇论文称为是研究虚拟现实的开端。 1968年，Ivan Sutherland 在麻省理工学院（MIT）的林肯实验室研制出第一个头盔显示器（Head-Mounted Display，简称HMD）。这个采用阴极射线管（CRT）作为显示器的HMD可以跟踪用户头部的运动，当用户移动位置或转动头部时，用户在虚拟世界中所在“位置”和应看到的内容也随之发生变化。人们终于通过这个“窗口”看到了一个虚拟的，物理上不存在的，却与客观世界的物体十分相似的“物体”。 看到虚拟物体的人们进一步想去控制这个虚拟物体，去触摸、移动、翻转这个虚拟物体。1971年，Frederick Brooks研制出具有力反馈的原型系统Grope-II，用户通过操纵一个机械手设备，可以控制“窗口”里的虚拟机械手去抓取一个立体的虚拟物体，并且人手能够感觉到虚拟物体的重量。1975年，Myron Krueger提出“Artificial Reality”（人工现实）的概念，并演示了一个称为“Videoplace”的环境。用户面对投影屏幕，摄象机摄取的用户身影轮廓图象与计算机产生的图形合成后，在屏幕上投射出一个虚拟世界。同时用传感器采集用户的动作，来表现用户在虚拟世界中的各种行为。 不断提高的计算机硬件和软件水平，推动虚拟现实技术不断向前发展。1985年，加州大学伯克利分校的Michael McCreevey研制出一种轻巧的液晶HMD，并且采用了更为准确的定位装置。同时，Jaron Lanier与J. Zimmermn合作研制出一种称为DataGlove的弯曲传感数据手套，用来确定手与指关节的位置和方向。1986年，美国航空航天管理局NASA的Scott Fisher等人，基于HMD和DataGlove研制出一个较为完整的虚拟现实系统VIEW（Virtual Interactive Environment Workstation），并将其应用于空间技术、科学数据可视化和远程操作等领域。 基于从60年代以来所取得的一系列成就，美国VPL公司的创建人之一Jaron Lanier在80年代初提出了“Virtual Reality”一词，简称为VR，中文译为“虚拟现实”或“灵境”。 波音777飞机的设计是VR技术的应用典型实例，这是近年来引起科技界瞩目的意见工作。波音777飞机由300万个零件组成，所有的设计在一个由数百台工作站组成的虚拟环境中进行，设计师戴上头盔显示器后，可以穿行于设计中的虚拟“飞机”，审视“飞机”的各项设计指标。Caterprillar公司与美国国家超级计算机应用中心合作，进行大型挖掘机的设计。VR技术被用于对新设备的设计方案进行可视化的性能评估。设计人员可以操纵这个虚拟的大型挖掘机。并通过头盔显示器从各个不同角度观察新型机器在运行、操作、挖掘时的状况，以判断在实时运行中机器是否存在不灵活、不协调、不安全的地方。 美国芝加哥大学的电子可视化实验室和交互计算环境实验室应用VR技术创建了一个沉浸式的虚拟儿童乐园，取名为“NICE”。利用头盔显示器或其他三维显示设备，儿童可以在虚拟乐园中遨游太空、建造城市、探索海底、种植瓜果，甚至深入原子内部观察电子的运动轨迹。基于VR技术和高速网络的“虚拟美国国家艺术馆”能够使网上的参观者异地欣赏各种“展品”，获得目睹真实景物的感受。进入其中的“虚拟卢浮宫”，古典雅致的群楼、玻璃金字塔式的入口、女神维纳斯的雕像、栩栩如生的“蒙娜丽莎”体现出虚拟现实技术的魅力。 美国的NASA和ESA(欧洲空间局)成功地将VR技术应用于航天运载器的空间活动、空间站的自由操作和对哈勃望远镜维修的训练中。1993年11月，在第一次执行哈勃任务时，借助于相关VR系统的有力支持，宇航员在实验中成功地从航天飞机的运输舱内取出新的望远镜面板，替换已损坏的MRI面板。1997年7月美国NASA 的JPL实验室，根据被“火星探路者”送到火星上的“旅居者”火星车发回来的数据，建立了一个描述火星地形地貌的虚拟火星环境。地面控制人员在虚拟火星环境中控制和操作火星上的“旅居者”离开航天器的跳板，逼近火星上的岩石，进行探测和采样，不断向地面发送火星数据。 增强现实（Augmented Reality，简称AR），又称增强型虚拟现实（Augmented Virtual Reality），是虚拟现实技术的进一步拓展，它借助必要的设备使计算机生成的虚拟环境与客观存在的真实环境（Real Environment，简称RE）共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟对象（Virtual Object）与真实环境融为一体的增强现实环境。增强现实技术具有虚实结合、实时交互、三维注册的新特点，是正在迅速发展的新研究方向。加拿大多伦多大学的Milgram是早期从事增强现实研究的学者之一，他根据人机环境中计算机生成信息与客观真实世界的比例关系，提出了一个虚拟环境与真实环境的关系图谱。美国北卡罗来纳大学的Bajura和南加州大学的Neumann研究基于视频图像序列的增强现实系统，提出了一种动态三维注册的修正方法，并通过实验展示了动态测量和图像注册修正的重要性和可行性。美国麻省理工大学媒体实验室的Jebara等研究实现了一个基于增强现实技术的多用户台球游戏系统。根据计算机视觉原理，他们提出了一种基于颜色特征检测的边界计算模型，使该系统能够辅助多个用户进行游戏规划和瞄准操作。 虚拟现实技术带来了人机交互的新概念、新内容、新方式和新方法，使得人机交互的内容更加丰富、形象，方式更加自然、和谐。虚拟现实技术的一些成功应用越来越显示出，进入二十一世纪以后，其研究和应用水平将会对一个国家的国防、经济、科研与教育等方面的发展产生更为直接的影响。因此，自二十世纪八十年代以来，美、欧、日等发达国家和地区均投入大量的人力和资金对虚拟现实技术进行了深入的研究，使之成为了信息时代一个十分活跃的研究方向。 虚拟现实技术是一个综合性很强的有着巨大应用前景的高新科技。已引起政府有关部门和科学家们的关心和重视。国家攻关计划、国家863高技术发展计划、国家973重点基础研究发展规划和国家自然科学基金会等都把VR列入了重点资助范围。我国军方对VR技术的发展关注较早，而且支持研究开发的力度也越来越大。国内一些高等院校和科研单位，陆续开展了VR技术和应用系统的研究，取得一批研究和应用成果。其中有代表性的工作之一是在国家863计划支持下，由北京航空航天大学虚拟现实与可视化新技术研究所作为集成单位研究开发的分布式虚拟环境DVENET（Distributed Virtual Environment NETwork）。DVENET以多单位协同仿真演练为背景，全面开展了VR技术的研究开发和综合运用，初步建成一个可进行多单位异地协同与对抗仿真演练的分布式虚拟环境。 实物虚化、虚物实化和高效的计算机信息处理是虚拟现实技术的三个主要方面。实物虚化是将真实世界的多维信息映射到计算机的数字空间生成相应的虚拟世界。实物虚化使用户可以操作虚拟环境中的物体，突破物理空间、时间的限制，获得“超越现实”的虚拟性。虚物实化是将计算机生成的虚拟世界中的事物和作用反馈到真实世界中。虚物实化使用户能够感知产生于虚拟世界的各种逼真刺激，产生亲临等同真实环境的“沉浸”感。高效的计算机信息处理，包括信息获取、传输、识别、转换，涉及理论、方法、交互工具和开发环境等，是实现实物虚化和虚物实化的手段和途径。 1.实物虚化 实物虚化主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等关键技术。这些技术将现实世界中各种事物的多维特性映射到计算机的数字空间生成虚拟世界中的对应事物，并使得虚拟环境对用户操作的检测和操作数据的获取成为可能。 （1） 基本模型构建技术 基本模型的构建是生成虚拟世界的基础，它将真实世界的对象物在相应的三维数字空间中重构，并根据系统和应用需求映射部分物理属性。不同的虚拟现实系统和虚拟现实应用有不同的建模要求。 一般来说，模型构建首先要建立对象物体的几何模型，确定其空间位置和几何元素的属性。例如，通过CAD/CAM或二维图纸构建产品或三维建筑的几何模型；通过GIS数据和卫星、遥感或航拍照片构造地形、地表模型。物体的几何模型通常用基本的几何元素（如点、线、面）和外表属性（如纹理、材质、光照）表示。DVENET建立了一块110´150平方公里，具有1：250，000、1：50，000、1：25，000等不同比例尺真实地形数据、逼真地表文化特征和自然景象的虚拟战场环境。 几何建模从视觉的角度表征了对象物体的几何特性。为了增强虚拟环境的真实感和逼真性，还应建立对象物体的某些物理特性模型和行为规则模型。物理特性和行为规则建模是以一定的方式和方法给对象物体赋予质量、动量、冲量、转动惯量、材料等物理属性，并使物体的运动在虚拟环境中遵循物理运动学和动力学规律（如牛顿定律）。DVENET中飞机的飞行姿态和速度、坦克等车辆的启停和运动,以及各种弹道等均受各自的动力学或运动学方程控制。虚拟战场的地面也具有一定的物理特性，例如车辆在柏油地、草地、沙地和泥地上行驶时情况会有所不同。 当现实世界中的某些特别对象或现象很难用几何模型和物理模型准确地刻画时，必需根据具体情况采用一些特殊的模型构建方法，如粒子模型、多层天气模型等。DVENET在描绘自然界的气象情况时，采用气象数据建模等方法生成虚拟环境中的云、雾、昼夜、阴天和晴天。 （2） 空间跟踪技术 虚拟环境中的空间跟踪主要是通过三维空间传感器来实现的。头盔显示器、数据手套、数据衣等交互设备上往往装有用于跟踪的空间传感器，以确定用户的头、手、躯体或其他操作主体在三维虚拟环境中的位置和方向。 跟踪系统一般由发射器、接收器和有关的电子部件组成。目前的跟踪系统有电磁、机械、光学、超声等几类。例如低频磁场式传感器，其低频磁场由传感器的磁场发射器产生，发射器由三个正交的天线组成，接收器安装在用户身上（如头、手和躯体），其中也装有一组正交天线。根据接收器所接收到的磁场，可计算出接收器相对于发射器的位置和方向，通过电缆将数据传送给计算机，从而实现对用户的跟踪。 数据手套是虚拟现实系统常用的人机交互设备，它可测量出手的位置和形状从而实现虚拟手及其对虚拟环境中虚拟物体的操纵。Cyber Glove数据手套的每个手指上有三个弯曲传感器和一个扭曲传感器，手掌上有一个测量手掌弯度的传感器和一个测量手掌弧度的传感器，其交互信息可以较为准确地确定手及各个关节的位置和方向。 北航开展了电磁式数据衣的研究开发工作。DVENET中的虚拟单兵系统，就是借助头盔显示器、数据手套以及由北航自主研制的数据衣来获取人体的动作和行为数据。 （3） 声音跟踪技术 利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪是实物虚化的重要组成部分。声波飞行时间（time-of-flight）测量法和相位相干测量法是两种可以实现声音位置跟踪的基本算法。在小的操作范围内进行声音跟踪，声波飞行时间方法能表现出较好的精确度和相应性。随着操作范围的扩大，声波飞行时间方法的数据传输率降低，使得归类误差的校正能力变差，易受伪声音的脉冲干扰。相位相干方法本质上不易受到噪声干扰，并允许用于过滤的冗余数据存在且不会引起滞留。但相位相干方法不能直接测量距离而只能测量位置的变化，易受累计误差的干扰。 声音跟踪一般包括若干个发射器、接受器和控制单元。它可以与头盔显示器相连，也可以与数据衣、数据手套等其他设备相连。 利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪是实物虚化的重要组成部分。测量位置变化的相位相干测量法和较小操作范围内的声波飞行时间测量法是两种可以实现声音位置跟踪的基本算法。 DVENET目前正在研究基于现代声音模型的空间化、混合迭加算法，开发并集成支持三维声音输出和多种声音在四维时空中混合的软件和硬件。 （4） 视觉跟踪与视点感应技术 实物虚化的视觉跟踪技术使用普通的视频摄象机或X-Y平面阵列，利用环境光或者由位置根踪光源发出的光在图象平面不同时刻和不同位置上的投影，计算被跟踪对象的位置和方向。 视觉跟踪的实现必须考虑精度和操作范围之间的权衡选择。视觉中的光学效果可能由于虚假光线、表面模糊和遮挡造成损失并导致精度降低和误差上升。采用多发射器和多传感器的设计能增强视觉跟踪的准确性，但使系统变得复杂并且费用增加。 视点感应可以采用装在眼镜边框上的简单设备，也可以基于电子肌动之类尖端技术。一般来说，视点感应必须与显示技术相结合，采用多种定位方法确定用户在某一时刻的视线。较为常见的视点感应方法有眼罩定位、头盔显示、遥视技术和基于眼肌的感应技术。例如，将视点检测和感应技术集成到头盔显示系统中，使飞行员仅靠“注视”就可以在某些非常时期操纵虚拟开关或进行飞行控制。 2.虚物实化 确保用户在虚拟环境中获取视觉、听觉、力觉和触觉等感官认知的关键技术，是虚物实化的主要研究内容。 （1） 视觉感知 虚拟环境中大部分物体或现象，可以通过多种途径使用户产生真实感很强的视觉刺激。例如，CRT显示器、大屏幕投影、立体眼镜和头盔显示器HMD等显示设备，为用户提供了多种精度、不同方式的视觉感知。同时，为了使用户产生立体的视觉感知，根据人眼产生立体图象的原理，使用户通过左、右眼看到有视差的两幅平面图象，并在大脑中将它们合成而产生具有立体效果的虚拟物体。目前，正在研究中的有基于激光全息计算的立体显示技术和华盛顿大学适人化界面技术实验室的一种用激光束直接在视网膜上成像的显示技术。 头盔显示是许多虚拟现实系统经常采用的显示方式，但是不同的头盔显示器具有不同的显示技术，所以应该根据自己的需求选取合适的显示方式。由于头盔显示技术种类繁多，原理也各不相同，在此无法逐一叙述，根据光学图象被提供的方式，头盔显示设备可分为投影式和直视式。 为了使用户产生置身于虚拟环境的感觉，根据人眼产生立体图象的原理，使用户通过左、右眼看到有视差的两幅平面图象，并在大脑中将它们合成而产生具有立体效果的视觉感知，即立体显示。头盔显示器、立体眼镜是两种常见的立体显示设备。目前，正在研究中的有基于激光全息计算的立体显示技术和华盛顿大学适人化界面技术实验室的一种用激光束直接在视网膜上成像的显示技术。 （2） 听觉感知 听觉是仅次于视觉的感知途径，它向用户提供的辅助信息可以加强视觉感知，弥补视觉效果的不足，增强环境逼真度。 沉浸于虚拟环境的用户所感受的三维立体声音，有助于用户在操作中对声源定位。传统声音模型的定位是根据声源到达听者两耳的时间差ITD和声源对左、右两耳的压力差IID来定位的。传统声音模型无法解释单耳定位，即有一只耳朵完全丧失了听觉功能的人对声音的分辨。现代声音模型侧重于用头部相关传递函数（HRTF，Head-Related Transfer Function）来描述声音从声源到外耳道的传播过程，这一过程可以支持单耳定位。HRTF主要用滤波的方法来模拟头部效应、耳廓效应和头部遮掩效应。 （3） 力觉和触觉感知 参与者在虚拟环境中产生“沉浸”感的重要因素之一是用户在用手或身体操纵虚拟物体时，能够感受到虚拟物体和虚拟物体的反作用力，从而产生触觉和力觉感知。例如，当参与者用手扳动虚拟汽车的档位杆时，参与者的手能感觉到档位杆的震动和松紧。 力觉感知主要通过交互设备对手指产生运动阻尼而使用户产生受力的感知，阻尼的大小一般由被抓物体的物理属性决定。目前已有一些支持力反馈的数据手套和操纵杆设备，可在一定程度上使用户感受到反作用力的方向和大小。例如，如果戴有力反馈手套的“单兵”在基于DVENET平台的演练中抠动冲锋枪的扳机，能够感觉到开火的震动。 如果没有触觉的反馈，当用户接触到虚拟世界的某一物体时容易使手穿过物体。解决这种问题的方法首现是在虚拟环境中实现各种碰撞检测，进一步可在交互设备中增加触觉反馈。触觉反馈主要是通过视觉、气压感、振动触感、电子触感和神经肌肉模拟等方法来实现的。电子触感反馈是向皮肤反馈频率和宽度可变的电脉冲，而神经肌肉模拟反馈是直接刺激皮层。这两种方法的最大问题是安全性。相对而言，目前使用较多的是气压式和振动触感式触觉反馈方法。 3.高效的计算机信息处理 虚拟现实是以计算机技术为核心的现代高新科技，高效的计算机信息处理技术是直接影响虚拟现实系统性能的关键。无论是将现实世界中的多维信息映射到计算机的数字空间，生成虚拟世界，或是根据系统需求对虚拟环境中的各种信息进行高效准确的计算和处理，还是将计算机生成的虚拟世界所表现出的各种刺激反馈给用户，都有赖于高效的计算机信息处理技术。 一般来说，虚拟现实中高效的计算机信息处理需要高计算速度，强处理能力，大存储容量和强联网特性等特征。由于涉及的关键技术很多，难以逐一详细叙述，仅以DVENET为例介绍主要的有关虚拟现实中高效计算机信息处理技术的研究。 （1）服务于实物虚化和虚物实化的数据转换。接受从各种传感器和输入设备输入到虚拟环境的多维信息数据，并为进一步的高速计算作初步的预处理(例如多种信息数据的融合)；将抽象的计算处理结果形象化并发送给各种输出设备，使用户获得相应的感知。DVENET已经开发出地理信息数据的转换软件，各种输入操作数据、输出操作数据和虚拟环境中各种虚拟实体的运动控制数据的高效处理算法和软件等。 （2）实时、逼真图形图像生成技术。虚拟环境的大部分对象物体具有一定的三维几何模型，图形图像的生成主要是计算和处理模型中的几何元素（点、线、面、体）和外表属性（颜色、材质、纹理、光照），并将结果映射到相应的可视化设备，为用户提供视觉感知。图形系统的实时性直接影响到虚拟环境的真实性，虽然高档CIG（Computer Image Generator）每秒可以绘制上百万个多边形，但在较低挡硬件平台上运行或者采用开销较大的图形方法（如光线跟踪、辐射度技术）加强视景逼真性时，必须考虑高效的图形绘制技术。DVENET采用了多细节层次表示（LOD，Level Of Detail）和Morphing技术，在保证层次平滑过渡的同时减少图形负载；提出了一种大规模虚拟环境中动态多层次的光照表示和处理方法LOL（Level of Light），在一定程度上解决了虚拟环境逼真性和实时性之间的矛盾。同时还提出了一种虚拟环境中多种烟尘干扰下能见度的实时计算方法，并给出了烟尘可信度的衡量机制。 （3）声音合成与空间化技术。当虚拟环境中一定区域内同一时刻存在多种声音时，必须将各种声音合成，计算出声音的方向和大小后反馈给用户。例如，当用户驾驶的高炮在基于DVENET平台的演练中对直升机开火攻击时，根据声音可以大体确定直升机和爆炸的方位，感觉到直升机马达声由远到近或由近到远的变化，也可以听到高炮马达声、直升机马达声、开火声和爆炸声等多种声音的合成效果。 （4）数据管理。主要指虚拟环境中数据库的生成，各种信息数据的融合、数据间的转换、数据压缩和数据的标准化研究。目前，DVENET也在着手制定描述虚拟环境的数据格式和标准。 （5）模式识别。主要研究命令识别和语音识别，人面部表情信息的检测、跟踪和识别，手势的检测、合成和识别等。DVENET目前主要是通过数据手套和数据衣实现部分肢体动作的识别。 （6）人工智能方面的研究。例如各种应用领域内的专家系统、自组织神经网、遗传算法等。DVENET中计算机生成兵力（CGF）的研究，就利用了类比推理、层次分析等方法来实现CGF的路径规划和障碍规避。 （7）网络、通信、分布式和并行计算技术。DVENET已经建立了一个用于分布式虚拟环境研究的包含远程节点的专用网络和相应的通讯服务软件，可以将远程异地VR子系统互联，构建共享一致的分布式虚拟环境。在此环境中可以进行远程异地节点间的协同和对抗操作。 4.技术特征 沉浸（Immersion）、交互（Interaction）、构想（Imagination）是VR系统的三个基本的特征。也就是说，沉浸于由计算机系统创建的虚拟环境中的用户，可以借助必要的设备、以各种自然的方式与环境中的多维化信息进行交互作用、相互影响，获得感性和理性的认识并能够深化概念、萌发新意。同时，作为高度发展的计算机技术在各种领域的应用过程中的结晶和反映，VR技术具有以下主要特征： （1）依托学科的高度综合化。VR不仅包括图形学、图象处理、模式识别、网络技术、并行处理技术、人工智能、高性能计算，而且涉及数学、物理、电子、通信、机械和生理学，甚至与天文、地理、美学、心理和社会学等密切相关。 （2）人的临场化。用户与虚拟环境是互相作用、互相影响的一个整体中的两个方面。 （3）系统或环境的大规模集成化。VR系统或环境是由许多不同功能、不同层次且具有相当规模的子系统所构成的大型综合集成系统或环境。 （4）数据表示的多样化和标准化，数据存储的大容量、数据传输的高速化与数据处理的分布式和并行化。
上一篇：数字语言逼近真实世界[ 10-09 ]
下一篇：虚拟现实(vr)硬件之立体眼镜介绍[ 10-22 ]
