虚拟现实中的科学技术问题-赵沁平
来源：第三维度
作者：赵沁平
单位：北京航空航天大学
计算机科学工作者有永恒的三大追求目标：使计算机系统更快速、更聪明和更适人。计算机系统的聪明、适人程度依赖于计算机系统的快速，同时也有各自的研究内容，共同为计算机系统在现代社会发挥不可缺少的巨大作用做出贡献。虚拟现实就是为使计算机系统更适人而发展起来的一个学科交叉性很强的科学技术领域。
虚拟现实技术的发展
虚拟现实（Virtual Reality，VR）是以计算机技术为核心，结合相关科学技术，在视、听、触感等方面生成与一定范围真实环境近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。
赵沁平：中国计算机学会高级会员，
北京航空航天大学虚拟现实技术与国家重点实验室主任
虚拟现实概念和研究目标的形成与相关科学技术，特别是计算机科学技术的发展密切相关，经历了以下几个阶段。
计算机仿真与模拟器
1929年埃德温·林克（Edwin A.Link）发明飞行模拟器，使乘坐者实现了对飞行的一种感觉体验。这是人类模拟仿真物理现实的初次尝试。其后随着控制技术的不断发展，各种仿真模拟器陆续问世。
计算技术的发展，推动了建模（控制模型）与仿真技术的发展，逐步形成了计算机仿真学科。
计算机图形显示与人机交互
1965年，计算机图形学的重要奠基人伊万·萨瑟兰（Ivan Sutherland）博士发表了一篇短文“The Ultimate Display”。从计算机显示和人机交互的角度提出了模拟现实世界的思想，推动了计算机图形图像技术的发展，并启发了头盔显示器、数据手套等新型人机交互设备的研究。
1966年，美国麻省理工学院的林肯实验室研制出了第一个头盔式显示器，随后又将模拟力和触觉的反馈装置加入到系统中。
虚拟环境与分布式虚拟现实系统1983年美国陆军和美国国防部高级研究计划署（Defense Advanced Research ProjectsAgency，DARPA）共同制定并实施SIMNET，开创了分布交互仿真技术的研究和应用。
SIMNET的一些成功技术和经验对分布式虚拟现实技术的发展有重要影响。1984年，麦格里威（M.McGreevy）和哈姆弗瑞斯（J.Humphries）开发了虚拟环境视觉显示器，将火星探测器发回地面的数据输入计算机，构造了三维虚拟火星表面环境。此外还有VIDEOPLACE、VIEW等。虚拟环境的开发进一步推动了虚拟现实理论和技术的发展。
虚拟现实系统开发平台与标准20世纪90年代一批用于虚拟现实系统开发的软件平台和建模语言出现。1989年Qu a n t um 3D公司开发了Op e nGVS、1992年Sense8公司推出WTK。1994年在日内瓦召开的第一届WWW1大会上，首次提出了VRML2，开始了虚拟现实建模语言相关国际标准的研究制定。
1993年IEEE3通过了分布交互仿真IEEE1278 -DIS标准。2000年IEEE又通过了IEEEP1516 HLA标准，同年HLA 1.3成为美军有关系统的强制标准。推动了分布式虚拟现实系统的发展。
虚拟现实的技术特点
1 9 8 9 年， 美国的加隆· 雷尼尔（ J a r o nLanier）提出了虚拟现实一词，这一词语被研究人员普遍接受，成为这一科学技术领域的专用名称。1990年，在美国召开的SIGGRAPH4的会议上对虚拟现实技术进行了讨论，指出虚拟现实技术研究的主要内容是实时三维图形生成技术、多传感器交互技术，以及高分辨率显示技术等。
1993年，迈克尔·海姆（Michael Heim）在其著作中刻画了虚拟现实的几个特征：模拟性、交互作用、人工现实、沉浸性、全身沉浸和网络通信。
1 9 9 4 年， 伯第亚（ B u r d e a ） 等用3 I（Immersion、Interaction、Imagination）概括了虚拟现实的基本特征。虚拟现实的科学技术问题类设W为现实世界（假想世界）所有状态的集合，将W划分为不交子集的集合T，以使不同的虚拟现实建模方法可以模型化对应划分中的现实世界状态；C是计算机状态序列的集合；E是人机交互设备的集合e∈ E，S(e)为e的状态序列的集合。
首先定义一个选择操作see，它把W中的状态映射到它所选择的划分：see :W →T为表征对现实世界的模拟，定义建模函数in，它把现实世界状态划分映射到计算机状态序列集：
in:T→p(C)（p(C)为C的幂集）为表征虚拟世界中对象对外界的作用，定义虚拟对象表现函数show，它把计算机状态序列集映射到人机交互设备的状态序列集合：
show:p(C)→S(E)（S(E)为所有交互设备的状态序列集）为表征人对虚拟环境的控制，定义控制函数do：
do:C×S(E)→C最后定义虚拟现实系统为八元组：< W，T，C，E，see，in，show，do >in，show，do 三个函数代表了虚拟现实的三大科学技术问题类。
in是虚拟现实中的建模，可以是一个算法、公理系统，也可以是一个有结构的人工计算机输入过程；show是虚拟现实对象的表现，可以是一个算法、数据变换，也可以是有结构的数据输出流，与表现设备密切相关；do是人或外部世界对虚拟环境的控制，是有结构的数据输入流，与交互设备密切相关。
图1 虚拟现实
虚拟现实系统的分类
虚拟现实是人类在探索自然、认识自然过程中创造产生，逐步形成的一种用于认识自然、模拟自然，进而更好地适应和利用自然的科学方法和科学技术。
任何一种科学技术都有其特有的作用和适用对象。有专家说现在虚拟现实技术对于实际应用领域的关系就如同数学对于物理。
1. 从系统的功能和应用的角度分类
训练演练类系统：应用于各种危险环境（如核设施）、作业对象难以获得（如航天器维修），以及耗费巨大（如军事演练）的行业领域的业务训练和演练。
设计规划类系统：用于新建设施、设备的演示验证，如城市、社区的规划设计、设备产品的虚拟设计与虚拟组装等。
展示娱乐类系统：将现实世界或假想世界场景数字化，供用户逼真地观赏体验，如虚拟景观、数字博物馆，以及各种游戏、影视制作等。
图2 场景漫游虚拟现实系统
2. 从沉浸式体验角度分类
非交互式体验系统：用户对虚拟环境的体验是被动的，体验的内容完全是规划好的，如场景漫游、四维影院等。
人-虚拟环境交互式体验系统：用户可以通过交互设备与虚拟环境进行交互，虚拟环境中的景物对交互行为做出实时响应，使用户能感受到虚拟环境的变化，从而产生对相应现实世界的体验，如飞行模拟器等。
群体-虚拟环境交互式体验系统：人-虚拟环境交互式体验系统的多机化、网络化。多个用户可以共享一个虚拟环境，同时与包括用户化身在内的虚拟环境进行交互，感受到和虚拟环境及其他用户相互作用的体验，如军事仿真演练等。
图3 单兵虚拟现实训练系统
下面是几种虚拟现实系统中的数据流：
虚拟场景是由开发人员通过视频、图像和扫描仪等数据采集设备和建模软件建立的，漫游时可通过鼠标、操纵杆等输入控制数据来调度场景的模型数据，从而选择漫游的视点。
用户通过数字化武器产生控制数据，与虚拟现实场景对象发生作用，结合系统规则形成的平台数据生成新的模型数据，再经过渲染算法生成新的感知数据。
多人对抗演练虚拟现实系统可以在单兵虚拟现实训练系统基础上开发建立，并在DIS、RTI5等分布式虚拟现实系统运行支撑环境支持下运行。
需要进一步研究的科学问题
问题1 可建模、模型复杂性与模型可信性
现实世界的所有事物是否都是可以模型化的，或者说可以数字化建模的吗？这个问题与可计算性和模型的复杂性有关，与模型逼近现实的期望程度也有关。例如，完全真实的海浪是难以建模的，但简化的概念性海浪模型是可以建立的；完全符合现实的气象模型是难以建立的，但是简化的气象模型总是可以建立的。
问题在于简化以后的模型在多大程度上是可用和可信的。因此，可建模、模型复杂性、模型简化与模型可信性的评价、度量，以及我们应该如何平衡可建模性和对模型的期望值等是需要研究的重要理论问题。
问题2 图像的相似性测度与图像质量评价
图像相似性是模型相似性问题的一个典型代表，是图像识别、图像检索等领域的一个基本问题，也是虚拟现实中的重要问题。比较两张图像的相似性程度，或者评价一张图像的失真程度对人来说并不太难，但对计算机来说是一个至今没有解决的问题。原因之一就在于难以找到有效的图像相似性定量测度。与此相关，是否可以找到一种评价图像质量（与现实图像近似程度）的客观定量方法也是尚需解决的问题。
问题3 复杂逼真虚拟环境的构造
与海量数据管理目前虚拟环境的构造方法有数学模拟和复制现实两大类，它们具有各自的优点和固有的局限。随着虚拟现实应用的不断深化，对虚拟环境复杂性和逼真性的要求也越来越高。解决这一问题是虚拟现实建模研究重要任务。
复杂逼真虚拟环境拥有集中或分布存储的海量数据，这些海量数据的有效调度、检索和维护也是具有挑战性的问题。
问题4 虚拟实体的物理与行为建模
虚拟实体的建模涉及几何、物理特性和行为等几个方面。对于几何建模，无论是理论、方法研究还是建模工具开发，由于起步时间较早，因此研究较多。目前物理特性建模主要集中在虚拟实体的运动学和动力学特性的研究，如果要进一步提高逼真度，就必须考虑虚拟实体的材料、摩擦力、弹塑性和粘稠性等物理特性。物理特性的计算模型、高效算法以及有效的表现方式和方法是需要研究解决的三大问题。由于人类认识世界的无限性，因此可以说物理特性建模是虚拟现实领域中的一个永恒的方向。
在行为建模方面，计算机生成实体及其形成的聚合类实体是重要的研究内容。虚拟实体行为建模的核心问题是人工智能问题。虽然目前人工智能研究进展艰难，但是由于目前虚拟实体行为建模借鉴人工智能研究成果的程度还比较低，因此如果能将人工智能已有的研究成果创造性地应用于行为建模，无疑会有效提高虚拟实体行为的智能水平。
问题5 虚拟景物和真实景物的融合
虚拟景物和真实景物的融合，包括在动、静态真实场景画面中融入虚拟景物和在虚拟环境中融入动、静态真实景物。增强现实技术的研究目标就是要解决这一问题。这一方向有数据融合、模型融合等许多理论问题和虚实景物的准确三维注册、虚实景物的空间遮挡关系、虚实光照效果的融合处理等关键技术问题需要突破，一系列专门工具和支撑平台也有待开发。
问题6 人机交互的沉浸感
用户对虚拟环境体验全过程中的操作、信息发布、信息获取与传递等要与在真实环境中的感觉相似。这首先与体验时的人机交互方式和设备有关。
沉浸感与虚拟环境的逼真性和实时性密切相关，这类似于算法的时间和空间效率，具有一定的对偶性，或者说两者测度的乘积在一定水平就是一个常量。这时就需要根据实际需求对两者进行权衡。
问题7 人机交互新机制人机交互机制直接影响
虚拟环境的逼真性和沉浸感，涉及人机交互方式、设备和交互信息处理等几个方面。人机交互的自然化和智能化是这一领域追求的目标。今后的发展，一是提高现有人机设备的有效性、精准性；二是增加用户交互的移动性，如借助穿戴计算机、个人数字助理与虚拟融合环境交互；三是探索基于新概念的人机交互设备，如基于全息信息的立体显示等；四是提高人机交互的智能水平，如机器的识别理解等。这项问题的突破将进一步提高人机交互的沉浸感。
问题8 分布式虚拟现实的实时性与一致性
从计算机网络设施的角度来说，分布式虚拟现实有基于高速专用网络和基于互联网两类。两者的问题有所不同，但是共同的问题是分布式虚拟现实的实时性与分布是虚拟现实环境中的时间一致性、事件一致性和空间一致性。产生时间和事件一致性问题的根本原因是网络各有的长度随机的时间延迟。这一问题能否彻底解决尚无明确答案。空间一致性问题主要是对诸如动态地形变化等空间改变的一致性维护。虽然研究者对这些问题提出了一下不同的解决方案，但是仍需进一步研究、实验和分析。
问题9 应用系统支持平台的开发策略
将不同领域虚拟现实系统开发和应用所需要的公共服务和不同虚拟现实系统的共性部分尽可能抽象出来，建立公共服务平台和工具，是提高分布是虚拟现实应用系统的可重用性和开发效率的有效途径。这些平台和工具涉及虚拟现实系统开发和应用的各个阶段和生命周期，涉及不同类型的用户，种类繁多。需要选择先进的开发策略、方法和框架，研制大型开发平台，如图形平台、RTI等一集专用部件，如CPU、PPU等。
针对虚拟现实系统的各种性能，如逼真性、交互性、实时性，特别是虚拟现实应用的可信度等，建立合理的评价标准，是推动虚拟现实应用发展的重要因素。目前这方面的研究较少，问题本身也具有难度，大多数性能难以定量描述。应当结合具体虚拟现实技术的开发，尽快开展这一方向的研究。
在开发虚拟现实应用系统的同时，也需要开展对虚拟现实系统结果的评价方法的研究，开发支持各种应用指标的评价工具。合理的应用指标与结果评价度量方法将有助于更好的开发满足需求的虚拟现实应用系统，并在系统开发早期预测和控制系统开发的过程。
