赵沁平:假作真时真亦假 虚拟现实技术的应用前景
内容提要:采用光线跟踪技术实现高真感数控车削加工的图形生成,并以离线方式实现其加工过程仿真。在仿真过程中利用特征造型技术避免了繁复的布尔运算,对光线跟踪技术在整体光照模型下实时地产生高真感画面进行了探讨。
看过《泰坦尼克号》的人或许都不会忘记,借助头盔式显示器和可远程操作的机械手打捞遗留在沉船上物品的场景;参与过MUD游戏和虚拟社区的人,也必将沉浸于其真实感、临场感的体验中。它们带给我们的共同感受是:虚拟和现实之间已经没有明显的界限。虚拟现实的广泛应用前景使之成为目前最具影响力的技术之一。近日,本刊记者走访了国家863计划重点项目“分布式虚拟环境”课题与项目集成负责人、北京航空航天大学计算机系虚拟现实与可视化新技术研究室的赵沁平教授,让他带我们一起体验虚拟现实。
问:虚拟现实是近来国内外讨论的热点话题之一。有人把虚拟现实视为是一种新兴科技,也有人把它视为是一种理念的实现。您对此怎么看?
答:传统的信息处理环境一直是“人适应计算机”,而当今的目标或理念是要逐步使 “计算机适应人”,人们要求通过视觉、听觉、触觉、嗅觉,以及形体、手势或口令,参与到信息处理的环境中去,从而取得身临其境的体验。这种信息处理系统已不再是建立在单维的数字化空间上,而是建立在一个多维的信息空间中。虚拟现实技术就是支撑这个多维信息空间的关键技术。
虚拟现实(Virtual Reality,简称VR),是一种基于可计算信息的沉浸式交互环境,具体地说,就是采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境,用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响,从而产生亲临等同真实环境的感受和体验。
VR思想的起源可追溯到1965年Ivan Sutherland在IFIP会议上的《终极的显示》报告,而Virtual Reality一词是80年代初美国VPL公司的创建人之一Jaron Lanier提出来的。VR系统在若干领域的成功应用,导致了它在90年代的兴起。虚拟现实是高度发展的计算机技术在各种领域的应用过程中的结晶和反映,不仅包括图形学、图像处理、模式识别、网络技术、并行处理技术、人工智能等高性能计算技术,而且涉及数学、物理、通信,甚至与气象、地理、美学、心理学和社会学等相关。
问:如您所述,VR技术带来了人机交互的新概念,带给用户的是强烈的真实感和临场感的体验,那么,这种沉浸式交互环境的实现依托哪些关键技术呢?
答:总的来说,实物虚化、虚物实化和高性能的计算处理技术是VR技术的3个主要方面。
实物虚化是现实世界空间向多维信息化空间的一种映射,主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等关键技术,这些技术使得真实感虚拟世界的生成、虚拟环境对用户操作的检测和操作数据的获取成为可能。它具体基于以下几种技术。(1)基本模型构建技术:它是应用计算机技术生成虚拟世界的基础,它将真实世界的对象物体在相应的3D虚拟世界中重构,并根据系统需求保存部分物理属性。例如车辆在柏油地、草地、沙地和泥地上行驶时情况会有所不同,或对气象数据进行建模生成虚拟环境的气象情况(阴天、晴天、雨、雾)等等。(2)空间跟踪技术:主要是通过头盔显示器、数据手套、数据衣等常用的交互设备上的空间传感器,确定用户的头、手、躯体或其他操作物在3D虚拟环境中的位置和方向。(3)声音跟踪技术:利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪。(4)视觉跟踪与视点感应技术:使用从视频摄像机到X-Y平面阵列、周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影,计算被跟踪对象的位置和方向。
虚物实化是指确保用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知的关键技术。能否让参与者产生沉浸感的关键因素除了视觉和听觉感知外,还有用户能否在操纵虚拟物体的同时,感受到虚拟物体的反作用力,从而产生触觉和力觉感知。力觉感知主要由计算机通过力反馈手套、力反馈操纵杆对手指产生运动阻尼从而使用户感受到作用力的方向和大小。触觉反馈主要是基于视觉、气压感、振动触感、电子触感和神经、肌肉模拟等方法来实现的。
高性能计算处理技术主要包括数据转换和数据预处理技术;实时、逼真图形图像生成与显示技术;多种声音的合成与声音空间化技术;多维信息数据的融合、数据压缩以及数据库的生成;包括命令识别、语音识别,以及手势和人的面部表情信息的检测等在内的模式识别;分布式与并行计算,以及高速、大规模的远程网络技术。
问:提到虚拟现实,人们容易和模拟仿真混淆,请问虚拟现实与模拟仿真有什么异同呢?
答:概括地说,虚拟现实是模拟仿真在高性能计算机系统和信息处理环境下的发展和技术拓展。我举一个烟尘干扰下能见度计算的例子来说明这个问题。在构建分布式虚拟环境基础信息平台应用过程中,经常会有由燃烧源产生的连续变化的烟尘干扰环境能见度的计算,从而影响环境的视觉效果、仿真实体的运行和决策。
某些仿真平台和图形图像生成系统也研究烟尘干扰下的能见度计算,仿真平台强调烟尘的准确物理模型、干扰后的能见度精确计算以及对仿真实体的影响程度;图形图像生成系统着重于建立细致的几何模型,估算光线穿过烟尘后的衰减。
而虚拟环境中烟尘干扰下的能见度计算,不但要考虑烟尘的物理特性,遵循烟尘运动的客观规律,计算影响仿真结果的相关数据,而且要生成用户能通过视觉感知的逼真图形效果,使用户在实时运行的虚拟现实系统中产生亲临等同真实环境的感受和体验。
问:我们知道,ARPAnet是Internet的鼻祖,而DARPA和美国陆军共同研制的分布式虚拟战场环境可以看作是VR技术最早的研究与应用的领域之一,您能否谈一下虚拟现实与互联网技术的结合点是如何体现的呢?
答:事实上,分布式虚拟现实可以看作是这两者的结合。分布式虚拟现实可以看作是基于网络的虚拟现实系统,是可供多用户同时异地参与的分布式虚拟环境,处于不同地理位置的用户如同进入到同一个真实环境中,通过姿势、声音或文字等“在一起”进行交流、学习、训练、娱乐,甚至协同完成同一件复杂产品的设计或进行同一任务的演练。
目前,分布式虚拟现实的研究基于两类网络平台。一是在Internet上,可追溯到早期基于文本的多参与者游戏MUD,还有基于虚拟现实建模语言(VRML)标准的远程虚拟购物等。VRML是一种可以发布3D网页的跨平台语言,可提供一种更自然的体验方式,包括交互性、动态效果、延续性以及用户的参与探索。
另一类则是在高速专用网上,如采用ATM技术的美国军方的国防仿真互联网(Defense Simulation Internet,DSI)。最早的分布式虚拟战场环境则是1983年DARPA和美国陆军共同制定的SIMNET (SIMulator NETworking)研究计划,这一计划将分散在不同地点的地面坦克、车辆仿真器通过计算机网络联合在一起,进行各种复杂任务的训练和作战演练。从1994年开始,美国DARPA与美国大西洋司令部USACOM联合开展了战争综合演练场(Synthetic Theater Of War,STOW)的研究,建成了一个包括海陆空多兵种、有3700多个仿真实体参与的地域范围覆盖
问:除了军事领域的应用外,您认为虚拟现实技术还将从哪些方面给人们的生产和生活带来冲击呢?
答:人类在许多领域面临着越来越多前所未有或前所难为而又必须解决和突破的问题,例如,载人航天、核试验、核反应堆维护、包括新武器系统在内的大型产品的设计研究、气象及自然灾害预报、医疗手术的模拟与训练以及我们前面谈到的多兵种军事联合训练与演练等。如果按传统的方法解决这些问题,必然要花费巨额资金,投入巨大的人力,消耗过长的时间,甚至要承担人员伤亡的风险。VR技术的产生和发展,为解决和处理这些问题提供了新方法和新途径,必将对社会、对人们的生活产生巨大影响。
目前VR技术的应用除了军事领域外,主要集中在以下几个方面:首先是用于产品设计与性能评价。波音777飞机的设计是虚拟原型机的应用典型实例,这是飞机设计史上第一次在设计过程中没有采用实物模型。波音777由300万个零件组成,所有的设计在一个由数百台工作站组成的虚拟环境中进行。设计师戴上头盔显示器后,可以穿行于设计中的虚拟“飞机”,审视“飞机”的各项设计指标。
其次是教育与娱乐领域。将VR技术应用于教育可以使学生能够游览海底、遨游太空、观摩历史城堡,甚至深入原子内部观察电子的运动轨迹和体验爱因斯坦的相对论世界,从而更形象地获取知识,激发思维。能使用户“沉浸”于和谐人机环境的VR技术在娱乐业有着极其广泛的应用。第一个大规模的VR娱乐系统“BattleTech”,将每个“座舱”仿真器连网进行组之间的对抗,3D逼真视景、游戏杆、油门、刹车和受到打击时的晃动给用户很强的感官刺激。
VR还可以应用于高难度和危险环境下的作业训练。如医疗手术训练的VR系统,用CT或MRI数据在计算机中重构人体或某一器官的几何模型,并赋予一定的物理特征(例如密度、韧度、组织比例等),通过机械手或数据手套等高精度的交互工具在计算机中模拟手术过程,以达到训练、研究的目的。美国的NASA和欧洲空间局ESA曾成功地将VR技术应用于航天运载器的空间活动、空间站的操作和对哈勃太空望远镜维修方面的地面训练。
问:据我所知,目前国内的一些科研院校都在做虚拟现实方面的研究,请您谈一下VR技术在我国研究发展的情况。
答:VR技术是一项投资大、具有高难度的科技领域,和一些发达国家相比,我国还有一定的差距,但已引起政府有关部门和科学家们的高度重视。“九五”攻关计划、国家863计划、国家自然科学基金会等都把VR列入了资助范围。我国军方对VR技术的发展关注较早,而且支持研究开发的力度也越来越大。
国内一些院校和科研单位,陆续开展了VR技术的研究,已经实现或正在研制的虚拟现实系统也有不少。像北京航空航天大学计算机系虚拟现实与可视化新技术研究室集成的分布式虚拟环境DVENET (Distributed Virtual Environment NETwork);浙江大学心理学国家重点实验室开发的虚拟故宫、CAD&CG国家重点实验室开发出桌面虚拟建筑环境实时漫游系统;清华大学计算机系对虚拟现实和临场感方面进行了研究,例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感试验等方面都具有不少独特的方法;另外,西安交通大学、哈尔滨工业大学、国防科技大学、装甲兵工程学院、中科院软件所、上海交通大学等单位也进行了不同领域、不同方面的VR研究工作,并取得了一批研究成果。
问:请您介绍一下北京航空航天大学虚拟现实与可视化技术研究室的VR研究成果,此外,作为VR领域研究多年的专家,您认为这一领域面临的挑战是什么?
答:北航计算机系虚拟现实与可视化新技术研究室在国家863计划支持下,作为集成单位,与国防科技大学、浙江大学、装甲兵工程学院、中科院软件所和解放军测绘学院等单位一起建立了一个用于虚拟现实技术研究和应用的分布式虚拟环境基础信息平台DVENET。DVENET由一个专用广域计算机网络以及支持分布式虚拟环境研究与应用的各种标准、开发工具和基础信息数据(如3D逼真地形)组成。基于DVENET我们开发了一个分布式虚拟战场环境。目前,应用DVENET,可以实现包含远程节点的数十个武器平台在同一块逼真地形下进行协同作业或对抗演练。参演人员(即用户)可以通过不同的交互方式控制真实的或虚拟的武器仿真平台在虚拟战场环境中进行异地协同与对抗战术演练。总体上说,DVENET的技术水平已接近美国的STOW。
除了DVENET以外,我们还将VR技术向民用领域推广,给中国科学技术馆研制了“虚拟珠峰飞行漫游系统”,用户可以驾驶虚拟直升机飞越虚拟珠穆朗玛峰,以体验VR的魅力;我们还给房地产公司开发了室内外漫游系统,用户可以在虚拟房屋中漫游审视,以决定是否订购这种拟建房产。
总的来说,虚拟现实是一个充满活力、具有巨大应用前景的高新技术领域,但仍存在许多有待解决与突破的问题。为了提高VR系统的交互性、逼真性和沉浸感,在新型传感和感知机理、几何与物理建模新方法、高性能计算,特别是高速图形图像处理,以及人工智能、心理学、社会学等方面都有许多挑战性的问题有待解决。但是我们坚信在这一高新技术领域我国肯定会有所作为的。