基于虚拟现实技术的网络课件写作系统
来源:第三维度
作者:姚顾波
单位:北京师范大学现代教育技术研究所
导师:何克抗教授
[摘 要] QuickTime VR是QuickTime Virtual Reality 的简称。是一种基于静态图象处理的,在微机平台上能够实现的初级的桌面虚拟现实技术,具有图片级的细节分辨率,真实性很强。它不需要数据手套、头盔式显示器等特殊的硬件设备,它的出现使得以往专业实验室中成本昂贵的虚拟现实技术在教育领域的普及和应用有了广阔的前景。Internet 作为一条连接世界的信息高速公路,具有其他任何媒体不可比拟的资源优势。根据教学设计的理论将虚拟现实技术有机地融入到教学软件的设计中,可以创建真实的情景学习环境,具有巨大的应用潜力。
一 理论基础
1.基于Internet的远距离教育
在人类文明发展历史长河的最近几千年内,信息技术跨越了好几个台阶。从数千年前烽火台上的狼烟传递信息到秦皇朝的快马驿路;从百年前出现的有线电报到今天四通八达的电话传真;到20世纪的最后十年内,人类已经大踏步地跨进了以计算机网络技术为依托的时代,我们把它称为信息时代。信息时代的特征之一就是计算机技术的广泛应用。计算机网络就是计算机信息储存、加工和传递等技术的协同产物。作为信息技术基础的计算机网络,是当今信息社会建设和发展的主要物质基础,是近年来发展最快的高技术产业之一。国际互连网络棗Internet就是计算机网络发展的最新高度。
世界信息化的进程给人类社会的再一次腾飞带来了新的机遇,由于Internet本身就是在教育科技领域内首先发展起来的,它反过来当然对教育系统也会产生巨大的影响。国际上教育比较发达的国家,如美国,千千万万中学和小学都建立了校园网络系统并连接到互连网络上。其中的K-12计划,就是将全美国教育系统无论大小学校的教育改革的情况都放在网上进行交流,及时学习先进的教育思想,收到很好的效果。这种方式的教育给人类带来了一个极好的机会,那就是,以现代信息计算机互连网络的技术向教育界锐意改革的人们提供了一个从传统应试教育模式向现代的、更合理、更全面、更有效的教育模式转化的途径。抓住了这个机会,就有可能将我们的教育事业推向一个新的高度;否则,将会使得我们与先进的教育思想的差距进一步拉大。
在传统的远距离教育中,我们大多通过邮政系统投递学习材料,或者通过电视广播播放函授教材。这种远距离教学模式的最大缺点是缺乏教学过程中的实时交互。在通过邮政系统实现的远距离教育中,可以实现一些交互性,但时间长,手续繁琐,费时费力,而在电视广播中,学生则处于无可选择的被动接收之中。由于传统远距离教育模式的诸多局限性,从而造成教学效率低下,学员的学习积极性不高。如何帮助学员解决疑难问题,提高学员的学习积极性,是我们远距离教育系统中急需解决的问题之一。
由于Internet具有影响范围广,能够方便快捷的传递信息,具有近乎实时的交互性,本身又是一个巨大无比的信息库等诸多优点。利用Internet作为远距离教育的新型手段,为我们解决传统远距离教育模式中存在的问题带来了希望。
基于Internet的远距离教育是最近在Internet网上高速发展的一个领域。在Internet上实现远距离教育,就是以计算机网络为基础,教师通过网络把教学信息传给每个学员,学生通过连网的计算机来进行学习和接受信息。利用远距离的高速数字通信线路,我们可以在计算机网络上运行五种典型的教学方式:双向式授课、协作学习、个别化学习、网上答疑和试题库。利用Internet,可以在诸多学校之间共享优秀的教师资源,实现优势互补,缩短由于地区经济发展的先后而引起的教育水平的差异。
利用Internet来进行远程教学,与传统远距离教育模式相比,有如下优势:1) 极大的增强了教师和学生、学生和学生之间的交互性、打破了教师和学生、学生和学生之间的相对孤立状态。这种交互性是近乎实时的、而且可以利用多种渠道实现,比如:电子邮件,BBS,WWW,基于网络的协作学习系统,网上在线交谈等等。2) 学习的异步性:利用网络进行远距离教育,可全天24小时进行,每个学员都可以根据自己的实际情况来确定学习时间、内容和进度,可随时在网上下载相关学习内容或向老师和同学请教。3) 学习信息的广泛性:网络同多媒体技术、虚拟现实技术相结合,可实现虚拟图书馆、,虚拟实验室、虚拟课堂等;可为学生提供多层次、全方位的学习资源,可引导学生由被动式学习向主动式学习转变。4) 评价的及时性:在传统的远距离教育中,对学生进行评价是件非常困难的事,要耗费大量的人力和物力,而学习过程中的形成性评价是提高学习效率的有效途径。通过网络上的电子题库和自动评价系统,可使学生及时得到有关自己学习过程的反馈及有针对性的诊断,使得学生能够及时调整自己的学习。
利用Internet进行远距离教育的上述优良特性,克服了传统远距离教育的局限性,它将形成一种主动的、协作的、开放的学习模式,并充分考虑双向教学环境,采取有提问、有反馈、有交流的教学方法,既保留了传统电教中的生动形象性和不受时间空间限制等优点,又有相互访问,双向交流,学习资源、学习内容广泛等优良特性,它可以适用于学校教育、成人教育、继续教育等各类远距离教育的需要。它必将在我国和世界范围内的远距离教育领域起越来越重要的影。
2.当前的课件写作系统概述
1)交互式可视化多媒体集成环境
CAI课件最初是用通用程序设计语言直接编写的,这些语言有Visual Basic、Delphi、Visual C++等。程序设计语言有较强的计算功能、逻辑判断、图形和字符处理功能,控制灵活、代码的执行效率比较高,但是这种开发方式费事费力、开发的周期长、成本高,而且不能有效地将教学设计的思想方便地应用于开发过程中。因此,课件开发成为计算机辅助教育的瓶颈。
写作系统是个非编程的课件生成系统,通常分为两类,样板型写作系统和集成型写作系统。前者依据某种教学策略提供样板结构,写作者根据系统提示填入适当的信息,系统自动形成可使用的课件,如天津大学开发的CACAS中文有声课件写作系统。集成型写作系统同时提供写作语言和丰富的样板给作者,既有方便性,又有充分的灵活性,如美国Online公司的OASYS系统。
随着微机系统性能的不断提高与多媒体技术的发展,以及形象直观的图形用户界面的普及,出现了一些优秀的交互式多媒体著作系统,其中比较著名的有:Hppercard、Authorware、Director、ToolBook等,它们都能够集成文字、图形、声音、动画、视频等多媒体信息,实现各种信息的超文本链接,对部分媒体提供可视化的编辑环境。此外,它们还支持写作语言,为课件写作者更加精确、灵活地控制课件的运行方式提供了条件。
这类多媒体写作工具是目前使用的最为广泛的,它们大体可以分为四个主要的类别:基于页面(框面、卡片、帧)的,基于流程线(图标)的,基于时序的和基于脚本的。
国外一些通用的多媒体集成工具在价格、功能等方面与国内的课件开发需求还有很大的差距。于是国内的有识之士纷纷着手研制适合我们自己需要的课件写作系统,诞生了一批有特色的写作系统。
①方正奥思
方正奥思是由北京大学计算机研究所开发的一个可视化的交互式多媒体集成环境。它具有很强的文字、图形编辑功能,支持丰富的媒体播放方式和动态特技效果,能实现灵活的交互方式,能以层次结构组织信息并支持超文本链接。
它具有以下特点:采用基于树形结构的信息组织方法,支持超文本链接;采用基于时间描述的多层次多媒体同步模型,充分支持页内多个媒体对象的同步,协调播放要求;它提供了七种组对象,分别是串行、串接、并行、并接、并先、选择、动画,实现了七种预定的同步关系;提供了目标确定的路径动画和路径确定的路径动画这两种运动方式;具有方便的、开放的数据库管理功能,支持多媒体数据的存储和检索。
②JBMT多媒体课件写作工具
JBMT是北大青鸟软件公司开发的一个多媒体课件写作工具。除具备常见的多媒体写作工具的基本功能外,它还提供多种做练习的方式、判题、评分、记分及反馈处理的方法,具有丰富的数学处理能力,包括表达式自动排版和直观显示、数值计算、符号演算、函数绘图等。它支持写作语言,提供了比较齐全的语句。
③积件管理系统
积件是由教师和学生根据教学需要自己组合多媒体教学信息资源的教学软件系统。它是积件库和积件组合平台的有机结合,其中积件库包括多媒体教学资源库、微教学单元库、资料呈现方式库、教与学策略库、网上环境积件资源库,为
师生利用积件组合平台制作教学软件提供了充足的素材来源和多种有效途径;灵活易用的积件组合平台则是充分发挥师生创造力的有力工具。
积件思想是对多媒体教学信息资源和教学过程进行准备、检索、设计、组合、使用、管理、评价的理论与实践的高度概括,其内核主要体现在积件的基元性和可积性。
第一代教学软件(课件)是事先由教学设计确定的有固定程序的、定型情节的、模式化的、封闭的、整体的,不适应于千变万化的现实课堂教学。积件思想是继第一代教学软件棗课件之后的新一代的教学软件系统模式和教学媒体理论。
2)Internet环境下的写作工具
Internet的广泛使用,极大地改变了信息资源的组织方式与传递形式,同时也影响了人们的工作、生活、学习方式。由于WWW的信息管理和通信方式与单机的巨大差别,可视化多媒体集成环境已经不能使用Internet网上应用的要求,新的适用于网络运行的编程语言便产生了。
WWW技术的主要组成部分之一就是HTML语言(HyperText Markup Language),它实现了WWW上信息的超文本联接。Java是一种支持Internet网上编程的独立于平台的程序设计语言,它能够充分利用分布在网上的学习环境,具有良好的跨平台性、面向对象性,而且简单易学。Java applets用来产生动画,图象和声音,管理运行数据,能够被用户从网上下载并通过浏览器来运行,它扩展了HTML的功能,因此它可以被认为是Internet网上的多媒体写作工具。
VRML(Virtual Reality Modeling Language)的推出改变了信息局限于二维空间的历史,它允许人们通过浏览器操纵三维空间的虚拟现实环境和对象。
IMCAS(Internet Multimedia Courseware Authoring system )是美国犹他洲(Utah)洲立大学研制的一个写作平台,它与上述写作平台的明显不同就是,它运用Java语言进行设计,运行与Internet 的Web服务器和客户机上。它包括一个网上教学发送工具(IIDT)、网上写作工具(IIAT)和四个知识/数据库。IIAT是个典型的网上课件写作工具。用它开发一个课件需要三个步骤:知识获取、课程构建(curriculum construction)和教学策略形成。知识获取包括让写作者提供内容知识然后以帧的形式存放在知识库中,产生问题并存储于问题库中,确定媒体表现形式并将相应媒体形式存于资源库中。课程构建包括设置预定学习者的特征,设定学习目标,选择教学内容,形成课件结构,决定教学序列。
3.以“学”为中心的ID理论
1)认知建构主义[1]
建构主义学习理论和学习环境强调以学生为中心,不仅要求学生由外部刺激的被动接受者和知识的灌输对象转变为信息加工的主体、知识意义的主动建构者;而且要求教师要由知识的传授者、灌输者转变为学生主动建构意义的帮助者、促进者。可见在建构主义学习环境下,教师和学生的地位、作用和传统教学相比已发生很大变化。这就意味着教师应当在教学过程中采用全新的教学模式(彻底摒弃以教师为中心、强调知识传授、把学生当作知识灌输对象的传统教学模式)、全新的教学方法和全新的教学设计思想。以“学”为中心的教学设计理论正是顺应建构主义学习环境的上述要求而提出来的,因而很自然地,建构主义的学习理论就成为以“学”为中心的教学设计的理论基础[1]。
⑴ 强调以学生为中心[1]
传统的ID理论是以“教”为中心的,强调教师的“教”。其教学设计的目的是如何帮助教师把课备好、教好,而很少考虑学生“如何学”的问题。它有利于教师主导作用的发挥,有利于按教学目标的要求来组织教学。但是在个别化的学习中,按这种理论设计的教学系统中学生的主动性、积极性往往受到一定的限制,难以充分体现学生的认知主体作用。建构主义强调充分发挥学生的认知主体作用,重视学生在学习中的首创精神。[1]
⑵ 强调“情境”对意义建构的重要作用[1]
建构主义认为,学习总是与一定的社会文化背景即“情境”相联系的,在实际情境下进行学习,可以使学习者能利用自己原有认知结构中的有关经验去同化当前学习到的新知识,从而赋予新知识以某种意义;如果原有经验不能同化新知识,则要引起“顺应”过程,即对原有认知结构进行改造与重组。总之,通过“同化”与“顺应”才能达到对新知识意义的建构。在传统的课堂讲授中,由于不能提供实际情境所具有的生动性、丰富性,因而将使学习者对知识的意义建构发生困难。
⑶ 强调“协作学习”对意义建构的关键作用[1]
建构主义认为,学习者与周围环境的交互作用,对于学习内容的理解(即对知识意义的建构)起着关键性的作用。这是建构主义的核心概念之一。学生们在教师的组织和引导下一起讨论和交流,共同建立起学习群体并成为其中的一员。在这样的群体中,共同批判地考察各种理论、观点、信仰和假说;进行协商和辩论,先内部协商(即和自身争辩到底哪一种观点正确),然后再相互协商(即对当前问题摆出各自的看法、论据及有关材料并对别人的观点作出分析和评论)。通过这样的协作学习环境,学习者群体(包括教师和每位学生)的思维与智慧就可以被整个群体所共享,即整个学习群体共同完成对所学知识的意义建构,而不是其中的某一位或某几位学生完成意义建构。
⑷ 强调对学习环境(而非教学环境)的设计[1]
建构主义认为,学习环境是学习者可以在其中进行自由探索和自主学习的场所。在此环境中学生可以利用各种工具和信息资源(如文字材料、书籍、音像资料、CAI与多媒体课件以及Internet上的信息等)来达到自己的学习目标。在这一过程中学生不仅能得到教师的帮助与支持,而且学生之间也可以相互协作和支持。按照这种观念,学习应当被促进和支持而不应受到严格的控制与支配;学习环境则是一个支持和促进学习的场所。在建构主义学习理论指导下的教学设计应是针对学习环境的设计而非教学环境的设计。这是因为,教学意味着更多的控制与支配,而学习则意味着更多的主动与自由。
⑸ 强调利用各种信息资源来支持“学”(而非支持“教”)[1]
为了支持学习者的主动探索和完成意义建构,在学习过程中要为学习者提供各种信息资源(包括各种类型的教学媒体和教学资料)。但是必须明确:这里利用这些媒体和资料并非用于辅助教师的讲解和演示,而是用于支持学生的自主学习和协作式探索。因此对传统教学设计中有关“教学媒体的选择与设计”这一部分,将有全新的处理方式。例如在传统教学设计中,对媒体的呈现要根据学生的认知心理和年龄特征作精心的设计。现在由于把媒体的选择、使用与控制的权力交给了学生,这种设计就完全没有必要了。反之,对于信息资源应如何获取、从哪里获取,以及如何有效地加以利用等问题,则成为主动探索过程中迫切需要教师提供帮助的内容。显然,这些问题在传统教学设计中是不会碰到或是很少碰到的,而在以“学”为中心的建构主义学习环境下,则成为急待解决的普遍性问题。
⑹ 强调学习过程的最终目的是完成意义建构(而非完成教学目标)[1]
在传统教学设计中,教学目标是高于一切的,它既是教学过程的出发点,又是教学过程的归宿。通过教学目标分析可以确定所需的教学内容;教学目标还是检查最终教学效果和进行教学评估的依据。但是在以“学”为中心的建构主义学习环境中,由于强调学生是认知主体、是意义的主动建构者,所以是把学生对知识的意义建构作为整个学习过程的最终目的。在这样的学习环境中,教学设计通常不是从分析教学目标开始,而是从如何创设有利于学生意义建构的情境开始,整个教学设计过程紧紧围绕“意义建构”这个中心而展开,不论是学生的独立探索、协作学习还是教师辅导,总之,学习过程中的一切活动都要从属于这一中心,都要有利于完成和深化对所学知识的意义建构。在学习过程中强调对知识的意义建构,这一点无疑是正确的。但是,在当前建构主义学习环境的教学设计中,往往看不到教学目标分析这类字眼,“教学目标”被“意义建构”所取代,似乎在建构主义学习环境下完全没有必要进行教学目标分析。这种看法则是片面的,不应该把二者对立起来。因为“意义建构”是指对当前所学知识的意义进行建构,而“当前所学知识”这一概念是含糊的、笼统的。某一节的课文内容显然是当前所要学习的知识,但是一节课总是由若干知识点组成的,而各个知识点的重要性是不相同的:有的属于基本概念、基本原理(是教学目标要求必须“掌握”的内容);有的则属于一般的事实性知识或当前学习阶段只需要知道还无需掌握的知识(对这类知识教学目标只要求“了解”)。可见,对当前所学内容不加区分、一律要求对其完成“意义建构”(即达到较深刻的理解与掌握)是不适当的。正确的作法应该是:在进行教学目标分析的基础上选出当前所学知识中的基本概念、基本原理、基本方法和基本过程作为当前所学知识的“主题”(或曰“基本内容”),然后再围绕这个主题进行意义建构。这样建构的“意义”才是真正有意义的,才是符合教学要求的。
2)认知灵活性理论
认知灵活性理论(Cognitive Flexibility Theory,CFT)提出:复杂的知识通过在新的实例情景中的灵活应用,可以学习的更好。这些情景包括以下几个要素:
⑴ 运用多种知识的表示形式;
⑵ 将抽象的概念融于具体实例之中;
⑶ 将复杂知识的概念间的网状联系表示出来;
⑷ 强调知识的聚合而不是重复性记忆;
⑸ 较早地引入概念的复杂性与学科领域的复杂性;
3)情景认知理论
情景认知理论(Situated Cognition Theory,SCT)认为认知过程基本上是建立在活动情景之中的。SCT十分重视活动的性质和参与者在真实情景中有意义有目的的行为。在学习中建构认知情景可以从以下几个方面着手:
⑴ 在真实活动中建模知识;
⑵ 通过台架或教练来引导学生完成任务;
⑶ 让学生连接、组织其零散的知识并区分无效的策略与错误的观念;
⑷ 逐渐减少帮助,以培养学生能力;
4)主动学习环境
主动学习环境(Action Learning Environment,ALE)正是在认知理论的基础上提出的。ALE给学生一个提供一个明确的任务,创造一种情景让学生来完成这个任务,在此期间提供指导以帮助学生获得成功。
二、虚拟现实技术综述
1.虚拟现实及其基本特征
虚拟现实(简称VR:Virtual Reality),又称临境技术,是最近几年得到迅速发展的技术。“虚拟现实”一词是由美国VPL Research Inc公司的J.Lanier在1989年所创造的一个词,它通常是指用立体眼镜的传感手套等一系列传感辅助设施来实现的一种三维现实,人们通过这些设施以自然的方式(如头的转动、身体的运动等)向计算机送入各种动作信息,并且通过视觉、听觉以及触觉设施使人们得到三维的视觉、听觉及触觉等感觉世界。随着人们不同的动作,这些感觉也随之改变。目前,与虚拟现实相关的内容已经扩大到了与之相关的许多方面,像“人工现实(Artificial Reality)”、“遥现”(Telepresence)、“虚拟环境”(Virtual Environment)、“赛伯空间”(Cyberspace)等,都可以认为是虚拟现实的不同术语或形式。事实上,虚拟实现技术不仅仅是指那些戴着头盔和手套的技术,而且还应该包括一切与之有关的具有自然模拟、逼真体验的技术与方法。它要创建一个酷似客观环境又超越客观时空、能沉浸其中又能驾驭其一的和谐人机环境,也就是由多维信息所构成的可操纵的空间。它的最重要的目标就是真实的体验和方便自然的人机交互,能够达到或者部分达到这样目标的系统就称为虚拟现实系统。
虚拟现实系统就是要利用各种先进的硬件技术及软件工具,设计出合理的硬件、软件及交互手段,使参与者能交互式地观察和操纵系统生成的虚拟世界。从概念上讲,任何一个虚拟现实系统都可以用三个“I”来描述其特性[18],这就是“沉浸(Immersion)”、“交互(Interaction)”和“想象(Imagination)”,如下图所示:
这三个“I”反映了虚拟现实系统的关键特性,就是系统与人的充分交互,它强调人在虚拟现实环境中的主导作用。
虚拟现实系统的设计要达到以下目标:
第一,要使参与者有“真实”的体验。这种体验就是“沉浸”或“投入”,即全心地进入,简单地说就是产生在虚拟世界中的幻觉。理想的虚拟环境应达到用户难以分辩真假的程度,甚至比真的还“真”。这种沉浸感的意义在于可以使用户集中注意力。为了达到这个目标,就必须具有多感知的能力,理想的虚拟现实系统应具备人类所具有的一切感知能力,包括视觉、听觉、触觉,甚至味觉和嗅觉。
第二,系统要能提供方便的、丰富的、主要是基于自然技能的人机交互手段。这些手段使得参与者能够对虚拟环境进行实时的操纵,能从虚拟环境中得到反馈信息,也能便系统了解参与者的关键部位的位置、状态、变形等各种系统需要知道的数据。实时性是非常重要的,如果在交互时存在较大的延迟,与人的心理经验不一致,就谈不上以自然技能的交互,也很难获得沉浸感。为达到这个目标,高速计算和处理就必不可少。
参与者在虚拟环境中的活动或者经历有两种形式,一种是主观参与(First-person activities),另一种是客观参与(Second-person activities)。主观参与时,参与者是整个经历的中心,一切围绕参与者进行;客观参与时参与者则可以在虚拟环境中看到他自己与其它物体的交互。
交互和沉浸是任何虚拟现实经历的两个实质性的特征,因此,根据虚拟现实应用的不同,即沉浸的程度,它可以分成不同的类别。早期的虚拟现实系统可能只有部分虚拟现实的特性,例如环幕电影或立体电影。有的应用也不需要完全的沉浸和投入,例如增强现实系统。在实际应用中,不同虚拟现实系统设计的侧重点和所受约束各不相同。例如,受资金限制装备不上最先进的硬件设备,或是硬件本身性能达不到要求,这样系统的计算速度、交互手段可能要受到影响,此时只能从软件上着手弥补缺陷,产生了许多基于软件的技术,例如基于静态图像的虚拟现实系统、虚拟仿真等。由于虚拟现实本身并不限制使用的技术范围,只要能达到目标,可以把各种技术有效地集成起来设计出一个成功的虚拟现实系统。
2.虚拟现实系统类型的划分
VR最本质的特征用户对虚拟场景的沉浸,根据用户参与VR的不同形式以及沉浸的程度不同,我们可以把各种类型的虚拟现实技术划分四类:
1) 桌面级的虚拟现实
桌面虚拟现实利用个人计算机和低级工作站进行仿真,计算机的屏幕用来作为用户观察虚拟境界的一个窗口,各种外部设备一般用来驾驭虚拟境界,并且有助于操纵在虚拟情景中的各种物体。这些外部设备包括鼠标,追踪球,力矩球等。它要求参与者使用位置跟踪器和另一个手控输入设备,如鼠标,追踪球等,坐在监视器前,通过计算机屏幕观察360度范围内的虚拟境界,并操纵其中的物体,但这时参与者并没有完全投入,因为它仍然会受到周围现实环境的干扰。桌面级的虚拟现实最大特点是缺乏完全投入的功能,但是成本也相对低一些,因而,应用面比较广。常见桌面虚拟现实技术有:
基于静态图像的虚拟现实技术:这种技术不采用传统的利用计算机生成图像的方式,而采用连续拍摄的的图像和视频,在计算机中拼接以建立的实景化虚拟空间,这使得高度复杂和高度逼真的虚拟场景能够以很小的计算代价得到,从而使得虚拟现实技术可能在PC平台上实现。
VRML(虚拟现实造型语言):它是一种在Internet网上应用极具前景的技术,它采用描述性的文本语言描述基本的三维物体的造型,通过一定的控制,将这些基本的三维造型组合成虚拟场景,当浏览器浏览这些文本描述信息时,在本地进行解释执行,生成虚拟的三维场景。VRML的最大特点在于利用文本描述三维空间,大大减少了在Internet网上传输的数据量,从而使得需要大量数据的虚拟现实得以在Internet网上实现。
桌面CAD系统:利用Open GL、DirectDraw等桌面三维图形绘制技术对虚拟世界进行建模,通过计算机的显示器进行观察,并有能自由地控制的视点和视角。这种技术在某种意义上来说也是一种虚拟现实技术,它通过计算机计算来生成三维模型,模型的复杂度和真实感受桌面计算机计算能力的限制。
2) 投入的虚拟现实
高级虚拟现实系统提供完全投入的功能,使用户有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备,把参与者的视觉、听觉和其它感觉封闭起来,并提供一个新的、虚拟的感觉空间,并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身在虚拟环境中、并能全心投入和沉浸其中的感觉。常见的沉浸式系统有:
基于头盔式显示器的系统:在这种系统中,参与虚拟体验者要戴上一个头盔式显示器,视听觉与外界隔绝,根据应用的不同,系统将提供能随头部转动而随之产生的立体视觉、三维空间。通过语音识别、数据手套、数据服装等先进的接口设备,从而使参与者以自然的方式与虚拟世界进行交互,如同现实世界一样。这是目前沉浸度最高的一种虚拟现实系统。
投影式虚拟现实系统:它可以让参与者从一个屏幕上看到他本身在虚拟境界中的形象,为此,使用中电视技术中的“键控”的技术,参与者站在某一纯色(通常为兰色)背景下,架在参与者前面的摄像机捕捉参与者的形象,并通过连接电缆,将图像数据传送给后台处理的计算机,计算机将参与者的形象与纯色背景分开,换成一个虚拟空间,与计算机相连的视频投影仪将参与者的形象和虚拟境界本身一起投射到参与者观看的屏幕上,这样,参与者就可以看到他自己在虚拟空间中的活动情况。参与者还可以与虚拟空间进行实时的交互,计算机可识别参与者的动作,并根据用户的动作改变虚拟空间,比如来回拍一个虚拟的球或走动等,这可使得参与者感觉就象是在真实空间中一样。
远程存在系统:远程存在系统是一种虚拟现实与机器人控制技术相结合的系统,当某处的参与者操纵一个虚拟现实系统时,其结果却在另一个地方发生,参与者通过立体显示器获得深度感,显示器与远地的摄像机相连;通过运动跟踪与反馈装置跟踪操作员的运动,反馈远地的运动过程(如阻尼、碰撞等),并把动作传送到远地完成。
增强现实性的虚拟现实不仅是利用虚拟现实技术来模拟现实世界、仿真现实世界,而且要利用它来增强参与者对真实环境的感受,也就是增强现实中无法感知或不方便感知感受。这种类型虚拟现实典型的实例是战机飞行员的平视显示器,它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上,它可以使飞行员不必低头读座舱中仪表的数据,从而可集中精力盯着敌人的飞机和导航偏差。
4)分布式虚拟现实
如果多个用户通过计算机网络连接在一起,同时参加一个虚拟空间,共同体验虚拟经历,那虚拟现实则提升到了一个更高的境界,这就是分布式虚拟现实系统。目前最典型的分布式虚拟现实系统是作战仿真互联网和SIMNET,作战仿真互联网(Defense Simulation Internet, DSI)是目前最大的VR项目之一。该项目是由美国国防部推动的一项标准,目的是使各种不同的仿真器可以在巨型网络上互联,它是美国国防高级研究计划局1980年提出的SIMNET计划的产物。SIMNET由坦克仿真器(Cab类型的)通过网络连接而成,用于部队的联合训练。通过SIMNET,位于德国的仿真器可以和位于美国的仿真器一样运行在同一个虚拟世界,参与同一场作战演习。
3.问题的提出和研究的方向
建构主义认为[2],学习环境是学习者可以在其中进行自由探索和自主学习的场所。在此环境中学生可以利用各种工具和信息资源来达到自己的学习目标。在这一过程中学生不仅能得到教师的帮助与支持,而且学生之间也可以相互协作和支持。
建构主义学习理论和学习环境强调以学生为中心,不仅要求学生由外部刺激的被动接受者和知识的灌输对象转变为信息加工的主体、知识意义的主动建构者[2];
建构主义认为[2],学习总是与一定的社会文化背景即“情境”相联系的,在实际情境下进行学习,可以使学习者能利用自己原有认知结构中的有关经验去同化当前学习到的新知识,从而赋予新知识以某种意义;通过“同化”与“顺应”达到对新知识意义的建构。在传统的课堂讲授中,由于不能提供实际情境所具有的生动性、丰富性,因而将使学习者对知识的意义建构发生困难。
认知灵活性理论(Cognitive Flexibility Theory,CFT)提出:复杂的知识通过在新的实例情景中的灵活应用,可以学习的更好。
情景认知理论(Situated Cognition Theory,SCT)认为认知过程基本上是建立在活动情景之中的。SCT十分重视活动的性质和参与者在真实情景中有意义有目的的行为。
按照这种观念,在建构主义学习理论指导下的教学设计应是针对学习环境的设计而非教学环境的设计。在教学时,我们要尽量创建一种较真实“情景”,鼓励学生在其中自由地学习和探索,以促进学生进行意义的建构。
教育是一个传授知识的过程,通过亲身经历能加速这一过程和巩固所传授的知识,为此而设计的很多方法中,虚拟现实技术是最有效的,虚拟现实技术有着不可替代的、令人鼓舞的应用前景,因为它允许学生与现有的各种信息发生交互作用,学生可以在仿真过程中经历不同的时间和空间、可以与各种仿真物体接触、还可以与虚拟境界的各个部分接触。其科目范围可以从历史到科学,非常广泛。将世界上各种教育虚拟现实系统实时联网,这对增强学习实践提供了数不清的途径。
在体育课上,学生可以进入仿真环境,去亲自实践一位NBA冠军队员兰球场上的表演。在物理课上,学生可以参与一种科学可视化,使得他(她)可以在一个虚拟境界内去发现各个物理定律;在文学课上,学生可以接受虚拟的莎士比亚的拜访,而且,这位虚拟的莎士比亚可以亲自对他讲解他的话剧。在医学上,学生可以通过虚拟现实对人体作各种医疗实验;在化学教育中,虚拟现实可以让学生在分子级或原子级操纵物质模型,可以进入有毒的空间参观。各种应用,几乎不可胜数。例如,在美国达特茅斯医学院开发的“交互式多媒体虚拟现实系统”,可使医务工作者体验并学习如何对各种战地医疗的实际情况作反应。利用该系统,实习者可以感受由计算机仿真产生的各种伤病员的危险症状,可从系统中选择某种操作规程对当前的伤病情况进行处理,并可立即看到这种处理所产生的后果。系统还可以仿真各种外科手术,包括一般的开刀直至复杂的人体器官替换。这样,医学院的大学生不必冒任何医疗事故的风险就可以反复实习手术中的各种实际操作。虚拟现实技术应用于教育的另一个典型例子是在化学教育中的应用。北卡罗莱纳大学的科学家们研制了一种可以让用户用手操纵分子运动的虚拟现实系统,用户戴上头盔并通过数据手套进行控制,可以使分子按某种方式结合在一起,这种不仅在教学上很有效,而且在科研上也有重大价值,因为按新方式结合在一起的分子结构很可能成为治疗某种疾病的新药或工业上所需的特殊材料。
虚拟现实技术对不同级别的学生都是有利的,包括小学、中学和大学,对虚拟现实技术的巨大潜力的限制往往来自学校的校长和老师、以及可以得到的资金。由于设备昂贵,目前虚拟现实技术只是应用于少数高难度的军事和医疗模拟训练,以及一些研究部门,一些很具有应用前景中小单位,如学校等,往往是由于无法购置这些昂贵的设置,只能望而兴叹。
目前国内外实现虚拟现实的理论方法仍然集中在硬件和配套软件的研究上,系统需要采用专用设备如:头盔式显示器、数据手套、高分辨率图形工作站等。这些昂贵的设备是普通单位难以企及的。如果采用360度全景摄影所获得的素材,通过情景仿真处理并采用先进的图形压缩与还原算法,完全有可能实现逼真度很高的虚拟现实情景,而且也可以交互,但却不需要头盔式显示器、数据手套、高分辨率图形工作站等专用设备,只需要普通Pentium微机和Windows运行环境就能实现,从而有可能使虚拟现实技术走出高级研究院与大学的“象牙塔”,逐步普及到国民经济的各个领域甚至中小学,这对我们这个经济还不算富裕的国家来说无疑是有重大意义的,这也是本研究的实际意义所在。
正是因为以往的虚拟现实技术过分依赖于昂贵的专业设备,虽然虚拟现实技术在教育领域具有其他媒体不可比拟的“真实性”优势,但却不能广泛应用于教育领域。这次研究我们使用基于静态图像的虚拟现实技术(QuickTime VR)来开发一种网络课件的写作系统。它在技术上有它自己独特的特色,它在三个方面优于普通意义上的虚拟现实技术:
首先,在环境要求上,普通意义上的虚拟现实技术需要特殊的专用设备,如头盔式显示器、数据手套、高性能的图形工作站等,价格昂贵难以普及,而本系统对硬件没有特殊要求,在普通微机上便可实现虚拟现实环境,它的成本极低,能够得到广泛的应用。
其次,从目前国内外现有VR系统上来看,都采用计算机生成图像的方式来建立三维模型,图像的分辨率、质量、复杂度、真实性都不是很高,复杂场景造型数据量巨大,而且常常由于场景的快速切换出现抖动和延迟。而本系统采用360度全景摄影照片作素材,所以图象质量高,立体效果好,因为是根据真实世界影像来进行三维建模,因而真实性极强,另外,本系统采用先进的图像压缩与还原算法,不仅使造型数据量小,而且在空间呈献时,没有很大的延迟;
第三,目前大部分VR系统的制作都需要复杂的编程来生成三维模型、检测特殊外部设备的状态及反馈、进行交互控制等,这就限制了普通人涉及这个领域的开发。而本系统使用的QuickTime VR电影的生成模式为拍摄 数字化(扫描) 图像缝合 生成场景,使得素材的准备工作变得非常简单。
第四,QuickTime VR在软件的支持下,支持网络功能。因此利用本课件写作系统开发的多媒体教学软件,还可以通过Internet网络向全世界发布。由于Internet具有影响范围广,能够方便快捷的传递信息,具有近乎实时的交互性,本身又是一个巨大无比的信息库等诸多优点。利用Internet作为远距离教育的新型手段,为我们解决传统远距离教育模式中存在的问题带来了希望。
三、国内、外在该领域的研究成果概述
1.国外情况
利用实景建立虚拟环境,这个想法在70年代就产生了。1978年,MIT的媒体实验开发了一个称为Aspen Movie Map的项目,首次利用了实景,通过开车穿行ASPEN这个小城市的街道,四架摄像机同时拍摄了四个方位的照片,将这些照片连接起来,然后装入到模拟的视盘中,并在每个街道的路口加入了分支的交互手段。播放时,用户可以通过触摸屏和游戏杆来控制自己旅游的速度和去向,就象自己开车在这小城里游玩。对小城的一些有名建筑,还能在那里停下来存有关的资料(资料可以是图象,声音,文本,视频……)。同时,提供了一张鸟瞰图作为导航图,用来标志用户地点,提示关键场所和出局信息。
1991年,Apple公司的人机接口实验组(ATG)建立了一个基于实景的成象环境,在其中用户能与QuickTime数字视频数据交互.这些数据称为航行电影(Navigable Movie),接口称为航行电影播放机(Player),通过他们用户能进人虚拟空间。ATG以俄罗斯某一皇宫为原型,创建了一虚拟宫殿,用户在虚拟宫殿里游玩就象真的一样。因为显示器每时刻只能显示一部分景象,所以在这里还能通过全局图象来指导用户交互,目的是给用户提示上下文信息,让用户具有对景象的整体感和先验知识,利用实景像已为全景视频的发传打下了基础。
1994年6月,Apple公司开始推出全景视频产品QuickTime VR,第一次使人们领略了具有照片质量的虚拟现实环境。它把环绕一若干张边缘稍有重叠的照片图象,利用软件将它们粘结在一起,组合成一张无平滑的360度全景图象,它通过超文本系统HyperCard来制作热点,将不同视点的全景图象进行连接。其全景图象在压缩过程中被分成768*104大小的块,存储为标的QuickTime MOOV文件。初始时只装人全景图象的一部分,移动时再调人相应的块。它能模拟人在空间的行,向四方观望,还加人了声音的效果。QuickTime VR的写作工具运行在Macintosh微机上。
Microsoft公司在1995年3月开发了基于Windows的全景视频Surround Video。两者功能基本相同,但制作全景视频的方法不同.Surround Video是利用硬件,直接通过全景照相机得到全景图象。其全景图象被分为只有4象素宽的块,不压缩存储为Striped DIB文件,显示时调人相应的数据块即可。
目前,国外对于基于静态图像的虚拟现实技术QuickTime VR的应用还仅仅停留在游戏开发领域和风景介绍领域。微软公司出品的微软百科全书Encarta Encyclopedia中的Virtual Tour就是应用了基于静态图像的虚拟现实技术,将世界各地的名胜古迹做成全景电影,足不出户便可以饱揽世界风光。电影中各场景之间通过热点相互连接,观众可以根据自己的意愿在电影中选择观看自己感兴趣的东西。同时,该软件还为电影中的每个场景配有一张导航图,在导航图中,观众可以看到自己在场景中位置,以免迷失在这个虚拟空间中。
将基于静态图像的虚拟现实技术应用于教学的研究还刚刚开始,尤其是在教学软件中直接使用基于实景照片的QuickTime VR技术。
2.国内情况
目前,国内在基于静态图像的虚拟现实技术方面的研究还处于起步阶段,据资料调研,上海龙华博物馆与新加坡合作,利用QuickTime VR技术建立了一个虚拟博物馆,用户可在计算机前参观博物馆中的各个展馆,每一个参观点都可以在空间360度范围内观察,对于感兴趣的物体,用户还可将它拿起来,对它进行转动参观,就象围绕展品参观一样,在观察过程中,用户还可以向前或向后,可获得视角大小不同的效果。另外,国防科技大学和清华大学都有类似的研究,清华大学的一个研究成果可以实现实际拍摄效果中振动的消除,还可使得实拍的场景中前景虚化,类似透视拍摄的效果。国防科技大学研究的超文本视频系统,可实现不同实景之间的切换,在观察实景时,可实现导航式浏览。
四、QuickTime VR技术开发与研究的技术基础
1.QuickTime基础
QuickTime是苹果公司提供的系统级代码的压缩包,它拥有C和Pascal的编程界面,更高级的软件可以用它来控制时基信号。在QuickTime中 时基信号被叫做影片。应用程序可以用QuickTime 来生成,显示,编辑,拷贝,压缩影片和影片数据,就象通常操纵文本文件和静止图象那样。除了处理视频数据以外,QuickTime3.0还能处理静止图象,动画图象,矢量图,多音轨,MIDI音乐,三维立体,虚拟现实全景和虚拟现实的物体,当然还包括文本。它可以使任何应用程序中都充满各种各样的媒体。
QuickTime是建立在一些与时基数据相关的概念基础之上的:原子(Atom)、媒体结构(Media structures)、组件(Component)、时间管理(Time management)、动画图象(Sprites)。
① 原子
QuickTime的原子是QuickTime用来构建等级数据结构的基本容器。新创建的QuickTime原子就象树的根。随后的每个原子都包含在其中并且包含数据和其它原子。如果一个QuickTime原子包含其它原子,就被叫做父原子,包含在其中的原子就叫做叶原子。应用程序和其它各种软件也可以用QuickTime原子结构来存储数据。
② 媒体结构
传统的视频由连续的数据流组成。QuickTime影片可以按同样的方法构建,但它不需要这样做:QuickTime影片可以由取自不同来源的数据流组成,例如模拟视频、存在CDROM上的静止图象和MIDI音乐。影片不是媒体,而是媒体的组织方式。
QuickTime影片通常是由许多轨道组成的。轨道不包含影片数据,它仅仅包含这些数据的索引,而真正的数据内容则存在于其它地方。这些数据索引组成了轨道的媒体结构。每个轨道都包含了一个独立的媒体结构和一个编辑列表,编辑列表用来以时间顺序安排媒体结构。媒体结构和编辑列表是做为QuickTime原子来实现的。
③ 组件
QuickTime支持组件使应用程序不需要知道QuickTime用什么技术和设备来工作的。许多QuickTime服务,例如压缩和解压都是组件来提供的。组件包括代码,它可以在整个系统中使用,也可以局部于一个特定的应用程序。每个QuickTime组件都实现一个特定的功能集并且提供给它支持的技术和客户应用程序以特定的接口。因此应用程序和不同技术的实现和管理细节隔离开来。应用已存在的组件可以创建新的组件。例如,你能生成一个组件来支持一种特殊的数据加密算法。其它的应用程序通过连接你的组件也可以实现这些加密算法,而不用它们自己再来实现这个加密算法。
应用程序使用组件是通过调用系统级的组件管理器。组件管理器使你可以定义和登记组件并可以通过使用一个标准的界面来和组件进行联系。一旦应用程序连接到组件上之后,就可以直接调用组件。当你生成了一种新的组件类的时候,你可以为这种新组件定义一种函数级接口。
④ 时间管理
时间管理是QuickTime影片实现过程中重要的一部分,有时也是比较复杂的一部分。为了控制影片的时间维,QuickTime定义了时间坐标系统,使影片和媒体的数据结构都使用共同的现实时间系统。时间坐标系统包括一个时间尺度,这个尺度提供了在真实时间和影片中的表面时间的转换。时间尺度以时间单位表示。每秒中度过的时间单位的数量量化了时间尺度。也就是26时间尺度是每秒中包含26个时间单位或者每个时间单位是1/26秒。时间坐标系统也包括持续时间,它是影片的长度或以时间单位来记数的媒体结构的容量。影片中的某点可以由到那一点经过的时间单位的数量来确定。影片中的每个轨道都由时间偏移和持续的时间组成,这些属性决定了每道开始的时间和长度。每个媒体结构都有自己的时间尺度。影片工具箱把每种媒体数据从影片的时间坐标系统中映射到媒体结构的时间坐标系统。
⑤ 动画图象
在传统的视频动画中,你通过确定每个象素的颜色来描述帧。而动画图象通过确定出现在不同位置的图象来描述帧。每个动画图象都有属性,这些属性用来描述某个时刻图象的位置和外表。在动画过程中,应用程序修改图象的属性以使它可以改变外表并且可以围绕屏幕移动。动画图象可以和静止图象混合,用来在内存相对较少时产生较多的效果。
2)QuickTime的结构
QuickTime包括影片工具箱、图象压缩两个管理器,加上内嵌的一套组件。
图 QuickTime播放影片
① 影片工具箱
应用软件通过调用在影片工具箱中的函数来实现QuickTime的功能。影片工具箱使应用程序可以储存、读取、操纵QuickTime影片中的时基数据。单独一段影片可以容纳好几种数据。例如,一段包含视频信息的影片可以包括视频数据和伴随视频数据的音频数据。
影片工具箱也提供了编辑影片的函数。例如,有这样的函数,可以通过移去部分视频和音轨来缩短影片,也有函数通过从其它影片中移入新数据来扩展它。
② 图象压缩管理器
图象数据需要大量的存储空间。存储640*480的32位色彩的图象需要的空间为1.2兆比特。QuickTime影片中包含的一系列图象,需要许多倍这样的空间。图象压缩管理器提供了独立于设备和驱动器的压缩和解压的方法,它也为实现外部的软硬件图象压缩算法提供了一个简单的接口。它提供了系统集成函数用来存储压缩图象,作为Macintosh机上的PICT文件和Windows下的DIB文件。它也提供了使任何可以运行QuickTime的机器上的压缩PICT文件都可以自解压的功能。
大多数情形下,通过调用影片工具箱函数或显示压缩图象来避开直接调用图象压缩管理器。但是如果应用程序压缩图象或者用压缩图象制作影片,就可以直接调用图象压缩管理器函数。
③ QuickTime组件
苹果提供了许多QuickTime内嵌组件。苹果定义的内嵌组件类型包括图象压缩器、媒体处理器和各种各样的工具。
(1)数据处理器:包括有影片控制器组件、图象压缩组件、图象转换组件、视频数字化组件、数据交换组件、声音处理组件、效果转换组件、预览组件等。
(2)媒体处理器:包括有衍生媒体处理器组件、动画媒体处理器组件、中间媒体处理器组件等。
(3)工具:包括有时钟组件、标准声音组件、顺序抓取组件、顺序抓取通道组件、文本轨道组件、顺序抓取面板组件等
2.QuickTime VR的基本概念及其产品的基本开发流程
1)什么是QuickTime VR
QuickTime VR是QuickTime Virtual Reality 的简称,它是美国苹果公司在QuickTime技术基础之上开发的新一代虚拟现实技术。概括地讲是一种基于静态图象处理的,在微机平台上能够实现的初级虚拟现实技术。QuickTime VR属于桌面虚拟现实的一种。虽然它是初级的虚拟现实技术,但是它有其自身的特色与优势。它的出现使得往专业实验室中的成本昂贵的虚拟现实技术的应用普及有了广阔的前景。
我们可以这样来理解QuickTime VR,假定我们在一室空间进行观擦,室内空间一般有六个表面,如果我们获取了这六个表面的许多不同距离,不同方位的实景照片并将他们按照相互的关系有机连接 起来就可以在视觉上形成这个房间整个空间的整体认识,这就是全景概念。在观察时。 我们可以任意的转动观看,也可以改变视点,或是走近仔细观看,由于这些照片是相互连接的,所以只要照片足的精细连接得紧密正确,我们就可以获得空间的感觉。同样无论无论我们是野外海边,还是在复杂如迷宫的博物馆,办公室或航空母舰上,通过建立以实景为基础的全景图象,就可以对我们的周围进行观擦,如果辅以声音,也可以获得较好的随意观察、交互访问的效果。这就是QuickTime VR工作的基本原理。
QuickTime VR是在下列核心概念的基础之上组成的。这些概念包括:
全景(Panoramas):全景是QuickTime VR技术最具特色的概念。QuickTime VR的全景实际上是空间中一个视点对周围环境的360度的视图。它可以理解为以节点为中心的具有一定高度的圆柱形的平面,平面外部的景物投影在这个平面上,即为全景图象。用户可以在全景中在360度的范围内任意切换视线,也可以在一个视线上改变视角,来取得接近或远离的效果。
对象(Objects):QuickTime VR的物体是和全景图象的概念相对比的概念。可以这样说:QuickTime VR的全景图象是从空间中的节点来看周围360度的景物所生成的视图,而物体则刚好相反,它是从分布在以一件物体(即物体)为中心的立体360度的球面上的众多视点来看一件物体,从而生成的对一件物体全方位的图象信息。
场景(Scenes):QuickTime VR的场景指的是把一个或多个全景图象或对象电影通过热点这种手段连接后的全景图象和对象电影的有序集合体。在QuickTime VR场景中,用户可以在很多全景图象或对象电影中漫游,可以以从全景图象到全景图象、从全景图象到对象电影、从对象电影到对象电影、从对象电影到全景图象等多种他们愿意的方式来漫游。
每个在场景中的全景图象或对象电影称为节点。而每个场景都有一个入口节点,当一个场景打开时,这个入口节点作为缺省的节点被显示出来。
2)QuickTime VR的基本特征
纵观QuickTime VR技术,它有四个基本特征:从三维造型的原理上看,它是一种基于图像的三维建模与动态显示技术;从功能特点上看,它有视线切换、 推拉镜头、超媒体链接三个基本功能;从性能上看,它不需要昂贵的硬件设备就可以产生相当程度的VR体验。
①造型特点
三维复杂模型的实时建模与动态显示是飞行模拟、实时动态仿真及虚拟现实等技术的基础。目前,三维复杂模型的实时建模与动态显示技术可以分为两类。一是基于几何模型的实时建模与动态显示;二是基于图像的实时建模与动态显示,QuickTime VR就是采用基于图像的三维建模与动态显示技术。
基于几何模型的实时建模与动态显示是计算机图形学中的传统方法。首先,在计算机中建立起三维几何模型,一般均用多边形表示。在给定观察点和观察方向以后,使用计算机的硬件功能,实现消隐、光照及投影这一绘制的全过程,从而产生几何模型的图像。这种基于几何模型的建模与实时动态显示技术的主要优点是观察点和观察方向可以随意改变,不受限制。但是,它也有两个缺点:一是复杂模型的造型过程比较繁琐、工作量大;二是每一个观察点或观察方向都需要进行复杂模型或场景的绘制计算。因此,需要具有较强计算能力和图形功能的工作站,而这有时是办不到的。从另一方面来看,当三维模型高度复杂时,每个面片所占据的屏幕象素的平均数将很少。设工作站的处理能力为每秒300万个面片,而刷新频率为每秒10帧,那么,平均起来每帧需处理30万个面片。设屏幕分辨率为1000×1000=100万个象素,那么,每个面片平均只占据3个象素。对于这样复杂的三维模型,再逐个物体、逐个面片地进行绘制是也是没有必要的。
在这样的背景下,人们开始考虑可否避开繁琐的造型过程和复杂的绘制计算,而直接用图像来实现复杂环境的实时建模与动态显示。QuickTime VR就是一种利用图像镶嵌(Mosaic)方式来实现复杂环境的实时建模与动态显示的技术。
在建造QuickTime VR的三维场景时,选定某一观察点设置摄像机。每旋转一定的角度,便摄入一幅图像,并将其存储在计算机中。在此基础上实现图像的拼接,即将物体空间中同一点在相邻图像中对应的象素点对准。对拼接好的图像实行切割及压缩存储,形成全景图。用户从存储介质中调出全景图即可形成对三维复杂场景的漫游。这种三维空间,只能在所设定的观察点的位置上对三维场景进行漫游。如果要换一个观察点,必须再重新摄取一组图像构成全景图,当改变观察点进行漫游时,便会出现图像突变的情况,也就是三维空间切换不是很平滑。
这种基于图像镶嵌方法的优点是可由摄像机获取三维场景,不需要进行几何造型,对计算机的计算能力要求不高,但需较大的存储空间,可实现实时建模与动态显示。其缺点也是显然的,即场景本身必须是静态的,而且在漫游时,观察点及观察方向受到了严格的限制,这是因为不可能做到对于任意的观察点都拍摄一组图像存放在计算机中。
为了解决图像镶嵌技术中只能在原图像摄取点进行漫游这一问题,可以在不同图像之间进行插值或在不同视图之间进行插值,以生成新的视图的方法。其基本思路是:在不同的观察点取得三维场景或某一物体的多幅图像,交互地给出或自动求出每两幅图像之间的对应点,再用图像插值或视图变换的方法求出该物体对应于其它观察点的图像。这时,需要解决图像插值时可能出现的空洞或重叠等问题。在将几何模型转变为屏幕图像的过程中,我们需要解决隐藏面和隐藏线消除、光照强度计算及由物体空间到图像空间的投影等三个问题,而在基于图像的实时动态显示中,当需要由已知图像产生其它图像时,同样需要解决以上三个问题,也就是如何确定在不同的已知图像中同一物体的对应点,并找到它在所求图像中的位置,如何求出该点应有的光亮度值以及如何在所求图像中正确反映出物体之间的前后关系。这些问题都是QuickTime VR所需进一步研究的方向。
②功能特点
QuickTime VR最基本的功能特点是能够实现对三维空间和三维物体全方位的观察,它不需要一般虚拟现实技术影片所要求的昂贵的特殊头盔、特殊眼镜和数据手套。所有对三维造型的操纵仅用普通鼠标、键盘就可完成。操纵三维造型的方式有三种:对于三维空间,可以在一个观察点环绕360度,可在任意一个角度进行观察,它是以观察者为中心的;对于三维物体,用户可以在一个立体的360度空间中,任选一个角度进行观察,它是以三维物体为中心的。在某一个角度进行观察时,用户可实现放大或缩小观察效果,类似于摄像机的推拉镜头,也类似于观察者观察视点向前或向后移的效果。在三维空间和三维空间、三维物体和三维物体之间、三维空间和三维物体之间,可以存在超媒体链接,用户利用这种超媒体链接,可以在它们之间进行平滑的切换,从而置身于真实感很强的虚幻空间之中,这种超媒体链接不仅可链接QuickTime VR两种基本类型的节点,还可以链接其它多媒体素材,如图像、声音、视频、文字等等。
③性能特点:
设备简单:不需要昂贵的设备,就可以体验真正的虚拟现实。任何欣赏QuickTime VR场景的用户无须配戴欣赏一般虚拟现实技术影片所要求的昂贵的特殊头盔、特殊眼镜和数据手套,所有对场景的操纵仅用普通鼠标、键盘就可完成。
兼容性好:QuickTime VR场景可运行于普通微机,无需运行于高速工作站。在当今流行的操作系统平台上,如Windows 3.X, Windows 95, Mac OS, 均有相应的支持版本。因此,同一QuickTime VR 场景可跨平台运行,同时,它还可以在Internet上发布。
高度的现实性:QuickTime VR运用真实世界的全景图像来构建虚拟的现实空间,真实世界的全景图是用一个35mm 胶片的相机和一个三角架装置来获取的,它远比由计算机生成的图像的真实感强,由于胶片可以提供很高的清晰度,从而图象具有更丰富的图象和更鲜明的细节,不同效果和各种环境也可以用一系列的镜头和滤光镜来获得。QuickTime VR提供了观察场景的正确透视,使用户有身临其境左右环视的感觉,又可以使用户可以在场景中从各个角度观察一个真实物体,从而提供了最大限度的VR体验。
数据量小:QuickTime VR采用了苹果公司独有的专利压缩技术,它可以将一整张360度的全景图片压缩到540K以下。相对于其它虚拟现实技术,QuickTime VR 影片数据量极小。小数据量意味着同样大小的磁盘空间存储更多的图片,同时也意味着用户对场景的操纵更加迅速。
制作简单:相对于其它虚拟现实技术而言,QuickTime VR的制作相对简单,的制作周期比较短,制作的可控制性也很强。制作流程主要是拍摄、数字化、节点制作、场景制作,前期拍摄的不利因素的影响,如阴天光线的影响,都可以通过后期数字化加工消除。一般制作一个大型的场景,一般也只需几个月。
3)QuickTime VR与其它技术的比较
与传统影视媒体的比较:传统影视媒体只能按照录制的顺序播放,参与者不可改变其播放顺序缺乏交互性; 而QuickTime VR技术使参与者可以自己控制体验的进程和顺序,可以挑选自己感兴趣的环节而略过其他部分。
与传统虚拟现实技术的比较:QuickTime VR不需要特殊的硬件和附属设备,在普通的PC机或Macintosh机上即可实现虚拟现实的效果。QuickTime VR可以应用照片、录象或数字图象来创建虚拟环境,这就不同于静止的CAD或GIS制作,使它较之传统的虚拟现实技术有着更高的真实感、更丰富的图象和更鲜明的细节特征。
与多媒体软件的比较:多媒体在感知领域的应用不及VR广泛,且多媒体技术所操纵的对象都是二维的,QuickTime VR技术拥有比多媒体技术更强的真实感.
五、系统的设计与实现
1.系统研究的目标
本次研究的目标包括两个方面:理论研究和技术研究,以技术研究为主。理论研究的目标是致力于寻找将虚拟现实技术应用于网络课件开发中的原理和规律;技术研究的目标是在普通微机(Pentium 133以上及加速图形卡)上开发出一套基于虚拟现实技术的网络课件写作系统(我将在后面详细介绍该系统结构与功能),即在无需特殊硬件的条件下,能够创造一个实时逼真的虚拟现实环境,并将此环境应用于教学过程,从而建立起一种基于新一代虚拟现实技术的高质量的教育与培训系统;
本次研究以技术研究为主,具体的目标是要开发出一个在普通PC机上运行的基于虚拟现实技术的网络课件写作系统,它主要由七个部份组成,其逻辑结构图如下图所示。
基于虚拟现实技术的网络课件写作系统的逻辑结构图
各部份的主要功能分别是:
1)脚本编辑器:它是一个图形化的编辑系统,用于设置各个多媒体元素之间的超连接关系,并据此生成复杂网络课件的拓扑图。便于在拍摄过程及时查找拍摄信息,同时也为后面素材管理设置了管理类别。
2)素材管理器:要制作一个复杂的基于虚拟现实技术的网络课件系统,需要大量的多媒体素材,除了包括用于产生虚拟信息空间的物体电影和全景电影之外,还有各种传统的多媒体元素。素材管理器主要用于对电影、图像、声音、视频、文本等媒体文件的管理,可以对它们方便地加入注释信息,并能方便地进行查找与删除。
3)物体电影播放器:物体电影文件不同与一般的视频文件,它有自己独特的文件格式,因此我们需要有一个专门的功能模块对它进行实时播放。物体电影播放器需要处理键盘和鼠标操纵信息,并根据这些操纵信息实时显示对应的虚拟空间。物体电影播放器包括两个部份,一个是独立的播放软件,专门用于播放物体电影文件;第二,为了将QTVR整合应用到其它多媒体开发软件中,需要编制一套播放软件的动态链接库,使得其它程序开发工具(如Visual C++、Visual Basic、Delphi、AuthorWare等)能够将QTVR的物体电影文件作为一种新型的媒体素材加以利用,这可以大大促进QTVR的广泛应用。
4)全景电影播放器:此功能模块同上面的物体电影播放器功能相似,不同的是全景电影播放器播放的是全景电影文件。实时地构造一个虚拟的全景信息空间,在这个虚拟现实信息空间中,学习者可以根据自己对学习内容的不同掌握程度,在这个虚拟的现实空间中进行探索,选择自己感兴趣的学习内容。在显示全景电影时,需要同时校正全景图像的曲线失真。全景电影播放器也包括两个部份,第一部分是一个独立的全景电影播放软件,专门用于播放全景电影文件;在第二个部分中,我们要编制一套播放全景电影的动态链接库,使得其它程序开发工具(如Visual C++、Visual Basic、Delphi、AuthorWare等)能够将QTVR的全景电影文件作为一种可用的素材来进行集成,就象使用其他媒体一样的简单。
5)多媒体集成器:要制作一个适合学生个别化的网络教学软件,单单依靠QTVR的虚拟现实技术是远远不够的,QTVR技术还是一种初级的桌面现实系统。将它应用于教学并取得良好的教学效果,我们还必须借助于其他传统的多媒体来弥补它的不足,例如:图像、声音、文本、视频等。苹果公司的QTVR写作软件Authoring Studio也没有提供QTVR同其他传统媒体的超连接。在本系统中,为了将QTVR的全景电影文件、物体电影文件和图像、声音、文本等传统媒体元素有机地集成到一个网络课件中,我们设计了这个多媒体集成器。它根据脚本对各种媒体的定义和加涅的教学设计理论,使用超连接的形式将各媒体元素合并成一个整体。
6)课件预揽器:本系统的全称是基于虚拟现实技术的网络课件写作系统。顾名思义,在本系统上开发出来的教学软件最终要运行在网络上的,而开发过程几乎完全集中在PC上。课件预揽器在单机上模拟一种合适的网络环境,以提供对网络课件的预揽,为网络课件的写作提供一种所见即所得的集成开发环境。使得课件的设计和初级测试可以完全在单机上完成。
7)浏览器插件:目前,市场流行的各种浏览器还不能直接支持QTVR文件的播放。要将在本系统上开发的网络课件真正应用于网络,需要一个浏览器插件。此插件根据此网络课件的脚本自动生成一个HTML文档,在客户端的浏览器中完成QTVR文件的实时播放,并实现各媒体之间的超连接关系。
2.研究过程
具体的研究过程分三个阶段,每个阶段具体研究目标如下:
第一阶段:主要是进行资料调研的工作,需要调研的工作有:理解什么是QuickTime VR,它有什么技术特色,目前的应用与研究现状,其局限性等;熟悉QuickTime VR制作流程,制作一个QuickTime VR的样例;熟悉QuickTime 、QuickTime VR的基本原理,论证开发基于虚拟现实技术的网络课件写作系统的可行性,了解系统开发的技术基础,设计系统总体框架。目前这一阶段的工件已经基本完成。
第二阶段:这个阶段是研究的核心阶段,主要要完成的工作是完成本系统核心部份的开发。熟悉QuickTime VR制作流程,以便对QuickTime VR制作流程进行有效的控制和管理。探索将QuickTime VR应用到教学设计中去的原理和规律,在此基础上,设计出脚本编辑器和素材管理器。
QuickTime VR影片播放软件的开发,它分为两个部分,首先开发一个独立的QuickTime VR影片播放软件,包括全景电影播放器和物体电影播放器。然后在此基础上,开发一套影片播放的动态链接库,以便在其它应用程序中能够使用QuickTime VR影片,这样QuickTime VR影片就不再是少数几个开发工具软件(如 Director)所独有的媒体素材。另外,我们试图开发一个播放QuickTime VR影片的VB控件,此控件可实施商品化。
探索如何将QuickTime VR电影文件同传统媒体通过超连接的形式有机地结合起来,并据此开发出多媒体集成器。
寻求一种方法,使得QuickTime VR电影之间的热点跳变变得平滑。现有的QuickTime VR电影虽然提供了由节点到节点的超连接,但是这种转换是突变的,既没有中间的过度过程。譬如,当我们从路的一头走到一头时,不是一个渐进的过程,而是突然地跳转到终点。这是和我们的日常习惯相背的,我们常常会因此而在虚拟空间中失去方向。电影的过度是否平滑关系到能不能有效地将QuickTime VR技术运用到教学过程中去。我们的初步设想有两个:一是在两个节点之间插入许多的中间图片,模仿生活中电影的播放过程,在转到下一个节点之前,首先通过程序播放这些中间图片,以产生一种渐进的平滑效果。
参考文献
1. 何克抗,《从信息时代的教育与培训看教学设计理论的新发展》,“21世纪教育与培训的革新和挑战”国际会议(香港)大会特邀报告。
2. 何克抗,《运用新一代VR技术建立高质量教育与培训系统的研究》,《1997年度国家自然科学基金申请书》;
3. 何克抗,《教学设计理论与方法研究评论》,中国电教协会97’学术会议大会特邀报告;
4. 汪成为等,《灵境技术的理论、实现与应用》,清华大学出版社,1996年;
5. 汪成为,《灵境技术与人机和谐仿真环境》,《计算机研究与发展》1997年第一期;
6. 王新发,《基与教学设计的多媒体课件写作系统》,1998年硕士毕业论文
7. 李锦涛等,《虚拟现实技术概论专题》,《中国计算机报》1998年1月17日;
8. 王坚等,《虚拟现实系统专题》,《计算机世界》1995年第7期;
9. 胡晓峰等,《HVS:一个基于空间时间的半现实模型》,《小型微型计算机系统》,1994年第12期;
10. 钟力、胡晓峰,《基于虚拟现实的全景视频技术》,《小型微型计算机系统》1996年12期;
11. 胡晓峰、李国辉,《多媒体系统》,人民邮电出版社,1997;
12. 胡晓峰,《仿真、多媒体与虚拟现实》,《国防科技大学学报》,1994年第12期;
13. 唐泽圣,《三维复杂模型的实时动态显示》,《计算机世界》1997年第三十一期;
14. 王冲,《QuickTime与QuickTime VR技术》,《计算机世界》1997年第五期;
15. 黄铁军、柳健,《虚拟现实导引》,《计算机世界》1997年第三十四期;
16. Joshua Eddings,《How Virtual Reality Works》,电子工业出版社1994年中文译本;
17. 曾建超、俞志和,《虚拟现实技术及其应用》,清华大学出版社1996年版;
18. Guoqiang Shen,《QuickTime VR Aided Urban Design And Planning》,《多媒体与超媒体教育应用》国际会议1996年论文集;
19. 马建波、赵唯一,《C 语言图象处理程序集》, 海洋出版社,1992年;
20. 李振辉、李仁和,《探索图象文件的奥妙》,清华大学出版社,1996年;
21. Burdea G.,《Virtual Reality systems and Applications》,Electro’93 International Conference;
22. Apple Computer Inc,《QuickTime VR White Paper》,1997年;
23. Apple Computer Inc,《QuickTime VR Virtual Tutor》,1997年;
24. Apple Computer Inc,《Inside Macintosh:Virtual Reality Programming With QuickTime VR 2.1》,1998年;
25. Apple Computer Inc,《Introduction to QuickTime 3.0 for Windows Programmers》,1997年;
26. Microsoft Corporation,《Microsoft Visual C++ 2.0 for Win32大全(一):用户指南》,清华大学出版社,1996年;
27. Microsoft Corporation,《Microsoft Visual C++ 2.0 for Win32 大全(二):用MFC和Win32编程》,清华大学出版社,1996年;
28. Andrea L.ames、DAVID R.Nadeau &John L.Moreland,《VRML资源手册》, 电子工业出版社,1996年;
29. Wilf Lalonde & John Pugh, 《Journal of Object-Oriented Programming》,1996年;
30. Joshua Eddings,《虚拟现实半月通》, 电子工业出版社,1994年;
31. Shehang Eric Chen,《QuickTime VR-An Image Based Approach to Virtural Environment Navigation》,Computer Graphics Proceedings,Annual Conference Series,1995;
32. Laura A.Teodosio,《Panoramic Overviews For Navigating Real-World Scenes》,ACM Multimedia 93,6/93/CA,USA;
33. Tom R Halfhill,《See You Around》,May 1995,《BYTE》;
34. Joe Gradecki,《The Virtural Reality Construction Kit》,John Wiley&Sons Inc,1994;
35. Grigore Burdea、Philippe Coiffer,《Virtual Reality Technology》,John Wiley&Sons Inc,1994;
36. Petra Hoepner,《Synchronizing the Presentation of Multimedia Objects》,《Computer Communication》,Vol15,1992;
37. Franics Krefz and etc,《Standardizing Hypermedia Information Objects》,《IEEE Communications Magazine》,May 1992;
38. 宛延凯,《C++语言和面向对象程序设计》,清华大学出版社,1997
39. Edward Yourdon & Carl Argila,《Case Studies in Object Oriented Analysis & Design》,Prentice Hall Inc,1998