基于虚拟现实技术的网络课件写作系统
|
一 理论基础 1．基于Internet的远距离教育 世界信息化的进程给人类社会的再一次腾飞带来了新的机遇，由于Internet本身就是在教育科技领域内首先发展起来的，它反过来当然对教育系统也会产生巨大的影响。国际上教育比较发达的国家，如美国，千千万万中学和小学都建立了校园网络系统并连接到互连网络上。其中的K-12计划，就是将全美国教育系统无论大小学校的教育改革的情况都放在网上进行交流，及时学习先进的教育思想，收到很好的效果。这种方式的教育给人类带来了一个极好的机会，那就是，以现代信息计算机互连网络的技术向教育界锐意改革的人们提供了一个从传统应试教育模式向现代的、更合理、更全面、更有效的教育模式转化的途径。抓住了这个机会，就有可能将我们的教育事业推向一个新的高度；否则，将会使得我们与先进的教育思想的差距进一步拉大。 在传统的远距离教育中，我们大多通过邮政系统投递学习材料，或者通过电视广播播放函授教材。这种远距离教学模式的最大缺点是缺乏教学过程中的实时交互。在通过邮政系统实现的远距离教育中，可以实现一些交互性，但时间长，手续繁琐，费时费力，而在电视广播中，学生则处于无可选择的被动接收之中。由于传统远距离教育模式的诸多局限性，从而造成教学效率低下，学员的学习积极性不高。如何帮助学员解决疑难问题，提高学员的学习积极性，是我们远距离教育系统中急需解决的问题之一。 由于Internet具有影响范围广，能够方便快捷的传递信息，具有近乎实时的交互性，本身又是一个巨大无比的信息库等诸多优点。利用Internet作为远距离教育的新型手段，为我们解决传统远距离教育模式中存在的问题带来了希望。 基于Internet的远距离教育是最近在Internet网上高速发展的一个领域。在Internet上实现远距离教育，就是以计算机网络为基础，教师通过网络把教学信息传给每个学员，学生通过连网的计算机来进行学习和接受信息。利用远距离的高速数字通信线路，我们可以在计算机网络上运行五种典型的教学方式：双向式授课、协作学习、个别化学习、网上答疑和试题库。利用Internet，可以在诸多学校之间共享优秀的教师资源，实现优势互补，缩短由于地区经济发展的先后而引起的教育水平的差异。 利用Internet来进行远程教学，与传统远距离教育模式相比，有如下优势：1) 极大的增强了教师和学生、学生和学生之间的交互性、打破了教师和学生、学生和学生之间的相对孤立状态。这种交互性是近乎实时的、而且可以利用多种渠道实现，比如：电子邮件，BBS，WWW，基于网络的协作学习系统，网上在线交谈等等。2) 学习的异步性：利用网络进行远距离教育，可全天24小时进行，每个学员都可以根据自己的实际情况来确定学习时间、内容和进度，可随时在网上下载相关学习内容或向老师和同学请教。3) 学习信息的广泛性：网络同多媒体技术、虚拟现实技术相结合，可实现虚拟图书馆、，虚拟实验室、虚拟课堂等；可为学生提供多层次、全方位的学习资源，可引导学生由被动式学习向主动式学习转变。4) 评价的及时性：在传统的远距离教育中，对学生进行评价是件非常困难的事，要耗费大量的人力和物力，而学习过程中的形成性评价是提高学习效率的有效途径。通过网络上的电子题库和自动评价系统，可使学生及时得到有关自己学习过程的反馈及有针对性的诊断，使得学生能够及时调整自己的学习。 利用Internet进行远距离教育的上述优良特性，克服了传统远距离教育的局限性，它将形成一种主动的、协作的、开放的学习模式，并充分考虑双向教学环境，采取有提问、有反馈、有交流的教学方法，既保留了传统电教中的生动形象性和不受时间空间限制等优点，又有相互访问，双向交流，学习资源、学习内容广泛等优良特性，它可以适用于学校教育、成人教育、继续教育等各类远距离教育的需要。它必将在我国和世界范围内的远距离教育领域起越来越重要的影。 2．当前的课件写作系统概述 1）交互式可视化多媒体集成环境 写作系统是个非编程的课件生成系统，通常分为两类，样板型写作系统和集成型写作系统。前者依据某种教学策略提供样板结构，写作者根据系统提示填入适当的信息，系统自动形成可使用的课件，如天津大学开发的CACAS中文有声课件写作系统。集成型写作系统同时提供写作语言和丰富的样板给作者，既有方便性，又有充分的灵活性，如美国Online公司的OASYS系统。 随着微机系统性能的不断提高与多媒体技术的发展，以及形象直观的图形用户界面的普及，出现了一些优秀的交互式多媒体著作系统，其中比较著名的有：Hppercard、Authorware、Director、ToolBook等，它们都能够集成文字、图形、声音、动画、视频等多媒体信息，实现各种信息的超文本链接，对部分媒体提供可视化的编辑环境。此外，它们还支持写作语言，为课件写作者更加精确、灵活地控制课件的运行方式提供了条件。 这类多媒体写作工具是目前使用的最为广泛的，它们大体可以分为四个主要的类别：基于页面（框面、卡片、帧）的，基于流程线（图标）的，基于时序的和基于脚本的。 国外一些通用的多媒体集成工具在价格、功能等方面与国内的课件开发需求还有很大的差距。于是国内的有识之士纷纷着手研制适合我们自己需要的课件写作系统，诞生了一批有特色的写作系统。 ①方正奥思 它具有以下特点：采用基于树形结构的信息组织方法，支持超文本链接；采用基于时间描述的多层次多媒体同步模型，充分支持页内多个媒体对象的同步，协调播放要求；它提供了七种组对象，分别是串行、串接、并行、并接、并先、选择、动画，实现了七种预定的同步关系；提供了目标确定的路径动画和路径确定的路径动画这两种运动方式；具有方便的、开放的数据库管理功能，支持多媒体数据的存储和检索。 ②JBMT多媒体课件写作工具 ③积件管理系统 师生利用积件组合平台制作教学软件提供了充足的素材来源和多种有效途径；灵活易用的积件组合平台则是充分发挥师生创造力的有力工具。 积件思想是对多媒体教学信息资源和教学过程进行准备、检索、设计、组合、使用、管理、评价的理论与实践的高度概括，其内核主要体现在积件的基元性和可积性。 第一代教学软件（课件）是事先由教学设计确定的有固定程序的、定型情节的、模式化的、封闭的、整体的，不适应于千变万化的现实课堂教学。积件思想是继第一代教学软件棗课件之后的新一代的教学软件系统模式和教学媒体理论。 2）Internet环境下的写作工具 WWW技术的主要组成部分之一就是HTML语言（HyperText Markup Language），它实现了WWW上信息的超文本联接。Java是一种支持Internet网上编程的独立于平台的程序设计语言，它能够充分利用分布在网上的学习环境，具有良好的跨平台性、面向对象性，而且简单易学。Java applets用来产生动画，图象和声音，管理运行数据，能够被用户从网上下载并通过浏览器来运行，它扩展了HTML的功能，因此它可以被认为是Internet网上的多媒体写作工具。 VRML（Virtual Reality Modeling Language）的推出改变了信息局限于二维空间的历史，它允许人们通过浏览器操纵三维空间的虚拟现实环境和对象。 IMCAS（Internet Multimedia Courseware Authoring system ）是美国犹他洲（Utah）洲立大学研制的一个写作平台，它与上述写作平台的明显不同就是，它运用Java语言进行设计，运行与Internet 的Web服务器和客户机上。它包括一个网上教学发送工具（IIDT）、网上写作工具（IIAT）和四个知识/数据库。IIAT是个典型的网上课件写作工具。用它开发一个课件需要三个步骤：知识获取、课程构建（curriculum construction）和教学策略形成。知识获取包括让写作者提供内容知识然后以帧的形式存放在知识库中，产生问题并存储于问题库中，确定媒体表现形式并将相应媒体形式存于资源库中。课程构建包括设置预定学习者的特征，设定学习目标，选择教学内容，形成课件结构，决定教学序列。 3．以“学”为中心的ID理论 1）认知建构主义[1] ⑴ 强调以学生为中心[1] 传统的ID理论是以“教”为中心的，强调教师的“教”。其教学设计的目的是如何帮助教师把课备好、教好，而很少考虑学生“如何学”的问题。它有利于教师主导作用的发挥，有利于按教学目标的要求来组织教学。但是在个别化的学习中，按这种理论设计的教学系统中学生的主动性、积极性往往受到一定的限制，难以充分体现学生的认知主体作用。建构主义强调充分发挥学生的认知主体作用，重视学生在学习中的首创精神。[1] ⑵ 强调“情境”对意义建构的重要作用[1] 建构主义认为，学习总是与一定的社会文化背景即“情境”相联系的，在实际情境下进行学习，可以使学习者能利用自己原有认知结构中的有关经验去同化当前学习到的新知识，从而赋予新知识以某种意义；如果原有经验不能同化新知识，则要引起“顺应”过程，即对原有认知结构进行改造与重组。总之，通过“同化”与“顺应”才能达到对新知识意义的建构。在传统的课堂讲授中，由于不能提供实际情境所具有的生动性、丰富性，因而将使学习者对知识的意义建构发生困难。 ⑶ 强调“协作学习”对意义建构的关键作用[1] 建构主义认为，学习者与周围环境的交互作用，对于学习内容的理解(即对知识意义的建构)起着关键性的作用。这是建构主义的核心概念之一。学生们在教师的组织和引导下一起讨论和交流，共同建立起学习群体并成为其中的一员。在这样的群体中，共同批判地考察各种理论、观点、信仰和假说；进行协商和辩论，先内部协商(即和自身争辩到底哪一种观点正确)，然后再相互协商(即对当前问题摆出各自的看法、论据及有关材料并对别人的观点作出分析和评论)。通过这样的协作学习环境，学习者群体(包括教师和每位学生)的思维与智慧就可以被整个群体所共享，即整个学习群体共同完成对所学知识的意义建构，而不是其中的某一位或某几位学生完成意义建构。 ⑷ 强调对学习环境(而非教学环境)的设计[1] 建构主义认为，学习环境是学习者可以在其中进行自由探索和自主学习的场所。在此环境中学生可以利用各种工具和信息资源(如文字材料、书籍、音像资料、CAI与多媒体课件以及Internet上的信息等)来达到自己的学习目标。在这一过程中学生不仅能得到教师的帮助与支持，而且学生之间也可以相互协作和支持。按照这种观念，学习应当被促进和支持而不应受到严格的控制与支配；学习环境则是一个支持和促进学习的场所。在建构主义学习理论指导下的教学设计应是针对学习环境的设计而非教学环境的设计。这是因为，教学意味着更多的控制与支配，而学习则意味着更多的主动与自由。 ⑸ 强调利用各种信息资源来支持“学”(而非支持“教”)[1] 为了支持学习者的主动探索和完成意义建构，在学习过程中要为学习者提供各种信息资源(包括各种类型的教学媒体和教学资料)。但是必须明确：这里利用这些媒体和资料并非用于辅助教师的讲解和演示，而是用于支持学生的自主学习和协作式探索。因此对传统教学设计中有关“教学媒体的选择与设计”这一部分，将有全新的处理方式。例如在传统教学设计中，对媒体的呈现要根据学生的认知心理和年龄特征作精心的设计。现在由于把媒体的选择、使用与控制的权力交给了学生，这种设计就完全没有必要了。反之，对于信息资源应如何获取、从哪里获取，以及如何有效地加以利用等问题，则成为主动探索过程中迫切需要教师提供帮助的内容。显然，这些问题在传统教学设计中是不会碰到或是很少碰到的，而在以“学”为中心的建构主义学习环境下，则成为急待解决的普遍性问题。 ⑹ 强调学习过程的最终目的是完成意义建构(而非完成教学目标)[1] 在传统教学设计中，教学目标是高于一切的，它既是教学过程的出发点，又是教学过程的归宿。通过教学目标分析可以确定所需的教学内容；教学目标还是检查最终教学效果和进行教学评估的依据。但是在以“学”为中心的建构主义学习环境中，由于强调学生是认知主体、是意义的主动建构者，所以是把学生对知识的意义建构作为整个学习过程的最终目的。在这样的学习环境中，教学设计通常不是从分析教学目标开始，而是从如何创设有利于学生意义建构的情境开始，整个教学设计过程紧紧围绕“意义建构”这个中心而展开，不论是学生的独立探索、协作学习还是教师辅导，总之，学习过程中的一切活动都要从属于这一中心，都要有利于完成和深化对所学知识的意义建构。在学习过程中强调对知识的意义建构，这一点无疑是正确的。 但是，在当前建构主义学习环境的教学设计中，往往看不到教学目标分析这类字眼，“教学目标”被“意义建构”所取代，似乎在建构主义学习环境下完全没有必要进行教学目标分析。这种看法则是片面的，不应该把二者对立起来。因为“意义建构”是指对当前所学知识的意义进行建构，而“当前所学知识”这一概念是含糊的、笼统的。某一节的课文内容显然是当前所要学习的知识，但是一节课总是由若干知识点组成的，而各个知识点的重要性是不相同的：有的属于基本概念、基本原理(是教学目标要求必须“掌握”的内容)；有的则属于一般的事实性知识或当前学习阶段只需要知道还无需掌握的知识(对这类知识教学目标只要求“了解”)。可见，对当前所学内容不加区分、一律要求对其完成“意义建构”(即达到较深刻的理解与掌握)是不适当的。正确的作法应该是：在进行教学目标分析的基础上选出当前所学知识中的基本概念、基本原理、基本方法和基本过程作为当前所学知识的“主题”(或曰“基本内容”)，然后再围绕这个主题进行意义建构。这样建构的“意义”才是真正有意义的，才是符合教学要求的。 2）认知灵活性理论 ⑴ 运用多种知识的表示形式； ⑵ 将抽象的概念融于具体实例之中； ⑶ 将复杂知识的概念间的网状联系表示出来； ⑷ 强调知识的聚合而不是重复性记忆； ⑸ 较早地引入概念的复杂性与学科领域的复杂性； 3）情景认知理论 ⑴ 在真实活动中建模知识； ⑵ 通过台架或教练来引导学生完成任务； ⑶ 让学生连接、组织其零散的知识并区分无效的策略与错误的观念； ⑷ 逐渐减少帮助，以培养学生能力； 4）主动学习环境 二、虚拟现实技术综述 1．虚拟现实及其基本特征 虚拟现实系统就是要利用各种先进的硬件技术及软件工具，设计出合理的硬件、软件及交互手段，使参与者能交互式地观察和操纵系统生成的虚拟世界。从概念上讲，任何一个虚拟现实系统都可以用三个“I”来描述其特性[18]，这就是“沉浸（Immersion）”、“交互（Interaction）”和“想象（Imagination）”，如下图所示：
这三个“I”反映了虚拟现实系统的关键特性，就是系统与人的充分交互，它强调人在虚拟现实环境中的主导作用。 虚拟现实系统的设计要达到以下目标： 第二，系统要能提供方便的、丰富的、主要是基于自然技能的人机交互手段。这些手段使得参与者能够对虚拟环境进行实时的操纵，能从虚拟环境中得到反馈信息，也能便系统了解参与者的关键部位的位置、状态、变形等各种系统需要知道的数据。实时性是非常重要的，如果在交互时存在较大的延迟，与人的心理经验不一致，就谈不上以自然技能的交互，也很难获得沉浸感。为达到这个目标，高速计算和处理就必不可少。 参与者在虚拟环境中的活动或者经历有两种形式，一种是主观参与（First-person activities），另一种是客观参与（Second-person activities）。主观参与时，参与者是整个经历的中心，一切围绕参与者进行；客观参与时参与者则可以在虚拟环境中看到他自己与其它物体的交互。 交互和沉浸是任何虚拟现实经历的两个实质性的特征，因此，根据虚拟现实应用的不同，即沉浸的程度，它可以分成不同的类别。早期的虚拟现实系统可能只有部分虚拟现实的特性，例如环幕电影或立体电影。有的应用也不需要完全的沉浸和投入，例如增强现实系统。在实际应用中，不同虚拟现实系统设计的侧重点和所受约束各不相同。例如，受资金限制装备不上最先进的硬件设备，或是硬件本身性能达不到要求，这样系统的计算速度、交互手段可能要受到影响，此时只能从软件上着手弥补缺陷，产生了许多基于软件的技术，例如基于静态图像的虚拟现实系统、虚拟仿真等。由于虚拟现实本身并不限制使用的技术范围，只要能达到目标，可以把各种技术有效地集成起来设计出一个成功的虚拟现实系统。 2．虚拟现实系统类型的划分 1) 桌面级的虚拟现实 基于静态图像的虚拟现实技术：这种技术不采用传统的利用计算机生成图像的方式，而采用连续拍摄的的图像和视频，在计算机中拼接以建立的实景化虚拟空间，这使得高度复杂和高度逼真的虚拟场景能够以很小的计算代价得到，从而使得虚拟现实技术可能在PC平台上实现。 VRML（虚拟现实造型语言）：它是一种在Internet网上应用极具前景的技术，它采用描述性的文本语言描述基本的三维物体的造型，通过一定的控制，将这些基本的三维造型组合成虚拟场景，当浏览器浏览这些文本描述信息时，在本地进行解释执行，生成虚拟的三维场景。VRML的最大特点在于利用文本描述三维空间，大大减少了在Internet网上传输的数据量，从而使得需要大量数据的虚拟现实得以在Internet网上实现。 桌面CAD系统：利用Open GL、DirectDraw等桌面三维图形绘制技术对虚拟世界进行建模，通过计算机的显示器进行观察，并有能自由地控制的视点和视角。这种技术在某种意义上来说也是一种虚拟现实技术，它通过计算机计算来生成三维模型，模型的复杂度和真实感受桌面计算机计算能力的限制。 2) 投入的虚拟现实 基于头盔式显示器的系统：在这种系统中，参与虚拟体验者要戴上一个头盔式显示器，视听觉与外界隔绝，根据应用的不同，系统将提供能随头部转动而随之产生的立体视觉、三维空间。通过语音识别、数据手套、数据服装等先进的接口设备，从而使参与者以自然的方式与虚拟世界进行交互，如同现实世界一样。这是目前沉浸度最高的一种虚拟现实系统。 投影式虚拟现实系统：它可以让参与者从一个屏幕上看到他本身在虚拟境界中的形象，为此，使用中电视技术中的“键控”的技术，参与者站在某一纯色（通常为兰色）背景下，架在参与者前面的摄像机捕捉参与者的形象，并通过连接电缆，将图像数据传送给后台处理的计算机，计算机将参与者的形象与纯色背景分开，换成一个虚拟空间，与计算机相连的视频投影仪将参与者的形象和虚拟境界本身一起投射到参与者观看的屏幕上，这样，参与者就可以看到他自己在虚拟空间中的活动情况。参与者还可以与虚拟空间进行实时的交互，计算机可识别参与者的动作，并根据用户的动作改变虚拟空间，比如来回拍一个虚拟的球或走动等，这可使得参与者感觉就象是在真实空间中一样。 远程存在系统：远程存在系统是一种虚拟现实与机器人控制技术相结合的系统，当某处的参与者操纵一个虚拟现实系统时，其结果却在另一个地方发生，参与者通过立体显示器获得深度感，显示器与远地的摄像机相连；通过运动跟踪与反馈装置跟踪操作员的运动，反馈远地的运动过程（如阻尼、碰撞等），并把动作传送到远地完成。 3) 增强现实性的虚拟现实 4）分布式虚拟现实 3．问题的提出和研究的方向 建构主义学习理论和学习环境强调以学生为中心，不仅要求学生由外部刺激的被动接受者和知识的灌输对象转变为信息加工的主体、知识意义的主动建构者[2]； 建构主义认为[2]，学习总是与一定的社会文化背景即“情境”相联系的，在实际情境下进行学习，可以使学习者能利用自己原有认知结构中的有关经验去同化当前学习到的新知识，从而赋予新知识以某种意义；通过“同化”与“顺应”达到对新知识意义的建构。在传统的课堂讲授中，由于不能提供实际情境所具有的生动性、丰富性，因而将使学习者对知识的意义建构发生困难。 认知灵活性理论（Cognitive Flexibility Theory，CFT）提出：复杂的知识通过在新的实例情景中的灵活应用，可以学习的更好。 情景认知理论（Situated Cognition Theory，SCT）认为认知过程基本上是建立在活动情景之中的。SCT十分重视活动的性质和参与者在真实情景中有意义有目的的行为。 按照这种观念，在建构主义学习理论指导下的教学设计应是针对学习环境的设计而非教学环境的设计。在教学时，我们要尽量创建一种较真实“情景”，鼓励学生在其中自由地学习和探索，以促进学生进行意义的建构。 教育是一个传授知识的过程，通过亲身经历能加速这一过程和巩固所传授的知识，为此而设计的很多方法中，虚拟现实技术是最有效的，虚拟现实技术有着不可替代的、令人鼓舞的应用前景，因为它允许学生与现有的各种信息发生交互作用，学生可以在仿真过程中经历不同的时间和空间、可以与各种仿真物体接触、还可以与虚拟境界的各个部分接触。其科目范围可以从历史到科学，非常广泛。将世界上各种教育虚拟现实系统实时联网，这对增强学习实践提供了数不清的途径。 在体育课上，学生可以进入仿真环境，去亲自实践一位NBA冠军队员兰球场上的表演。在物理课上，学生可以参与一种科学可视化，使得他（她）可以在一个虚拟境界内去发现各个物理定律；在文学课上，学生可以接受虚拟的莎士比亚的拜访，而且，这位虚拟的莎士比亚可以亲自对他讲解他的话剧。在医学上，学生可以通过虚拟现实对人体作各种医疗实验；在化学教育中，虚拟现实可以让学生在分子级或原子级操纵物质模型，可以进入有毒的空间参观。各种应用，几乎不可胜数。例如，在美国达特茅斯医学院开发的“交互式多媒体虚拟现实系统”，可使医务工作者体验并学习如何对各种战地医疗的实际情况作反应。利用该系统，实习者可以感受由计算机仿真产生的各种伤病员的危险症状，可从系统中选择某种操作规程对当前的伤病情况进行处理，并可立即看到这种处理所产生的后果。系统还可以仿真各种外科手术，包括一般的开刀直至复杂的人体器官替换。这样，医学院的大学生不必冒任何医疗事故的风险就可以反复实习手术中的各种实际操作。虚拟现实技术应用于教育的另一个典型例子是在化学教育中的应用。北卡罗莱纳大学的科学家们研制了一种可以让用户用手操纵分子运动的虚拟现实系统，用户戴上头盔并通过数据手套进行控制，可以使分子按某种方式结合在一起，这种不仅在教学上很有效，而且在科研上也有重大价值，因为按新方式结合在一起的分子结构很可能成为治疗某种疾病的新药或工业上所需的特殊材料。 虚拟现实技术对不同级别的学生都是有利的，包括小学、中学和大学，对虚拟现实技术的巨大潜力的限制往往来自学校的校长和老师、以及可以得到的资金。由于设备昂贵，目前虚拟现实技术只是应用于少数高难度的军事和医疗模拟训练，以及一些研究部门，一些很具有应用前景中小单位，如学校等，往往是由于无法购置这些昂贵的设置，只能望而兴叹。 目前国内外实现虚拟现实的理论方法仍然集中在硬件和配套软件的研究上，系统需要采用专用设备如：头盔式显示器、数据手套、高分辨率图形工作站等。这些昂贵的设备是普通单位难以企及的。如果采用360度全景摄影所获得的素材，通过情景仿真处理并采用先进的图形压缩与还原算法，完全有可能实现逼真度很高的虚拟现实情景，而且也可以交互，但却不需要头盔式显示器、数据手套、高分辨率图形工作站等专用设备，只需要普通Pentium微机和Windows运行环境就能实现，从而有可能使虚拟现实技术走出高级研究院与大学的“象牙塔”，逐步普及到国民经济的各个领域甚至中小学，这对我们这个经济还不算富裕的国家来说无疑是有重大意义的，这也是本研究的实际意义所在。 正是因为以往的虚拟现实技术过分依赖于昂贵的专业设备，虽然虚拟现实技术在教育领域具有其他媒体不可比拟的“真实性”优势，但却不能广泛应用于教育领域。这次研究我们使用基于静态图像的虚拟现实技术（QuickTime VR）来开发一种网络课件的写作系统。它在技术上有它自己独特的特色，它在三个方面优于普通意义上的虚拟现实技术： 首先，在环境要求上，普通意义上的虚拟现实技术需要特殊的专用设备，如头盔式显示器、数据手套、高性能的图形工作站等，价格昂贵难以普及，而本系统对硬件没有特殊要求，在普通微机上便可实现虚拟现实环境，它的成本极低，能够得到广泛的应用。 其次，从目前国内外现有VR系统上来看，都采用计算机生成图像的方式来建立三维模型，图像的分辨率、质量、复杂度、真实性都不是很高，复杂场景造型数据量巨大，而且常常由于场景的快速切换出现抖动和延迟。而本系统采用360度全景摄影照片作素材，所以图象质量高，立体效果好，因为是根据真实世界影像来进行三维建模，因而真实性极强，另外，本系统采用先进的图像压缩与还原算法，不仅使造型数据量小，而且在空间呈献时，没有很大的延迟； 第三，目前大部分VR系统的制作都需要复杂的编程来生成三维模型、检测特殊外部设备的状态及反馈、进行交互控制等，这就限制了普通人涉及这个领域的开发。而本系统使用的QuickTime VR电影的生成模式为拍摄 数字化（扫描） 图像缝合 生成场景，使得素材的准备工作变得非常简单。 第四，QuickTime VR在软件的支持下，支持网络功能。因此利用本课件写作系统开发的多媒体教学软件，还可以通过Internet网络向全世界发布。由于Internet具有影响范围广，能够方便快捷的传递信息，具有近乎实时的交互性，本身又是一个巨大无比的信息库等诸多优点。利用Internet作为远距离教育的新型手段，为我们解决传统远距离教育模式中存在的问题带来了希望。 三、国内、外在该领域的研究成果概述 1．国外情况 1991年，Apple公司的人机接口实验组(ATG)建立了一个基于实景的成象环境，在其中用户能与QuickTime数字视频数据交互.这些数据称为航行电影(Navigable Movie)，接口称为航行电影播放机(Player)，通过他们用户能进人虚拟空间。ATG以俄罗斯某一皇宫为原型，创建了一虚拟宫殿，用户在虚拟宫殿里游玩就象真的一样。因为显示器每时刻只能显示一部分景象，所以在这里还能通过全局图象来指导用户交互，目的是给用户提示上下文信息，让用户具有对景象的整体感和先验知识，利用实景像已为全景视频的发传打下了基础。 1994年6月，Apple公司开始推出全景视频产品QuickTime VR，第一次使人们领略了具有照片质量的虚拟现实环境。它把环绕一若干张边缘稍有重叠的照片图象，利用软件将它们粘结在一起，组合成一张无平滑的360度全景图象，它通过超文本系统HyperCard来制作热点，将不同视点的全景图象进行连接。其全景图象在压缩过程中被分成768*104大小的块，存储为标的QuickTime MOOV文件。初始时只装人全景图象的一部分，移动时再调人相应的块。它能模拟人在空间的行，向四方观望，还加人了声音的效果。QuickTime VR的写作工具运行在Macintosh微机上。 Microsoft公司在1995年3月开发了基于Windows的全景视频Surround Video。两者功能基本相同，但制作全景视频的方法不同.Surround Video是利用硬件，直接通过全景照相机得到全景图象。其全景图象被分为只有4象素宽的块，不压缩存储为Striped DIB文件，显示时调人相应的数据块即可。 目前，国外对于基于静态图像的虚拟现实技术QuickTime VR的应用还仅仅停留在游戏开发领域和风景介绍领域。微软公司出品的微软百科全书Encarta Encyclopedia中的Virtual Tour就是应用了基于静态图像的虚拟现实技术，将世界各地的名胜古迹做成全景电影，足不出户便可以饱揽世界风光。电影中各场景之间通过热点相互连接，观众可以根据自己的意愿在电影中选择观看自己感兴趣的东西。同时，该软件还为电影中的每个场景配有一张导航图，在导航图中，观众可以看到自己在场景中位置，以免迷失在这个虚拟空间中。 将基于静态图像的虚拟现实技术应用于教学的研究还刚刚开始，尤其是在教学软件中直接使用基于实景照片的QuickTime VR技术。 2．国内情况 四、QuickTime VR技术开发与研究的技术基础 1．QuickTime基础 QuickTime是建立在一些与时基数据相关的概念基础之上的：原子(Atom)、媒体结构(Media structures)、组件(Component)、时间管理(Time management)、动画图象(Sprites)。 ① 原子 ② 媒体结构 QuickTime影片通常是由许多轨道组成的。轨道不包含影片数据，它仅仅包含这些数据的索引，而真正的数据内容则存在于其它地方。这些数据索引组成了轨道的媒体结构。每个轨道都包含了一个独立的媒体结构和一个编辑列表，编辑列表用来以时间顺序安排媒体结构。媒体结构和编辑列表是做为QuickTime原子来实现的。 ③ 组件 应用程序使用组件是通过调用系统级的组件管理器。组件管理器使你可以定义和登记组件并可以通过使用一个标准的界面来和组件进行联系。一旦应用程序连接到组件上之后，就可以直接调用组件。当你生成了一种新的组件类的时候，你可以为这种新组件定义一种函数级接口。 ④ 时间管理 ⑤ 动画图象 2）QuickTime的结构
① 影片工具箱 影片工具箱也提供了编辑影片的函数。例如，有这样的函数，可以通过移去部分视频和音轨来缩短影片，也有函数通过从其它影片中移入新数据来扩展它。 ② 图象压缩管理器 大多数情形下，通过调用影片工具箱函数或显示压缩图象来避开直接调用图象压缩管理器。但是如果应用程序压缩图象或者用压缩图象制作影片，就可以直接调用图象压缩管理器函数。 ③ QuickTime组件 (1)数据处理器：包括有影片控制器组件、图象压缩组件、图象转换组件、视频数字化组件、数据交换组件、声音处理组件、效果转换组件、预览组件等。 (2)媒体处理器：包括有衍生媒体处理器组件、动画媒体处理器组件、中间媒体处理器组件等。 (3)工具：包括有时钟组件、标准声音组件、顺序抓取组件、顺序抓取通道组件、文本轨道组件、顺序抓取面板组件等 2．QuickTime VR的基本概念及其产品的基本开发流程 1）什么是QuickTime VR 我们可以这样来理解QuickTime VR，假定我们在一室空间进行观擦，室内空间一般有六个表面，如果我们获取了这六个表面的许多不同距离，不同方位的实景照片并将他们按照相互的关系有机连接 起来就可以在视觉上形成这个房间整个空间的整体认识，这就是全景概念。在观察时。 我们可以任意的转动观看，也可以改变视点，或是走近仔细观看，由于这些照片是相互连接的，所以只要照片足的精细连接得紧密正确，我们就可以获得空间的感觉。同样无论无论我们是野外海边，还是在复杂如迷宫的博物馆，办公室或航空母舰上，通过建立以实景为基础的全景图象，就可以对我们的周围进行观擦，如果辅以声音，也可以获得较好的随意观察、交互访问的效果。这就是QuickTime VR工作的基本原理。 QuickTime VR是在下列核心概念的基础之上组成的。这些概念包括： 全景（Panoramas)：全景是QuickTime VR技术最具特色的概念。QuickTime VR的全景实际上是空间中一个视点对周围环境的360度的视图。它可以理解为以节点为中心的具有一定高度的圆柱形的平面，平面外部的景物投影在这个平面上，即为全景图象。用户可以在全景中在360度的范围内任意切换视线，也可以在一个视线上改变视角，来取得接近或远离的效果。 对象(Objects)：QuickTime VR的物体是和全景图象的概念相对比的概念。可以这样说：QuickTime VR的全景图象是从空间中的节点来看周围360度的景物所生成的视图，而物体则刚好相反，它是从分布在以一件物体（即物体）为中心的立体360度的球面上的众多视点来看一件物体，从而生成的对一件物体全方位的图象信息。 场景（Scenes）：QuickTime VR的场景指的是把一个或多个全景图象或对象电影通过热点这种手段连接后的全景图象和对象电影的有序集合体。在QuickTime VR场景中，用户可以在很多全景图象或对象电影中漫游，可以以从全景图象到全景图象、从全景图象到对象电影、从对象电影到对象电影、从对象电影到全景图象等多种他们愿意的方式来漫游。 每个在场景中的全景图象或对象电影称为节点。而每个场景都有一个入口节点，当一个场景打开时，这个入口节点作为缺省的节点被显示出来。 2）QuickTime VR的基本特征 ①造型特点 基于几何模型的实时建模与动态显示是计算机图形学中的传统方法。首先，在计算机中建立起三维几何模型，一般均用多边形表示。在给定观察点和观察方向以后，使用计算机的硬件功能，实现消隐、光照及投影这一绘制的全过程，从而产生几何模型的图像。这种基于几何模型的建模与实时动态显示技术的主要优点是观察点和观察方向可以随意改变，不受限制。但是，它也有两个缺点：一是复杂模型的造型过程比较繁琐、工作量大；二是每一个观察点或观察方向都需要进行复杂模型或场景的绘制计算。因此，需要具有较强计算能力和图形功能的工作站，而这有时是办不到的。从另一方面来看，当三维模型高度复杂时，每个面片所占据的屏幕象素的平均数将很少。设工作站的处理能力为每秒300万个面片，而刷新频率为每秒10帧，那么，平均起来每帧需处理30万个面片。设屏幕分辨率为1000×1000=100万个象素，那么，每个面片平均只占据3个象素。对于这样复杂的三维模型，再逐个物体、逐个面片地进行绘制是也是没有必要的。 在这样的背景下，人们开始考虑可否避开繁琐的造型过程和复杂的绘制计算，而直接用图像来实现复杂环境的实时建模与动态显示。QuickTime VR就是一种利用图像镶嵌(Mosaic)方式来实现复杂环境的实时建模与动态显示的技术。 在建造QuickTime VR的三维场景时，选定某一观察点设置摄像机。每旋转一定的角度，便摄入一幅图像，并将其存储在计算机中。在此基础上实现图像的拼接，即将物体空间中同一点在相邻图像中对应的象素点对准。对拼接好的图像实行切割及压缩存储，形成全景图。用户从存储介质中调出全景图即可形成对三维复杂场景的漫游。这种三维空间，只能在所设定的观察点的位置上对三维场景进行漫游。如果要换一个观察点，必须再重新摄取一组图像构成全景图，当改变观察点进行漫游时，便会出现图像突变的情况，也就是三维空间切换不是很平滑。 这种基于图像镶嵌方法的优点是可由摄像机获取三维场景，不需要进行几何造型，对计算机的计算能力要求不高，但需较大的存储空间，可实现实时建模与动态显示。其缺点也是显然的，即场景本身必须是静态的，而且在漫游时，观察点及观察方向受到了严格的限制，这是因为不可能做到对于任意的观察点都拍摄一组图像存放在计算机中。 为了解决图像镶嵌技术中只能在原图像摄取点进行漫游这一问题，可以在不同图像之间进行插值或在不同视图之间进行插值，以生成新的视图的方法。其基本思路是:在不同的观察点取得三维场景或某一物体的多幅图像，交互地给出或自动求出每两幅图像之间的对应点，再用图像插值或视图变换的方法求出该物体对应于其它观察点的图像。这时，需要解决图像插值时可能出现的空洞或重叠等问题。在将几何模型转变为屏幕图像的过程中，我们需要解决隐藏面和隐藏线消除、光照强度计算及由物体空间到图像空间的投影等三个问题，而在基于图像的实时动态显示中，当需要由已知图像产生其它图像时，同样需要解决以上三个问题，也就是如何确定在不同的已知图像中同一物体的对应点，并找到它在所求图像中的位置，如何求出该点应有的光亮度值以及如何在所求图像中正确反映出物体之间的前后关系。这些问题都是QuickTime VR所需进一步研究的方向。 ②功能特点 ③性能特点： 兼容性好：QuickTime VR场景可运行于普通微机，无需运行于高速工作站。在当今流行的操作系统平台上，如Windows 3.X， Windows 95， Mac OS， 均有相应的支持版本。因此，同一QuickTime VR 场景可跨平台运行，同时，它还可以在Internet上发布。 高度的现实性：QuickTime VR运用真实世界的全景图像来构建虚拟的现实空间，真实世界的全景图是用一个35mm 胶片的相机和一个三角架装置来获取的，它远比由计算机生成的图像的真实感强，由于胶片可以提供很高的清晰度，从而图象具有更丰富的图象和更鲜明的细节，不同效果和各种环境也可以用一系列的镜头和滤光镜来获得。QuickTime VR提供了观察场景的正确透视，使用户有身临其境左右环视的感觉，又可以使用户可以在场景中从各个角度观察一个真实物体，从而提供了最大限度的VR体验。 数据量小：QuickTime VR采用了苹果公司独有的专利压缩技术，它可以将一整张360度的全景图片压缩到540K以下。相对于其它虚拟现实技术，QuickTime VR 影片数据量极小。小数据量意味着同样大小的磁盘空间存储更多的图片，同时也意味着用户对场景的操纵更加迅速。 制作简单：相对于其它虚拟现实技术而言，QuickTime VR的制作相对简单，的制作周期比较短，制作的可控制性也很强。制作流程主要是拍摄、数字化、节点制作、场景制作，前期拍摄的不利因素的影响，如阴天光线的影响，都可以通过后期数字化加工消除。一般制作一个大型的场景，一般也只需几个月。 3）QuickTime VR与其它技术的比较 与传统虚拟现实技术的比较：QuickTime VR不需要特殊的硬件和附属设备，在普通的PC机或Macintosh机上即可实现虚拟现实的效果。QuickTime VR可以应用照片、录象或数字图象来创建虚拟环境，这就不同于静止的CAD或GIS制作，使它较之传统的虚拟现实技术有着更高的真实感、更丰富的图象和更鲜明的细节特征。 与多媒体软件的比较：多媒体在感知领域的应用不及VR广泛，且多媒体技术所操纵的对象都是二维的，QuickTime VR技术拥有比多媒体技术更强的真实感. 五、系统的设计与实现 1．系统研究的目标 本次研究以技术研究为主，具体的目标是要开发出一个在普通PC机上运行的基于虚拟现实技术的网络课件写作系统，它主要由七个部份组成，其逻辑结构图如下图所示。
各部份的主要功能分别是： 2）素材管理器：要制作一个复杂的基于虚拟现实技术的网络课件系统，需要大量的多媒体素材，除了包括用于产生虚拟信息空间的物体电影和全景电影之外，还有各种传统的多媒体元素。素材管理器主要用于对电影、图像、声音、视频、文本等媒体文件的管理，可以对它们方便地加入注释信息，并能方便地进行查找与删除。 3）物体电影播放器：物体电影文件不同与一般的视频文件，它有自己独特的文件格式，因此我们需要有一个专门的功能模块对它进行实时播放。物体电影播放器需要处理键盘和鼠标操纵信息，并根据这些操纵信息实时显示对应的虚拟空间。物体电影播放器包括两个部份，一个是独立的播放软件，专门用于播放物体电影文件；第二，为了将QTVR整合应用到其它多媒体开发软件中，需要编制一套播放软件的动态链接库，使得其它程序开发工具（如Visual C++、Visual Basic、Delphi、AuthorWare等）能够将QTVR的物体电影文件作为一种新型的媒体素材加以利用，这可以大大促进QTVR的广泛应用。 4）全景电影播放器：此功能模块同上面的物体电影播放器功能相似，不同的是全景电影播放器播放的是全景电影文件。实时地构造一个虚拟的全景信息空间，在这个虚拟现实信息空间中，学习者可以根据自己对学习内容的不同掌握程度，在这个虚拟的现实空间中进行探索，选择自己感兴趣的学习内容。在显示全景电影时，需要同时校正全景图像的曲线失真。全景电影播放器也包括两个部份，第一部分是一个独立的全景电影播放软件，专门用于播放全景电影文件；在第二个部分中，我们要编制一套播放全景电影的动态链接库，使得其它程序开发工具（如Visual C++、Visual Basic、Delphi、AuthorWare等）能够将QTVR的全景电影文件作为一种可用的素材来进行集成，就象使用其他媒体一样的简单。 5）多媒体集成器：要制作一个适合学生个别化的网络教学软件，单单依靠QTVR的虚拟现实技术是远远不够的，QTVR技术还是一种初级的桌面现实系统。将它应用于教学并取得良好的教学效果，我们还必须借助于其他传统的多媒体来弥补它的不足，例如：图像、声音、文本、视频等。苹果公司的QTVR写作软件Authoring Studio也没有提供QTVR同其他传统媒体的超连接。在本系统中，为了将QTVR的全景电影文件、物体电影文件和图像、声音、文本等传统媒体元素有机地集成到一个网络课件中，我们设计了这个多媒体集成器。它根据脚本对各种媒体的定义和加涅的教学设计理论，使用超连接的形式将各媒体元素合并成一个整体。 6）课件预揽器：本系统的全称是基于虚拟现实技术的网络课件写作系统。顾名思义，在本系统上开发出来的教学软件最终要运行在网络上的，而开发过程几乎完全集中在PC上。课件预揽器在单机上模拟一种合适的网络环境，以提供对网络课件的预揽，为网络课件的写作提供一种所见即所得的集成开发环境。使得课件的设计和初级测试可以完全在单机上完成。 7）浏览器插件：目前，市场流行的各种浏览器还不能直接支持QTVR文件的播放。要将在本系统上开发的网络课件真正应用于网络，需要一个浏览器插件。此插件根据此网络课件的脚本自动生成一个HTML文档，在客户端的浏览器中完成QTVR文件的实时播放，并实现各媒体之间的超连接关系。 2．研究过程 第一阶段：主要是进行资料调研的工作，需要调研的工作有：理解什么是QuickTime VR，它有什么技术特色，目前的应用与研究现状，其局限性等；熟悉QuickTime VR制作流程，制作一个QuickTime VR的样例；熟悉QuickTime 、QuickTime VR的基本原理，论证开发基于虚拟现实技术的网络课件写作系统的可行性，了解系统开发的技术基础，设计系统总体框架。目前这一阶段的工件已经基本完成。 第二阶段：这个阶段是研究的核心阶段，主要要完成的工作是完成本系统核心部份的开发。熟悉QuickTime VR制作流程，以便对QuickTime VR制作流程进行有效的控制和管理。探索将QuickTime VR应用到教学设计中去的原理和规律，在此基础上，设计出脚本编辑器和素材管理器。 QuickTime VR影片播放软件的开发，它分为两个部分，首先开发一个独立的QuickTime VR影片播放软件，包括全景电影播放器和物体电影播放器。然后在此基础上，开发一套影片播放的动态链接库，以便在其它应用程序中能够使用QuickTime VR影片，这样QuickTime VR影片就不再是少数几个开发工具软件（如 Director）所独有的媒体素材。另外，我们试图开发一个播放QuickTime VR影片的VB控件，此控件可实施商品化。 探索如何将QuickTime VR电影文件同传统媒体通过超连接的形式有机地结合起来，并据此开发出多媒体集成器。 寻求一种方法，使得QuickTime VR电影之间的热点跳变变得平滑。现有的QuickTime VR电影虽然提供了由节点到节点的超连接，但是这种转换是突变的，既没有中间的过度过程。譬如，当我们从路的一头走到一头时，不是一个渐进的过程，而是突然地跳转到终点。这是和我们的日常习惯相背的，我们常常会因此而在虚拟空间中失去方向。电影的过度是否平滑关系到能不能有效地将QuickTime VR技术运用到教学过程中去。我们的初步设想有两个：一是在两个节点之间插入许多的中间图片，模仿生活中电影的播放过程，在转到下一个节点之前，首先通过程序播放这些中间图片，以产生一种渐进的平滑效果。 参考文献 >>相关产品 |
