增强现实在教育学习环境的应用与实践
摘要：增强现实是虚拟现实技术的延伸。增强现实环境中的学习注重虚拟与现实的结合，通过在现实环境之中设置虚拟信息，让学习者使用计算机或移动设备在虚实融合环境中与学习内容互动。本文首先介绍增强现实的核心特点及与虚拟现实的区别，然后简要介绍了增强现实的技术实现流程，梳理了国内外教育领域中增强现实学习环境的研究现状，介绍了一个自主研发的增强现实教育应用案例———“未来之书”，并阐述了增强现实技术对于教学的意义和价值，即增强现实学习环境符合情境学习理论和建构主义学习理论，它带给我们的不仅仅是一个技术平台，更可能是新的教学模式和方法。文章最后总结探讨了增强现实学习环境的发展趋势。
纵观信息技术的每一次演变， 科技的进步与新技术的诞生都会带来新的想法与作法， 这在信息与教育整合上也不例外。数字化信息、网络平台、移动学习、普适学习以及近年来出现的三维虚拟学习环境、增强现实学习环境等，都是将科技的优势应用于教学和学习活动之中的具体体现。
增强现实（Augmented Reality，简称AR）是虚拟现实（Virtual Reality，简称VR）技术的延伸。增强现实技术与虚拟现实技术几乎同时出现，早在1968 年，图形学先驱Sutherland 制作的第一个头盔式显示器就是透射式、而非完全沉浸式的，它可以作为AR 设备使用。在随后的20 年中，由于硬件设备与图形学研究本身的限制，AR 技术没有显著的进展。20 世纪90 年代初期，波音公司的Tom Caudell 与同事在其设计的辅助布线系统中提出了“增强现实（Augmented Reality）”这个名词[1]。虽然对于增强现实的概念目前尚没有一个统一的定义，但一般认为，增强现实技术是借助于三维显示技术、交互技术、多种传感技术、计算机视觉技术以及多媒体技术把计算机生成的二维或三维的虚拟信息融合到用户所要体验的真实环境中的一种技术。增强现实技术发展以来已经在诸如医学、娱乐、军事训练、工程设计、机器人及远程机器人学、制造维护和修理、消费设计等多个领域得到了发展。
一、增强现实的核心特点
虚拟现实是创造一个全新的虚拟世界， 用户可借助必要的装备与数字化环境中的对象进行交互，产生身临其境的感受和体验，用户完全沉浸在合成的环境中， 因此用户不能看到自己周围的真实环境。相比之下，增强现实则是强调虚实结合，将虚拟的物体叠加或合成到真实世界汇总， 它允许用户看见真实世界。因此，增强现实是补充真实而不是完全替代它[2]。James R Vallino 在其博士论文中提出： 增强现实技术是将合成的感觉信息融合进用户对真实世界的感知中[3]。增强现实系统的目标是将互动的现实世界和交互式计算机生成的世界融合， 以这样的方式使得它们看起来是一个环境。
理想的增强现实系统不仅提供实时的、逼真的、高解像度的3D 场景，而且需要有一套复杂跟踪定位设备和交互感应设备， 以此来实现人与虚拟环境的无缝融合， 并使人通过最自然的操作与虚拟世界中的三维物体进行实时交互。这样增强现实技术可以将人类不可抵达的真实世界或者存在于人们想象中的微观世界用三维动画模拟的方式生动形象地展现在人们面前， 使人们方便地对其中的事物进行细致入微地观察， 探索事物的本质和规律[4]。
与虚拟现实尽可能消除人们对真实世界的感知相反，增强现实是对真实世界的加强。Milgram 对增强现实和虚拟现实之间的关系做了一个描述，定义了现实—虚拟之间的连续变化关系[5]，如下图1 所示。
图1 Milgram 的虚拟——现实连续性
增强现实有两个特点：第一在概念上，认为数字空间中的视频环境即是真实环境；第二在技术上，通过图像与三维几何模型的无缝结合实现虚实融合。
增强现实技术的研究已有十几年， 早先为实现增强现实技术的虚实结合， 一般都需要佩戴透视式头盔显示器，但是这些头盔、立体眼镜造价比较昂贵，设备也沉重，影响了增强现实技术的推广使用。后来随着计算机视觉技术的发展， 增强现实开始通过二维图片的标记来定位， 只需要一个普通的摄像头去捕捉这个标记，然后由软件计算其标记位置和方向，把虚拟的三维几何对象按照这个位置和方向实时叠加上来， 用户可直接通过电脑屏幕或者投影设备就能看到虚实融合的场景。增强现实环境中的学习注重虚拟与现实的结合， 通过在现实环境之中设置虚拟信息， 让学习者使用计算机或移动设备在虚拟信息架构出的虚拟环境中与学习内容互动。
二、增强现实技术实现流程
AR 系统中，成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑技术[6]。为了实现虚拟物体与真实场景尽可能自然的融合， 增强现实需要解决如何精确定位的问题。AR 系统需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中， 它一般包括4 个基本步骤：
(1)捕获真实场景图像；
(2) 分析真实场景和相机位置信息；
(3)生成虚拟对象；
(4)合并图像流生成虚实融合场景，如图2 所示。
图2 增强现实技术实现简单流程
三、增强现实学习环境研究现状及典型案例介绍
对增强现实技术应用于教育领域的研究起点主要有两类：（1）从游戏的角度；（2）从e-Learning 的角度。前者主要依据技术的发展对游戏进行划分，而当前代表游戏最高水平的就是三维图形（3D Graphics）游戏， 因此人们在研究3D 游戏用于教学时又称游戏为3D 虚拟世界或3D 虚拟环境。对于后者，Clougherty 提出将e-Learning 划为三个阶段， 第一阶段是学习管理系统环境下的学习，如Moodle 环境中的学习， 第二阶段是社会网络环境下的学习，如Web2.0 下的Blog、Wiki 等学习，第三阶段是在三维虚拟空间中的学习， 增强现实学习即属于三维虚拟空间学习的范畴[7]。
不管是从游戏角度， 还是e-Learning 角度， 越来越多的人关注增强现实技术在教育领域中的应用， 并且设计了许多不同的系统或平台等，以满足学习者或教学者的需求。
(一) 国外研究现状
国外目前对于增强现实已经从研究其算法技术本身转到关注其具体领域的应用， 其中医疗领域的应用研究是最大的一个热点， 而对于增强现实在教育领域的应用，国外学者也做出了不少尝试。Billinghurs 利用增强现实技术设计了一套儿童阅读书Magic Book，它将书本内容制作成动画并且以AR 的形式迭加在书本上的不同单元里[8]。在图3(a)中，因为隐藏了图像捕获等设备，因此魔法书与普通书本看起来并无差异；(b) 中是使用AR 显示设备观看魔法书的内容，通过此设备，能够看到叠加在魔法书上的3D 动画， 用户只需要通过移动书籍或转换视角等操作就能够从不同角度观看，操作很简单；(c) 中展示的是叠加到真实场景中的虚拟场景。Magic Book 将计算机设备隐藏起来，用户只需要翻阅书本来改变故事内容与场景， 利用HMD 来观看书本内容，不需要额外去操作指令按键，这样让互动更接近自然的阅读行为。
图3 使用Magic Book 展示 从现实环境逐步迁移到虚拟环境中
ARCHEOGUIDE （Augmented Reality -basedCultural Heritage On-site GUIDE）(Vlahakis V,2002)是由欧盟资助的旨在通过增强现实技术复原古迹的一个系统。用户在户外遗址所在的位置，透过增强现实客户端就可以接收到所在位置的相关虚拟信息，通过客户端与相应的S-HMD 即可看到遗迹复原的效果。
Kaufmann 通过实验证实，看到书本上的三维物体并与该图形进行必要的交互有助于学习者对复杂的空间几何知识的理解[9]。如下页图4 所示，他们利用增强现实技术建立教师与学生合作式的教学互动，该系统能呈现简单的点线面与几何体的构成，并技术与应用具有布尔运算的功能， 教师可以方便地表达几何形体的变化以及在空间中的关系， 而学生在这种虚实融合的立体环境中更容易掌握复杂的空间概念。使用增强现实进行几何教学使学生能够看到过去他们只能用纸笔之类的传统方法构建的三维几何模型。直接在三维空间进行学习， 复杂的空间问题和空间方法比传统方法更容易理解。但此装置设备复杂，操作不太方便。
Dünser 与Horneker 以寓言故事作为内容，加入3D 角色、声音及互动道具，来观察5-7 岁的儿童如何利用增强现实系统进行互动与合作学习[10]。如图5所示，参与的儿童利用附有标签的互动道具，一边阅读故事一边完成与故事内容相关的小任务。研究中发现，增强现实环境会吸引小孩的注意力，并让他们在活动时会愿意不断地尝试着完成任务。在此基础上， 他们进一步设计了为7 岁孩子提供的基于增强现实的故事书[11]，研究儿童在现实世界中所具有的知识和技能是如何影响他们在这种新的交互方式下成功或失败的。研究表明这种更接近物理交互的方式能够带来更多样化的交互行为， 如孩子们通过移动或反转标记能够导致增强现实场景中相应物体的类似动作，这大大地激发了他们的兴趣。
图5 增强现实环境中的寓言故事学习
Liu 等人设计了太阳系九大行星 ①增强现实的教学实验系统[12]。九大行星教学实验系统主要提供了9张标记卡片，分别代表不同的行星。在学习过程中系统会提供题目，学习者将代表答案的标记卡片移动到系统指定的位置作答。比起只有文字选项的模拟试题， 增强现实不仅可以具有三维虚拟物件的优势，而且操作简单，能够提高学习者的注意力和学习效果。
Mulloni 设计了一个“牛与UFO”游戏，通过移动设备上的蓝牙装置与空间中的标签图卡来进行小组对抗游戏[13]，如图6 所示。
图6 牛与UFO 游戏
Hye Sun Lee 和Jong Weon Lee 设计了一款目标人群是幼儿园和小学学生的教育游戏， 旨在帮助学习者掌握数学中的加法相关知识[14]。传统的棋盘游戏容易产生厌倦情绪， 而利用增强现实技术改进后的棋盘， 通过不断变换棋盘内容和3D 模型直观展示的形式有助于保持学习者的学习兴趣， 孩子能够享受基于增强现实的由多种内容构成且直观互动的棋盘游戏。图7 所示为不同标记标示的棋盘内容以及棋盘上的三维模型。
图7 基于增强现实的棋盘游戏
Ori Inbar 开发了一款iPhone 上的AR 游戏[15]，支持4-7 岁的儿童随时随地学习拼写， 这款游戏的开发也邀请了幼儿文学专家的参与， 以保证儿童得到的是合适的教育。
El Sayed 等人设计了一款增强现实学生卡片（ARSC）， 并且分别通过在线和离线的不同解决方案来检验卡片的使用效果[16]。在线模式下，学生能够通过键盘或者卡片上的标记与老师或教学内容进行互动，如向老师提问等。而离线解决方案能够将学生答疑、做练习、查看资源的情况作统计，为教师提供参考。下页图8 为ARSC 的应用示例，(a)和(b)是叠加在标记上的动物细胞和太阳系运动模拟，(c) 是学生正在提出问题，(d)是一个学生正在使用ARSC 学习。研究表明，ARSC 能够在不牺牲教育收益的前提下降低教育投入，而且学生学习的兴趣很高，89%的学生表示对ARSC 的效果满意， 超过87%的学生认为教育过程需要这样的系统。
图8
Priestnall 是一篇运用AR 在教育上的方法论文章，它利用航拍照片或雷达图，加迭等高线进行3D绘图，重现冰河退却前的样貌，使学生对知识的理解由抽象概念转化为真实概念[17]，如图9 所示。
The New Media Consortium （NMC） 是教育领域一个著名国际性非盈利组织， 它由超过250 个致力于开发和利用新媒体和其他新技术的学院、大学、博物馆、公司以及其他关注于学习领域的组织组成。
NMC 在2010 年发布的地平线报告（Horizon Report）中将简单的增强现实技术应用（Simple AugmentedReality）列为未来2-3 年最具潜力的六个技术之一[18]，如下表所示。
表 NMC组织发布的教育领域技术趋势年度报告
(二) 国内研究现状
国内对增强现实的关注也在逐渐增多， 但是主要还集中在计算机学科领域中的算法实现和优化阶段，在教育领域中的应用极少。徐媛概要介绍了增强现实在教育领域的应用主要有立体书籍、操作技能培训、AR 教育游戏、残障人群学习等几种方式[19]。董子龙、章国锋等人提出了一个基于汉字标志的增强现实系统[20]，利用普通的网络摄像头，实时地捕获用户提供的包围在黑色方框中的汉字标记图像并在其上附加相关的三维模型信息。将汉字学习与计算机生成的多媒体可视化信息结合起来， 能够充分调动学习者的学习兴趣，丰富了汉字学习的手段和乐趣。
苏俊钦的“扩增实境①应用于中文注音符号学习之研究”[21] 是目前极少数比较系统地研究教育领域中增强现实应用的研究之一，他将增强现实应用于儿童学习注音符号，旨在探讨儿童是否能够在教育游戏中利用媒体辅助获得有效的学习。基于此他设计了一套增强现实中文注音符号学习教材，系统依照每个注音符号的发音， 建构相对应的虚拟动物图像，以动画告知儿童选取相应的标记以获得正确的反馈，如图10 所示。简单的系统操作与虚拟图像的互动可以有效增强儿童的兴趣，加深儿童对中文注音的印象。
总体说来， 国内对增强现实还停留在技术解决阶段， 对于其应用特别是在教育领域的应用的探索才刚刚开始， 尚未从理论上系统探讨AR 虚拟学习环境的可行性和实证案例， 更没有开发自主知识产权的AR 虚拟学习环境去做深入研究。
四、基于增强现实的“未来之书”研究
北京师范大学现代教育研究所团队已经攻克增强现实中的摄像机标定、三维模型及场景建模、虚拟行为交互设计、三维数据高效传输及处理等关键技术难题，制作了若干与教育相关的案例，并将这些案例集成在一本书籍———“未来之书”上。通过一台计技术与应用计算机和一个摄像头，识别书上的标记，就能在书本上浮现虚拟的三维场景， 是一本真正虚实融合的三维立体交互书， 如图11 所示（演示可参看http://u.youku.com/runningmadly）。
图11
(一) 制作标记图案并印刷书本
首先根据书本需要使用虚拟立体展示的内容数量制作互不相同、独一无二的标记图案。为保证摄像头灵敏地捕获标记，应将标记做得简单，图案颜色对比度高，并且不同标记之间的相互区分度较明显。可使用外围黑背景、内围白背景、字体颜色为黑色的标记，周围可辅以装饰logo 图案，如图12 所示。
图12
编排如图13 所示，传统文字、图片部分靠左，占整个页面的2/3，标记部分置于剩下1/3页面的右上部分，右下部分放置实际操作情景截图， 让读者在没有摄像头的环境下能直观地看出本书与传统书籍的区别。
(二) 捕获标记并生成虚实融合场景
系统首先将摄像头获取的真实场景图像显示为最底层， 然后根据标定所得的摄像头内外参数和三维注册算法计算出标记在真实空间中的三维位置，再在预先建好的虚拟三维模型库中找出标记块一一对应的虚拟模型， 在标记的三维位置上将其按照摄像头的投影矩阵投影到摄像头的投影平面上， 并将虚拟三维模型在投影平面上的影像和真实空间在投影平面上的影像进行合成， 形成最后虚实结合的场景进行输出，如图14 所示。具体步骤如下：
（1）利用摄像头捕获真实场景，获得彩色图像信息；
（2）根据设定的阈值将采集到的彩色图像转换成二值黑白图像，并对该二值图像进行连通域分析；
（3）找出其中所有的四边形区域作为候选匹配区域， 将每一候选区域与模板库中的模板进行匹配，如果产生匹配，则认为捕获到了一个标记；
（4）根据摄像头的位置信息和真实场景中的定位标记来计算摄像头相对于已知标记的位置和姿态；
（5）按照仿射变换矩阵在视平面上绘制虚拟物体，最后与真实场景的视频合并，并投影到普通显示屏幕上。
图13
在理论研究方面，尽管基于AR 技术的虚拟学习环境是一个新生事物，但是它的某些特征符合一些教育理论上的观点。比如
（1）情境学习认为在特定情境中获得的知识比所谓的一般知识更有力和更有用，要求知识在真实的环境下呈现。
（2）AR 虚拟学习环境中包括丰富的建构工具包和表现场所，并强调学习者自己更多的控制，这样既符合皮亚杰“把实验室搬到课堂中去”的设想与实践，又符合建构主义学习理论的关于“学习是一种真实情境的体验”的观点。
虽然对于增强现实的研究已经有几十年，但是它在实际领域的应用近几年才逐渐得到突破。目前，增强现实主要运用于娱乐业和营销领域，而且随着技术的逐渐成熟或简化后它正逐渐向其他领域扩展。从已有的研究可以看出，国外对于增强现实的教育应用已经有较多的探索，主要表现为增强现实的教育游戏形式， 当然也不乏用于辅助教师课堂教学的成功案例。
基于现实世界、由网络数据增强的游戏可以给教育者提供强大的新方式来表达关系和联系，增强现实也可以用来模拟对象，让学习者在现实环境背景中看到虚拟生成的模型对象，而且模型可以快速生成、操纵和旋转，能够在最贴近自然的交互形式下为学习者搭建一个自主探索的空间，这对于抽象内容的教学是很有启发意义的。正是由于增强现实的这些特点，使得它在教育领域具有巨大的发展潜力。
国内关于增强现实学习环境实证研究比较少，对其应用于教学的探讨也还基本处于萌芽阶段，其中原因有：
第一，现有的技术要么存在于实验室原型设计， 要么需要一些价格高昂的硬件或商业软件支持（如Virtools 提供AR 接口），所以客观上造成我们对AR 技术的特点缺乏深入了解， 对其用于教和学的认识也只限于文献， 而没有真正体验AR 环境中的教学， 无法深入研究。即便使用商业化的AR 软件，但由于其核心技术掌握在别人手中，很多很好的适合我国国情的教学活动无法在现有的AR 平台中实现。
第二，从国外文献来看，目前对教育中的AR技术的应用研究大多属于经验性研究， 以行动研究为主，建立在具体案例教学中，包括具体教学活动的组织、实行以及学习效果测试等研究。现阶段对AR技术的研究，国外也是建立在经验型研究的基础上，尚处于起步阶段， 我们和国外的差距也只落后两三年。如果我们结合我国具体教育实践，将教育学习领域中的AR 应用遇到的问题逐个解决， 并且随着研究的深入，其在教学上的规律也会逐渐清晰，经验型的研究必将产生抽象的理论体系。从这一点来看，AR 虚拟学习环境带给我们的不仅仅是一个技术平台，更可能是新的教学模式和方法。
六、增强现实教育应用发展趋势
增强现实技术环境因其虚实融合性、实时交互性、三维沉浸性等特征，与基于传统学习管理平台的学习模式以及类似Second Life、Sloodle 的三维虚拟学习环境[22]有了新的不同，特别是其虚实融合的3D 沉浸环境，在教学物体模拟、教学过程体验、教学结果呈现和师生交互方面都提供了新的可能。在这种新环境下的教和学，教学活动如何设计，学习过程如何交互，以及学习效果如何评价等问题都成为当前教育领域增强现实技术研究的热点。通过对增强现实环境的介绍，本文总结出增强现实学习环境的发展趋势如下。
当学习者和教授者面对的不是平面或者纯粹的三维空间， 而是面对增强现实这种融合虚拟对象和现实场景的学习环境时， 传统的交互手段可能不太适应。不过这也提供了更大的可探究空间，例如，如何在这种虚实融合的仿真环境中依据情境认知理论和学习活动理论设立课程内容、创建教学活动，学习者之间如何更直接地交流， 用户学习体验模型和用户交互行为模型如何建立， 这些问题都有待增强现实学习环境的开发者和用户去发掘。
（二）与现有学习管理系统整合
作为一门新生技术，增强现实环境必须能够与现有的平面信息系统数据共享，或进行某种关联，才能被主流教育工作者接受。但如何把这两种截然不同的环境整合在一起，就需要更多人来用它，深入研究这种整合环境如何增强教学的效果，使之符合现有的和新的教学方法。
（三）与智能技术相融合
目前的增强现实学习环境还只是能够创建三维图形及简单交互， 而学习是一个很复杂的活动过程，理想的增强现实学习环境应该能够模仿人类教学导师的经验、方法和行为，并具有更友好的交互方式等。
（四）与移动技术结合
移动学习是现在的研究和应用的热点， 但移动设备上的增强现实技术目前还停留在基于地理定位等简单2D 应用的层面， 如何让学习者随时随地地进行移动学习， 又能享受到PC 机上增强现实技术带来3D 立体学习体验， 还需要技术人员和教育工作者的不懈努力。
参考文献：
[1] 姚远. 增强现实应用研究[D]. 杭州：浙江大学,2006.
[2] R.AZUMA.A Survey of Augmented Reality[J].Teleoperators andVirtual Environments,1997,6(4):355-385.
[3] James R Vallino．Interactive Augmented Reality[D]．New York:University of Rochester,1998.
[4] 范苑竹. 增强现实的应用技术研究[D]. 杭州：浙江大学, 2008.
[5] Milgram, P. and F. Kishino. A Taxonomy of Mixed Reality VisualDisplays[J]. IEICE Transactions on Information Systems, 1994,E77-D (12): 1321-1329.
[6] 朱淼良,姚远,蒋云良. 增强现实综述[J]. 中国图像图形学报,2004,9(7):768-774.
[7] Clougherty, R. J. Using Games to Create Learning Environments[DB/OL]. http://www.webct.com/service/ViewContentcontentID=23851741.
[8] Billinghurst, M., Kato, H. Collaborative Augmented Reality[J].Communications of the ACM, 2002, 45(7):64-70.
[9] Kaufmann, H., Schmalstieg, D. Mathematics and GeometryEducation with Collaborative Augmented Reality[J]. Computers &Graphics, 2003, 27(3):339-345.
[10] Dünser, A., Hornecker, E. An Observational Study of ChildrenInteracting with an Augmented Story Book[A]. K. Hui et al.Proceeding of Edutainment[C]. Berlin ：Springer-Verlag, 2007.305-315
[11] Eva Hornecker, Andreas Dünser. Of pages and paddles: Children’sExpectations and Mistaken Interactions with Physical–Digital Tools[J]．Interacting with Computers. 2009,21(1):95–107.
[12] W. Liu,A.D. Cheok, C.L. Mei-Ling, & Y. Theng, Mixed RealityClassroom: Learning from Entertainment[DB/OL]. http://www.arnetminer.com/viewpub.do?pid=712888.
[13] Mulloni, A., Wagner, D., & Schmalstieg, D. Mobility and SocialInteraction as Core Gameplay Elements in Multi-Player AugmentedReality[DB/OL]. http://www.google.com.hk/url?sa=t&source=web&cd=3&ved=0CDIQFjAC&url=http%3A%2F%2Fwww.icg.tugraz.ac.at%2Fpublications%2FMULLONI_DIMEA08.pdf&ei=-of1Tf_-FYOIuAP1z_W_Bg&usg=AFQjCNEfOeH451Dw2_lbEeZjq8mzlUEnQ.
[14] Hye Sun Lee,Jong Weon Lee. Mathematical Education Game Basedon Augmented Reality[A]. Z. Pan et al.. Proceeding of Edutainment[C]. Berlin: Springer-Verlag, 2008.442-450.
[15] Put A Spell: Augmented Reality Game from Ogmento[DB/OL]．http://thomaskcarpenter.com/2009/08/26/put-a-spell-argame-ogmento/
[16] El Sayed, N.A.M., Zayed, H.H., Sharawy, M.I. ARSC: AugmentedReality Student Card[J]．Computers & Education. 2011,56(4):1045-1061.
[17] Priestnall, G. Landscape Visualization in Fieldwork[J]. Journal ofGeography in Higher Education. 2009,33(S1):104-112.
[18] NMC. 2010 Horizon Report.[DB/OL].http://www.nmc.org/publications/2010-horizon-report.
[19] 徐媛. 增强现实技术的教学应用研究[J]. 中国远程教育,2007,(10):68-70.
[20] 董子龙, 章国锋, 邵元龙, 华炜. 基于汉字标志的增强现实系统[J]. 中国图像图形学报, 2009,(7):1463-1468.
[21] 苏俊钦. 扩增实境应用于中文注音符号学习之研究[D]. 台湾:台湾成功大学工业设计研究所,2004.
[22] 蔡苏, 余胜泉. 从Sloodle 看三维虚拟学习环境的发展趋势[J]. 开放教育研究, 2010,16(2):98-104.
>>相关产品
