打造“沉浸式”《清明上河图》微软亚洲研究院
本文原载于7月13日(星期二)《人民日报》(海外版)
“走进清明上河图”沉浸式数字音画展示项目在微软公司的Microsoft ICE、Silverlight等技术及平台的基础上,通过使用“横向分块”和“纵向分层”策略,实现了超大量数据的合理组织和流畅调用。李季在发布会上总结道:“‘走进清明上河图’项目的多项创新成果象征着我院“数字故宫”的建设已经由技术引进型向技术创新型方向迈出了重要一步,这次与微软亚洲研究院、北京大学之间多学科、跨领域的合作也将为传统博物馆在新技术时代的发展树立典范。”
“上河去咯……”赶驴童子一声响亮的吆喝冲破城郊的寂静,带人们走进北宋张择端《清明上河图》的画卷之中。踢踏的驴蹄声越来越近,鸟鸣声、犬吠声、牛叫声从广袤原野的深处隐隐传来。老妇人唤鸡喂食,拉开一天劳作生活的序幕。沿河而上,湍湍急流声、船夫摇橹声、纤夫号子声、搬运劳工的嘿呦声、河边酒店的喧哗声,组成一支围绕汴河而展开的多乐章交响曲。最热闹的还是虹桥,一百多号人在桥的附近活动,呼喊声、吆喝声此起彼伏,扣人心弦的紧张事件一件接着一件……
上述场景并非今人“梦回汴梁”,而是“走进清明上河图”沉浸式数字音画展示项目所展现的精彩片段。6月23日,故宫博物院、微软亚洲研究院和北京大学在故宫博物院举行发布仪式,宣布三方共同合作研发的“走进清明上河图”沉浸式数字音画展示项目正式完成。今后,观众们可以在故宫博物院的书画馆里借助这一创新的多媒体展示平台,观赏、倾听《清明上河图》,走进《清明上河图》,领略900多年前北宋都城的百姓生活。
数字技术再现稀世珍宝
究竟什么是“沉浸式”?据微软亚洲研究院主管研究员徐迎庆介绍,“沉浸式”一词不仅代表一种艺术欣赏方式,更是对该项目所含数字技术的一种概括。
“走进清明上河图”沉浸式数字音画展示项目采用千兆高分辨率的清晰数字影像,在基本覆盖了观众视角的63寸屏幕上,最大程度地再现原作的所有细节;根据画卷情节安排了54个场景,基于文物专家的研究成果模拟设计了700多段人物对话,由5.1声道输出实时合成的场景声效和优美音乐,准确再现了画面空间关系;通过最自然的人机交互方式,由观众根据自己的兴趣在多点触控的荧屏上进行操作,观赏画面的任意细节。随着画面位置的变换,所有声音平滑过渡,逼真的立体声环境使观众仿佛置身画卷,与宋人摩臂擦肩,聆听市井喧哗、人物故事,领略风华盖世的古都盛景,体验“人在画中”的感觉。
“其实虚拟现实也是一种‘沉浸’,但观众往往需要戴上特殊的头盔、手套才能体验,包括《阿凡达》也是这样。而我们的沉浸式数字音画展示项目则希望不要给用户增加任何器械上的负担,尽量让他们用最自然的方式去感受,”徐迎庆对记者说。
当观众点击触摸屏,系统显示的画轴便从右至左徐徐展开,《清明上河图》音乐随之渐渐响起……能够营造出这般“沉浸式”的观画情景,少不了来自微软亚洲研究院和北京大学的先进数字技术的支持。在项目发布会上,故宫博物院常务副院长李季特别指出,项目技术团队针对《清明上河图》散点透视的空间造型特点,研发了独创性的三维布局恢复算法和虚拟环境组织方法,为中国传统绘画的数字化再现开创了新的思路。
对于这项研究成果,徐迎庆感到颇为自豪。“据我所知,在基于散点透视的几何重建这一课题上,我们应该是第一个用这种方法去尝试的,”徐迎庆说,“而且这样一个系统不仅是为《清明上河图》而设计,只要是中国画都可以运用。同时,这种解决问题的思路和方法对于解读一些现代派艺术也很有启发,比如毕加索的作品,它们同样不遵循传统几何透视规律。”
文化遗产传承开启新篇章
“‘走进清明上河图’沉浸式数字音画展示项目和上海世博会的电子动态版《清明上河图》相比,有什么不同呢?”在故宫西南崇楼数字体验馆内进行系统演示时,一位记者问到。关于“走进清明上河图”沉浸数字音画展示项目的核心设计理念,故宫博物院资料信息中心主任胡锤始终有着一个博物馆人的坚持。“我们都说故宫是个博物馆。博物馆是什么?它是社会文化教育体系架构中提供‘物证’资源的场所。其实‘物证’这个词是司法概念,意在让实物‘说话’,不改变文物原貌,不离开本体。”胡锤解释道,“上海世博会用现代人的创意让古人的《清明上河图》动了起来,那是现代人的解读方式。而我们这个项目是在观众浏览完全忠实原画的数字影像基础上营造出一个虚拟的环境,让观众自己在读“原画”的同时,自己来领悟《清明上河图》所传达的文化内涵。我们博物馆人不应用数字技术去改变文物的原貌,也不会将现代人的感受强加于观众,这才符合博物馆自身存在的意义。”
让没有来过紫禁城的观众知道故宫博物院,让来到故宫博物院的观众认识故宫博物院,让站在宏伟宫殿和精美展品前的观众了解它们背后的故事,使离开故宫博物院的观众还能回味领略它的文化内涵,这正是故宫博物院携手一流科研机构搭建文化展示数字平台的目标。除最新发布的“走进清明上河图”沉浸式数字音画展示项目之外,故宫博物院已有十多项文化遗产数字化成果开通运行,包括与日本国凸版株式会社合作的“紫禁城・天子的宫殿”系列沉浸式虚拟现实节目、院藏珍贵绘画藏品电子画廊,以及古陶瓷研究成果数字