摘要：建立完整的基于全景成像的增强现实系统，将全景图像采集系统放置在场景中采集真实图像，佩戴头盔显示器和头部跟踪器的观察者可以在其他地方观看在真实图像中添加了虚拟信息的增强图像，解决图像采集装置与头盔显示器分离时增强现实系统的技术难点。实验结果表明，全景成像方法对于亮度差异较大的图像有较好的拼接效果，适用于室外复杂环境的图像拼接，全景图像的局部增强显示效果良好。

1 概述

增强现实作为虚拟现实[1]的重要分支已应用于生活的诸多方面。在博物馆、文物古迹等真实场景变化不大且为了保护场景又不易或不便让观测对象进入的场合，可以将全景成像装置放置在场景中，摄取360°的环视景观，再利用增强现实技术将虚拟的文字和图片添加到摄取的视频中，从而为游客提供更加生动和丰富的信息。目前，对基于全景成像的虚拟现实系统的研究已经广泛展开，但迄今为止，国内外对基于全景成像的增强现实系统及其应用的研究还非常有限。将全景成像方式引入增强现实理论，建立完整的基于全景成像的增强现实系统是必要且具有创新性的。

本文根据这种需求，提出一种基于全景成像的增强现实系统。这种系统成本低廉、安装方便、使用灵活，且无需标志点。

2 增强现实系统原理与流程

整个系统可以想象为由真实环境和虚拟世界2个部分组成。真实环境里有4个~6个真实摄像机，它们均布在一个圆周上，圆的半径为r，所朝的方向是由圆心O与自身光心的连线方向。这些摄像机采集图像的焦距是图像到各自光心的距离，如果把这些摄像机的焦距调成相同的L，所有的图像到对应的摄像机的距离就是相同的，那么，将这些图像投影到以O为圆心、(r+L)为半径的圆所在的圆柱上，再将所有这些图像按照位置关系拼接融合，就能得到一幅分布在圆柱面上的全景图。

在虚拟世界里，将得到的真实全景背景放在以O’为圆心、(r+L)为半径的圆柱面上。同时，有一个参数属性与真实摄像机一致的虚拟摄像机位于以O为圆心、半径为r的圆周上，摄像机的方向为圆心指向摄像机光心，它可以在圆周上以点O’为圆心在圆O’所在平面上旋转，其方向始终为O’指向摄像机光心(向外)。跟踪头部的朝向，并将方向数据实时地反馈给虚拟摄像机，实现跟踪观察者视线方向的目的。

对于虚拟物体，将其放在虚拟摄像机到圆柱面之间的某处，通过虚拟摄像机看到虚拟物体时，在虚拟物体后方的圆柱面上的对应背景就会被虚拟物体遮挡住。由于这个系统一般放置在周围真实景物变化不大的场景中，因此根据多视几何相关知识，只要调整好虚拟物体的位置，使得在虚拟摄像机的像平面上，虚拟物体与真实背景相吻合，即可实现虚实的结合。系统原理如图1所示。

图1 系统原理

系统的流程大致分为2个步骤：

(1) 真实摄像机部分：

1) 计算机根据得到的方向数据判断所需采集图像的 2个摄像机编号；

2) 计算机控制这2个摄像机采集图像；

3)摄像机通过采集卡将图像传回计算机，并进行图像拼接融合；

4)计算机将融合后的图像渲染成真实背景部分。

(2) 虚拟摄像机部分：

1) 计算机根据得到的方向数据计算相应的虚拟摄像机方向；

2) 控制虚拟摄像机转动到计算出的方向。

3 系统构成

系统分为硬件和软件2个部分。

在硬件方面：主要包括多个CCD摄像头组成的全景图像采集系统、头盔显示器、实时头部跟踪装置与一种虚拟多媒体信息添加方式。

软件系统将实现：全景图像的实时自动拼接；图像融合；观察者头部姿态的精确跟踪；虚拟图像与真实图像的精确注册。

4 全景图像的生成

4.1 基于SIFT的图像拼接

图像拼接的关键步骤是图像配准，寻找2幅图像重叠部分的对应特征点，并利用这些特征点计算图像之间的透视变换关系，最终将图像注册到同一个坐标系中。

SIFT(Scale Invariance Feature Transform)方法属于基于特征的配准方法，利用该方法从图像中提取出的特征点可用于一个物体或场景不同视角下的可靠匹配，匹配精度较高。SIFT主要采用金字塔分层方法，使总的计算量大幅下降，提高了运算速度。

4.1.1 特征点提取

由于高斯函数是唯一的尺度空间内核函数，因此用高斯函数作为卷积核，构建图像的尺度空间函数。输入图像用(),Ixy表示，其尺度空间函数为

    (1)

其中，(,,Gxyσ为高斯函数，表达式如下：

     (2)

为了有效地检测出尺度空间中的稳定特征点，引入高斯差分函数(),,Dxyσ：

 (3)

其中，k是一个常量。

4.1.2 特征点描述

对于每幅图像L(x,y,σ)，计算其梯度值和方向。在特征点周围所在的一个区域内，依据样本点的梯度方向生成一个用36位代表360º度方向的方向直方图，每个样本点根据其梯度值的大小及一个具有参数σ(值是特征点尺度的1.5倍)的高斯权重圆窗口而被加到直方图中。将方向直方图中的峰值作为该特征点的主方向，在最大值80%以内的其他局部峰值也会被创建具有相同方向的一个特征点。当特征点的位置、尺度、方向被确定后，选用一个4×4的方向柱状图矩阵的描述符，矩阵中每个元素占有8个方向位，用这样一个4×4×8=128位的向量可以准确描述每个特征点。

4.1.3 特征点匹配

采用最近邻特征点欧氏距离与次近邻特征点欧氏距离的比值对特征点进行匹配。用BBF(Best-Bin-First)算法以很高的概率找到最近邻点和次近邻点。最后用RANSAC(RandomSample Consensus)算法提纯特征点集合，去除野点。

4.2 基于小波变换的图像融合

经过配准之后的图像会有明显的色彩接缝，为了使拼接图像光滑无缝、浑然一体，传统的解决方法是在接缝及其附近采用平滑处理，这样处理的结果会导致图像的分辨率下降，使图像出现模糊的现象。把小波变换引入图像拼接和镶嵌技术中，可以很好地兼顾清晰度和光滑度2个方面的要求[2]。定义拼接图像的示性函数，表征图像参与拼接的程度，利用其在各尺度上的低频小波分量作为多尺度加权系数，把2幅图像在不同尺度下的小波分量[3]进行平均，然后利用重构恢复整个图像。

4.2.1 融合系数的确定

利用SIFT算法确定图像A和B的重叠区域AB，对于图像A，其融合系数T可以确定为

        (4)

图像B的融合系数与图像A的融合系数关系为

       (5)

因为小波系数是以矩阵的形式存放的，所以将上式改写为

      (6)

其中，E为单位阵。

4.2.2 小波域中的融合

利用Mallat算法将2个图像、单位阵以及融合系数分解，得到在各个分辨率下的低频分量以及垂直方向、水平方向和对角方向的高频分量[4-6]：

 融合图像的低频分量和高频分量按下式求得：

         (7)

然后利用Mallat重构算法合成融合图像。

5 增强现实技术

5.1 头部跟踪技术

利用跟踪器输出观察者头部三自由度姿态参数，可以计算其观察方向。通过后续处理可以把与观察者的视线方向相一致的虚实结合的图像输出给显示设备，实现增强的效果。由于跟踪器安置在用户头部，因此必须轻巧灵便。本系统可能应用在户外的环境中，系统中使用的跟踪方式和跟踪器应该尽可能不受周围环境的影响，同时可以稳定地输出数据，避免数据跳变导致显示图像的抖动。本文采用惯性跟踪器跟踪观察者的观察方向。惯性跟踪器包括陀螺、电子罗盘和加速度计，主要通过电子罗盘测量地磁场的变化定位观察者的视线方向，并以加速度计修正纬度和水平旋转对罗盘的影响。由于地磁场的确定性，因此这种方法得到的观察者头部转动角度是绝对值，这方便了后续的虚实图像的配准操作。

5.2 渲染技术

渲染是3D引擎的核心部分工作之一，就是将3D物体绘制到屏幕上的过程。本文选择Virtools作为渲染平台，它可以将现有常用的档案格式整合在一起，如3D的模型、2D图形或音效。Virtools是一套具备丰富互动行为模块的实时3D环境虚拟实境编辑软件，可以制作出许多不同用途的3D产品。在基于全景视觉的增强现实系统中，Virtools主要扮演平台和统筹的角色，即所有工作分块在Virtools中具体实行，同时Virtools将所有工作连接起来，按照一定的顺序和层级关系运作，从而完成全部的工作。

6 实验结果

首先用实验验证全景成像方法，如图2所示，选择在室外拍摄的2幅具有重叠区域的图像，将其光亮度调得差异比较大。利用SIFT算法提取2幅图像的特征点并进行特征点匹配，图3是匹配的结果，可以看出匹配基本准确。利用配对的特征点求得2幅图像之间的映射关系(转换矩阵)，确定重合区域，然后进行图像的融合处理。图4(a)是采用像素值加权融合方法，得到的图像拼接区域简单地综合了2幅图像的信息，图像过渡部分亮度不均匀，效果不理想。图4(b)是利用本文方法的实验结果，采用Bior双正交小波基，拼合图像平滑自然，融合的效果良好。然后，利用摄像机拍摄动态景物，并且在一幢指定大楼上叠加虚拟物体，图5是用Virtools软件完成的实时渲染结果。

 
图2 2幅待拼接的图像

 
图3 SIFT特征点匹配结果

 
(a)像素值加权融合方法的结果 (b)本文方法的结果

图4 拼接图像

 
图5 全景图像局部增强的显示结果

7 结束语

本文提出将全景成像技术引入增强现实，可以开阔研究的思路，解决增强现实系统中真实场景的图像采集装置和头盔显示器分离时的技术难点。将多学科的相关理论应用于增强现实系统，拓展了增强现实技术的功能，开辟了更多新的应用领域。

参考文献

[1] 黄海明, 刘保卫, 刘金刚, 等. 基于真实景物的虚拟现实场景的生成[J]. 计算机工程, 2005, 31(14): 183-186.

[2] Hsu Chiou-Ting, Wu Ja-Ling. Multiresolution Mosaic[J]. IEEE Trans. on Consumer Electronics, 1996, 42(4): 981-990.

[3] 王亚杰, 李殿起, 徐心和. 基于双树复小波变换的图像融合方法[J]. 计算机工程, 2008, 34(15): 176-178.

[4] 高丽, 韦群. 基于小波分析的图像镶嵌融合研究与实现[J]. 指挥技术学院学报, 2001, 12(5): 29-32.

[5] 张素, 陈江, 徐乃平. 一种图像的多分辨率合成技术[J]. 小型微型计算机系统, 2000, 21(5): 516-519.

[6] 李程, 魏俊. 一种有效的图像多分辨率镶嵌技术[J]. 信号处理, 2000, (17): 86-89.

作者简介：

王宇(1973－)，女，副教授、博士后，主研方向：计算机视觉，图像处理，机器人学；

王涌天、刘 越，教授、博士；张钰鹏，博士研究生

>>相关产品