基于计算机视觉的虚实场景合成方法(增强虚拟现实)研究与应用
一个实用的混合现实系统所必须具备的特性之一是几何一致性,即系统必须实时准确地判断摄像机相对于真实世界的位置和姿态.以便将虚拟场景正确地叠加到真实世界的具体位置上,使得用户从感官上认为虚拟场景确实是真实世界的一部分。传统的方法是利用硬件设备(电磁式、机械式跟踪系统)来获取摄像头位置信息,但这些方法不仅工作范围受限,而且求得的结果也不够精确。本文采用当前流行的基于计算机视觉的方法来获取位置信息,事实证明该方法是有效、可行的。
系统结构及工作流程
笔者构建了一个如图 1所示的混合现实原型系统,主要由如下几个部分组成:(1)平面标识块:一个带有黑色边框的正方形.尺寸、内部图案由用户定义,主要功能是使系统能够根据实际图像中标识的变形来计算虚实配准所需的位置、姿态信息,同时还可以用不同的内部图案代表不同的虚拟场景,以增强系统的实用性。(2)图像采集设备(摄像机):主要完成实时视频采集功能。(3)图形渲染系统:生成与视频合成所需的虚拟场景。(4)虚实合成:利用摄像机位置、姿态信息将视频与虚拟场景相融合。(5)显示设备:包括头盔式显示器以及桌面台式显示器,用以将虚实合成的影像展现给使用者。

系统运行过程中,首先将采集到的一帧彩色图像转换成一幅二值(黑白)图像,然后对该二值图像进行连通域分析,找出其中所有的四边形区域作为候选匹配区域,将每一候选区域与模板库中的模板进行匹配,如果产生匹配,则认为找到了一个标识,在生成与该标识对应的虚拟场景的同时利用该标识区域的变形来计算摄像机相对于已知标识的位置和姿态,最后根据得到的变换矩阵实现虚实之间的无缝融合。
2 标识识别与摄像机位置、姿态跟踪算法
由上一节可知,构建该系统有两个关键问题需要解决,即如何识别标识内部的不同图案以生成与之对应的虚拟场景以及如何利用标识的变形计算虚实配准所需的坐标变换关系。以下分别介绍以上两个问题的解决方法。
2.1标识识别
本系统





