来源：第三维度
    作者：张军，王邦平，李晓峰
    单位：四川大学计算机学院图形图像研究所
          四川大学视觉合成图形图像技术国防重点学科实验室

    摘要:针对带有异形、多重重叠区域的多投影仪显示系统，给出一种自动、快速的边缘融合方法用于改善投影画面的质量。该方法在对所有投影仪像素级几何标定的基础上，将多投影仪显示系统的边缘融合问题表述为亮度分布全局一致性的非线性最优化问题，并给出一种GPU 硬件加速的迭代求解方法。通过理论分析融合区域大小对多投影仪显示系统画面质量的影响，证明本文方法扩充融合区域大小的能力具有重要的工程应用价值。实际应用表明，本文方法能使带有任意形状、多重重叠融合区域的多投影仪显示系统投射出视觉无缝的画面，并利用所有投影仪有效像素使融合区域面积最大化。

    近年来，多投影仪显示系统( Multi-projectorsDisplay System) 技术成为备受关注的研究热点，并发展出许多优秀的商业系统［1 － 3］。为实现多个投影仪无缝拼接显示出期望的画面，必须事先对投影画面进行几何、色彩校正和边缘融合等步骤。

    几何校正的基础是建立精确的投影仪帧缓存图像和用于校正的相机拍摄图像间对应关系［4 － 5］。在几何校正的基础上，投影仪内部和投影仪间的亮度和色彩差异可以通过色彩校正步骤进行补偿［6 － 9］。

    由于几何校正不可避免的存在一定误差，不同投影仪像素物理位置也不可能精确的重合，故边缘融合(Edge Blending)是必不可少的步骤［10］。然而，由于传统多投影显示系统大多针对相对简单的平面或者较规则的二次曲面屏幕，投影重叠区域(Overlap Region)为较规则的矩形，并最多只有4 重重叠区域，故边缘融合技术一直没有引起足够的重视。目前主流的边缘融合技术仅散见于各类几何或色彩校正相关文献的某个章、节［ 1 － 3，6 － 8，10，13 ］，并未深入讨论其对多投影显示系统画面质量的影响。同时，对带有异形、多重重叠区域的大型多投影仪显示系统，使用传统边缘融合方案会使整个系统的融合区域宽度受到最小规则重叠区域宽度的限制，造成融合区域过窄，边缘融合效果较差。

    作者从边缘融合角度在理论上深入分析融合区域大小对多投影显示系统画面质量的影响，得到几何校正误差影响融合画面质量的定量关系。根据该结果提出边缘融合算法应满足的准则，并进一步给出满足这些准则的一种利用全部投影仪有效像素最大化融合区域的边缘融合方法。该方法将多投影仪拼接显示的边缘融合问题归结为一个非线性最优化问题，并给出了基于Graphics Processing Unit 硬件加速计算的迭代求解方法。该方法可在同样精度的几何和色彩校正基础上，最大化融合区域并有效提高显示画面的质量。

    1 影响边缘融合效果的因素分析

    为有效提高边缘融合的效果，首先需要分析影响融合效果的主要因素。

图1 给出了两个投影仪在边缘融合区域投射画面的示意图，为便于讨论，该示意图是沿着融合区域某个横向位置的剖面图。设左投影仪显示画面为函z数fl(x) ，其边缘过渡函数( Blending Function) 为α(t) ;右投影仪显示画面为fr(x) ，其边缘过渡函数为1 － α(t) 。

    为使总体投影仪画面具有视觉连续性，要求两个投影仪在融合区域显示同样的画面，即

图1 多投影仪显示系统边缘融合区域剖面示意图
Fig. 1 A slice across the edge blending region of multipleprojectors display system

    由于人眼对边缘非常敏感(马赫带效应)，故要求融合区域具有较平滑的过渡效果，一般可选三角函数为过渡函数［4］:

    此函数可使投影画面在融合带左边缘更多的受左投影仪影响，在融合带右边缘更多的受右投影仪影响。在精确几何校正的基础上，期望的融合效果为:

    像素也是离散点阵，无法做到连续精确的显示画面，故一定存在几何校正误差△x 。不失一般性的，可假设△x 为正值，由相对运动原理，可认为该误差引起左投影仪画面向右偏移。故实际融合效果为:

    其中

    然而，几何校正是无法做到完全无误差的，投影仪像素也是离散点阵，无法做到连续精确的显示画面，故一定存在几何校正误差△x 。不失一般性的，可假设△x 为正值，由相对运动原理，可认为该误差引起左投影仪画面向右偏移。故实际融合效果为:

    结合式(3)和(4)，几何校正偏差引起的图像融合误差为:

    结合(1)和(2)，在区域［x2，x2 + Δx］中ε(x)为:

    其中，为几何校正误差△x 对于融合带宽度w = x2 － x1的相对值。如果有△x w ，则有 。最终ε(x) →0 是工程中期望的结果:融合画面对几何校正精度具有一定的鲁棒性。

    融合画面对几何校正精度具有一定的鲁棒性。当几何校正精度达到一定程度时，进一步减少△x 的代价变得越来越高，并不易维护。为进一步提高融合画面的精度，只能通过扩展融合带宽度w来使 ，取得较好的显示效果。所以，扩宽融合带宽度成为一种有效提高画面显示效果的手段， 具有重要的实际工程意义。

    对x ∈［x1，x1 + △x］上的讨论结果类似式(6)，而x∈［x1 + △x，x2］上的ε(x) 讨论过程相对繁琐一点，但结论依然是需要较宽的融合区域。利用Taylor 展开公式，可以将式(5)做如下变化:

    式(7)中B 项是几何校正误差引起的图像融合“硬”误差，无法通过过渡函数进行消除。同时，B项合理解释了融合效果在图像变化剧烈区域( | f′(x) | 较大时)比图像变换平缓区域( | f′(x) |较小时)要差很多、出现边界重影的现象。

    式(7)中A 项是几何校正误差引起的图像融合“软”误差，可通过过渡函数进行减弱。根据过渡函数的连续性，当△t→0 时，α(t － △t) － α(t) →0 。而△t = △x/w，故当取较宽的融合带，使Δx <<w 成立，即可大大减小误差项A。

    另外，注意到α(t － △t) － α(t) ≈ α(t)′△t过度函数α(t) 应具有较小的一阶导数，即应尽量使α(t) 变化平缓、光滑。

    根据这些分析结果，边缘融合算法应满足如下准则以便得到更好的融合效果:

    准则1:应尽可能的加大融合区域，并使过度函数在融合区边界趋于零，以使几何校正相对误差尽量变小。

    准则2:边缘融合区域使用的过度函数应尽量的平滑，以减弱几何校正的“软”误差。

    第2 节 将给出一种符合这两个准则的异形重叠区域边缘融合算法。

    2 异形重叠区域边缘融合算法

    假定所有投影仪投射画面的每个像素相对于观察者视点的垂直仰角φ 和水平转角θ 都已被事先标定(标定算法可参见［5 ］)。为避免角度坐标系在极点出现数学奇异点，采用如下形式的坐标变换将角度坐标系下点(θ，φ) 转换为特殊的直角坐标系下点(x，y) :

    依据对边缘融合效果分析后得到的准则1，应使投影仪所有像素都参与画面显示来最大化融合区域。同时考虑到需要对图像进行“实时融合”这个计算速度的要求，采取计算投影仪每个像素的亮度衰减系数的形式达到融合目的(其中，M × N 为投影仪图像分辨率)。该衰减系数矩阵也被称为“融合模板”(Fusion Mask)。

    投影仪画面   将先与融合模板相乘，再经过投影仪内部响应函数h(x) (Projector ResponseFunction)［9 ］的校正得到后，再被投射:

    式(9)将由图形处理单元(GPU) 实时完成逐帧融合的计算。

    2. 1 算法原理

    设所有投影仪对应的融合模板集合为，K 为投影仪个数，。投影仪将图像(融合模板可视为特殊的图像)投影到屏幕的过程可看成是几何上的一种非线性映射G ，该映射是将图像像素坐标(u，v) 映射到式(8)决定的直角坐标系下(x，y) ，即

    G:A(u，v) → T(x，y)。

    该映射是可逆的，即为G－1 。最终的投影效果可看成是所有投影仪映射结果的叠加效果，即

    其中，Gk为第k 个投影仪对应的几何标定网格。这样，融合模板的计算过程就可以理解为寻找合适的{A }kKk=1，使得最终的叠加效果为期望的T* 。

    对于严格一致亮度融合计算，取T* (x，y) ≡ 1 ，对于视觉一致亮度融合计算，可取

    融合模板的光滑性约束达到正则化效果，即将融合模板的计算表示为下述非线性最优化问题的求解:

    其中， 为正则化项［11］。

    该优化问题(12)的维数为M × N × K ，对一个由24 个分辨率为1400 × 1050 的投影仪组成的显示系统而言，维数为35 280 000! 故直接求解非常困难，本节给出一个迭代求解方案。

    算法I

    第1 步:初始化融合模板，确定目标效果 ，确定迭代计算次数P。

    第2 步:令p = 0，1，…，P，计算

    1) 当前融合模板叠加效果:

    2) 当前叠加效果与目标间差异:

    3) 修正融合模板:

    4) 平滑融合模板:

    第3 步:输出最终融合模板: 

    其中，为Hadamard 积［12］ 采用简单的“均值滤波”即可满足准则2 的要求。当投影仪内部和投影仪间存在亮度差异时，只需要在式(10)中追加一个亮度系数矩阵即可，

    其中， 为第k 个投影仪亮度分布矩阵。

    2. 2 GPU 加速的融合模板迭代计算机制

    算法I 中最耗时的计算即为非线性映射G ，利用GPU 高速并行计算的特性，该计算可通过硬件高速完成。

    将融合模板作为纹理载入显存，几何对应网格(x，y) 作为顶点坐标载入显存，则非线性映射G 及其逆G－1 都可通过纹理贴图的方式由GPU完成。 图2 给出了计算机内部执行算法I 时的数据流程图。

图2 算法I 对应的数据流程图
Fig. 2 Data flaw of the algorithm I

    图2 中，方框表示硬盘数据，实线斜方框表示内存数据，虚线斜方框表示显示内存数据，实线椭圆表示CPU 运算函数，虚线椭圆表示GPU 运算函数。

    GPU 运算函数主要通过纹理贴图的方式高速并行的完成非线性映射G 及其逆G－1 的计算，并通过绘制到帧缓存对象( Frame Buffer Object) 的技术实现CPU 读取绘制结果。