智能视频监控

　　近年来，随着国民经济的快速增长、社会的迅速进步和国力的不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但实际的监控任务仍需要较多的人工完成，而且现有的视频监控系统通常只是录制视频图像，提供的信息是没有经过解释的视频图像，只能用作事后取证，没有充分发挥监控的实时性和主动性。为了能实时分析、跟踪、判别监控对象，并在异常事件发生时提示、上报，为政府部门、安全领域及时决策、正确行动提供支持，视频监控的“智能化”就显得尤为重要。智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。^[1]

运动目标检测

　　运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域。运动目标的正确检测与分割对于后期处理非常重要。场景的动态变化，如天气、光照、阴影和杂乱背景的干扰，使得运动目标检测和分割变得相当困难。 　　帧差法 　　基本原理是在图像序列相邻的两帧或者三帧采用基于像素的时间差分通过阈值化来提取图像中的运动区域。首先，将相邻帧图像对应像素值相减，然后对差分图像二值化。在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为（主观经验）此处为背景像素；如果对应像素值变化很大，可以认为这是有运动物体引起的，将这些区域标记为前景像素 ，利用标记的像素区域可以确定运动目标在图像中的位置。优点：相邻两帧的时间间隔很短，用前一帧图像作为后一帧图像的背景模型具备较好的实时性，其背景不积累，更新速度快，算法计算量小。缺点：阈值选择相当关键，阈值过低，则不足以抑制背景噪声，容易将其误检测为运动目标；阈值过高，则容易漏检，将有用的运动信息忽略掉了。另外，当运动目标面积较大，颜色一致时，容易在目标内部产生空洞，无法完整地提取运动目标。 　　光流法 　　光流法的主要任务是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。光流法不需要预先知道场景的任何信息，就能够检测运动对象，可处理运动背景的情况，但噪声多、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响；而且光流法计算复杂，很难实现实时处理。 　　减背景法 　　减背景法是一种有效的运动目标检测算法，其基本思想是背景的参数模型来近似背景图像的像素值，将当前帧与背景模型进行差分比较实现对运动目标区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域则被认为是背景区域。背景减除法必须要有背景图像，并且背景图像要随着光照和外部环境的变化而实时更新，因此背景减除法关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，研究人员已经提出许多背景建模算法，总的来讲可以概括为非回归递推两类。非回归递推背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型的线性滤波器、Elgammal等提出的利用一段时间的历史数据来计算背景像素密度的非参数模型等。回归算法无需维持保存背景估计帧的缓冲区，它们是通过回归的方式基于输入的每一帧图像来更新某个时刻的背景模型。这类方法包括广泛应用的线性卡尔曼滤波法、Stauffer与Grimson提出的混合高斯模型。

目标跟踪算法

　　大多数跟踪算法的执行顺序遵循预测-检测-匹配-更新四个步骤。以前一帧目标位置和运动模型为基础，预测当前帧中目标的可能位置。在可能位置处候选区域的特征和初始特征进行匹配，通过优化匹配准则来选择最好的匹配，其相应目标区域即为目标在本帧的位置。除了更新步骤，其余三个步骤一般在一个迭代中完成。预测步骤主要是基于目标的运动模型，运动模型可以是简单的常速平移运动到复杂的曲线运动。检测步骤是在目标区域通过相应的图像处理技术获得特征值，形成待匹配模板。匹配步骤是选择最佳的待匹配模板，它所在的区域即是目标在当前帧的位置。一般以对目标表象变化所作的一些合理假设为基础，常用的方法是候选特征与初始特征的互相关系数最小。更新步骤是对初始模板的更新，这是因为在跟踪过程中目标的姿态、场景等会发生变化，模板更新由利于跟踪的持续进行。根据匹配采用的属性不同，可将目标跟踪算法分为四类：基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪以及基于模型的跟踪，也可以将这几类方法相互结合用于目标跟踪。 　　基于区域的跟踪 　　基于区域的目标跟踪时通过人为选定或图像分割获得的目标模板，然后在序列图像中计算目标模板与候选模板的相似程度，运动相关算法来确定当前图像中目标的具体位置从而实现跟踪目标。用模板匹配做跟踪，其出发点就是对图像的外部特征直接做匹配运算，与初始选定的区域匹配程度最高的就是目标区域。选择何种特征作为匹配运算的对象一直是人们研究的热点，对灰度图像可以采用基于纹理和特征的相关；对彩色图像可以采用基于颜色的相关。常用的基于区域匹配的跟踪算法有差方和法、颜色法、形状法等，这些算法还可以结合线性预测或卡尔曼滤波提高目标跟踪的精度。基于区域匹配相关的算法用到了目标的全局信息，具有较高的可信度，当目标未被遮挡时，跟踪稳定。主要缺点是计算量大，当搜索区域较大时尤为严重；另外，算法要求目标形变不大、无严重遮挡，否则匹配运算精度下降会造成目标的丢失。近年来，对基于区域的跟踪方法关注较多的是如何解决目标运动变化带来的模板更新，实现稳定跟踪。 　　基于特征的跟踪 　　基于特征的目标跟踪通常利用先验信息或加入某些约束来解决，如假设相邻帧图像中的特征点在运动形式上的变化不大，并以此为约束条件建立特征点对应关系。该算法包括特征点的提取和匹配两个过程，一般也采用相关算法。不同于基于区域的跟踪算法使用目标整体进行相关运算，基于特征的跟踪只使用目标的某个或某些局部特征。这种算法的优点是当目标被遮挡时，只要有部分特征有效，就可以实现目标的跟踪。同样，这种方法也可结合卡尔曼滤波器使用提高跟踪效果。其难点在于，目标跟踪过程中因旋转、遮挡、形变等原因可能会导致部分特征消失、新的特征出现的情况，如何对特征集进行取舍与更新以保证跟踪的准确。常用的图像底层特征包括质心、边缘、轮廓、角点和纹理等。边缘时指其周围像素由灰度的阶跃变化或屋顶状变化的像素的集合或强度值突然变化的像素点的集合，边缘对于运动很敏感，对灰度的变化不敏感。角点有很好的定位性能，对部分的遮挡有很好的鲁棒性。这些特征的提取比较容易，运算量小，但不是很稳健，因为采用的特征太少无法保证跟踪的精度；而特征过多又会降低系统效率，且容易产生错误匹配。在特征提取时，一般采用Canny算子获得目标的边缘特征，采用SUSAN算子获得目标的角点信息，然后在不同图像上进行相关匹配寻找特征的对应关系。目前，已有的基于特征的跟踪方法多数对噪声比较敏感，除图像配准外，这些方法很少投入实际应用。 　　基于变形模板的跟踪 　　变形模板是纹理或边缘可以按一定限制条件变形的面板或曲线。由于大多数跟踪目标存在非刚性的特点，而变形模板有着良好的性能和极好的弹性，通过方向及方向的变形与真实目标相适应，所以被广泛应用于目标检索或跟踪领域。常