一种面向静态相机的非线性背景模型更新方法与流程

本发明涉及背景减除法中背景模型的更新方法，尤其是涉及一种面向静态相机的非线性背景模型更新方法。

背景技术：

背景减除法是很多计算机视觉应用系统中一个非常关键的预处理步骤，它能从视频中检测到有意义的运动前景对象或区域，为后续的视频分割、语义分析、视频检索等提供必要的技术支持。

相对于视频分割技术，背景减除法只依赖于过去时刻输入的图像帧和当前时刻输入的图像帧，是一种因果性的视频分析检测算法(绝大多数背景减除法不依赖将来时刻输入的图像帧)，而且一般背景减除法算法复杂度比较低，因此广泛应用于视频监控、遥感和人机交互系统中。

面向静态相机，背景减除法一般包含如下几个主要步骤：

(1)背景模型建立：可以采用视频刚开始的一些图像帧通过学习方式来建立背景模型，也可以简单地以第一帧图像作为背景模型。

(2)前景检测：将当前输入图像帧和背景模型作比较，当输入图像帧中相应位置上的特征和背景模型中相对应位置上的特征之间的差异比较大时，比如超过一个事先设置的检测阈值，则判定该位置出现前景对象，反之，则为背景。在检测过程中所采用的特征可以是色彩、纹理或其它视觉特征等，最简单的视觉特征就是灰度信息。

(3)背景模型更新：随着时间的推移，即便是静态场景也会发生变化，比如监控视频中一天不同时段光照条件的不一样造成场景中光照条件发生变化；或者气候条件发生变化也导致光照条件发生变化；或者原先静止的对象开始移动，如停放的车辆开始移动；或者车辆驶入停车场后停放很长时间等。因此背景模型应随着时间的推移和场景的变化做出相应的更新。

技术实现要素：

本发明的目的在于提供一种面向静态相机的非线性背景模型更新方法，该方法包括下列步骤：输入一帧图像或一段视频，建立背景模型；输入当前图像帧；根据当前图像帧和前一时刻背景模型之间的差异，检测出当前图像帧中属于背景的像素点，和属于有意义运动的前景对象或区域；在被确定为背景的像素点上，根据当前输入和前一时刻背景模型之间差异来自适应调整该像素点背景模型的更新率并更新它的背景模型。

本发明采用的技术方案的步骤如下：

步骤1)设定一个检测阈值T，设定一个背景更新率α(其中0≤α≤1)；

步骤2)采用视频刚开始2-3秒内的图像帧来学习建立背景模型，或以第一帧图像作为背景模型；

步骤3)输入当前图像帧；

步骤4)计算当前图像帧和背景模型之间的视觉特征差异，为色彩、纹理或灰度差异；

步骤5)针对当前图像帧中每一个像素点，根据该像素点在步骤4)中计算出来的差异值，如果它大于步骤1)中设置的检测阈值T，则判定该像素点是前景对象，反之，则判定该像素点为背景；

步骤6)针对步骤5)中判定为背景的像素点，根据该像素点当前的输入和该像素点前一时刻背景模型之间差异来自适应调整该像素点背景模型的更新率，并更新该像素点的背景模型如下：

式中是表示步骤5)中判定为背景一像素点所在的空间位置，t是当前图像帧的时刻，表示位于像素点上更新后的背景模型值，表示位于像素点上前一时刻的背景模型值，是当前图像帧在像素点上的输入，符号是表示取符号中数值的绝对值，在公式(1)中就是取和之间差异的绝对值；

步骤7)如果t时刻图像帧是视频最后一帧，则检测前景对象和背景更新过程终止，反之，回到步骤3)，输入下一时刻图像帧，即t+1时刻的图像帧，重复步骤4)到步骤6)。

所述非线性背景模型更新方法是一种非线性平滑平均方法。

本发明具有的有益效果是：

本发明利用当前输入图像帧和前一时刻背景模型之间差异来自适应调整背景模型的更新率，从而使得背景模型随着时间推移演化比较稳定，不会轻易将一些前景对象或区域的内容加入到背景模型中。在一般线性平滑平均背景模型的更新方法中，背景模型的稳定性对于不同更新率会比较敏感；但是在本发明的非线性平滑平均背景模型的更新方法中，背景模型对于不同的更新率没有那么敏感。另外在一般线性平滑平均背景模型的更新方法中，所有像素点采用一样的更新率；但是在本发明的非线性平滑平均背景模型的更新方法中，每个像素点会根据当前输入和与前一时刻该位置上背景模型之间的差异来自适应调整该像素点背景模型的更新率，是一种时空自适应的背景模型更新方法。

附图说明

图1是本发明的流程图。

图2是“热成像”类别在不同更新率α下背景模型的最终演化结果图。

图3是“间歇式运动”类别在不同更新率α下背景模型的最终演化结果图。

图4是“夜间拍摄视频”类别在不同更新率α下背景模型的最终演化结果图。

图5是“恶劣气候条件下拍摄的视频”类别在不同更新率α下背景模型的最终演化结果图。

图6是将本发明的非线性平滑平均背景模型更新方法测试于不同视频类别，并展示不同类别视频检测结果的平均F-measure值随更新率α变化的曲线图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1是本发明方法的一个流程图。下面给出一个基于最简单的帧间差背景减除法，输入是灰度视频的实施操作步骤。

步骤1)设置检测阈值T，这里采用人眼视觉系统中最小可觉灰度差值(Just Noticeable Difference)来设置检测阈值T，设为20；设置背景更新率α，α取值是0到1区间任意一个数值，保证更新后的背景值还在一个有效的取值范围内，根据公式(1)，如果α比较大，则前景对象比较容易影响背景模型；反之，如果α比较小，则背景模型随时间推移会比较稳定。可以简单让α取0.5。

步骤2)如果输入视频第一帧中没有前景对象，则简单地采用第一帧图像作为背景图像；如果输入视频刚开始的图像帧中存在前景对象，则可以采用视频刚开始一段时间内的图像帧来建立背景模型，如采用视频中前31帧图像来建立背景模型，即每个像素点都有31个灰度值。针对每个像素点，对它的31个灰度值进行排序，并采用排序后的中间值作为该像素点的背景值，即采用时域中间值为背景模型。

步骤3)输入当前图像帧。

步骤4)计算当前图像帧和前一时刻背景图像之间灰度值差异的绝对值。

步骤5)针对当前图像帧中每一个像素，根据该像素点的当前输入图像帧灰度值与前一时刻背景图像中该像素点灰度值之间差异的绝对值，如果它大于步骤1)中设置的检测阈值T，则判定该像素点是前景对象；反之，则判定该像素点为背景。

步骤6)针对步骤5)中判定为背景的像素点，根据该像素点当前的输入和前一时刻位于该像素点上背景图像之间灰度差异值的绝对值来自适应调整该像素点背景值的更新率，并更新该像素点的背景模型如下：

式中是表示当前图像帧中判定为背景一像素点所在的空间位置，t是当前图像帧的时刻，表示位于像素点更新后的背景灰度值，表示位于像素点前一时刻的背景灰度值，是当前图像帧在像素点上的输入灰度值；

步骤7)如果t时刻图像帧是视频最后一帧，则检测前景对象和背景更新过程终止；反之，回到步骤3)，输入下一时刻图像帧，即t+1时刻的图像帧，重复步骤4)到步骤6)。

测试本发明方法基于上述实施方案于一个标准视频监控数据库(http://wordpress-jodoin.dmi.usherb.ca/cdw2014/)中“热成像”类别(thermal，红外监控视频，其中共有5个视频)，“间歇式运动”类别(intermittentObjectMotion，其中共有6个视频)，“夜间拍摄视频”类别(nightVideo，其中共有6个视频)，和“恶劣气候条件下拍摄的视频”类别(badWeather，其中共有4个视频)。这个视频监控数据库提供对图像帧中有意义运动的前景对象和区域进行人工标注的结果，可以用来定量比较不同方法的检测结果。

为了直观展示本发明的非线性平滑平均背景模型更新方法和基于一般的线性平滑平均背景模型更新方法分别在不同更新率α下随时间推移的背景模型演化结果，图2、图3、图4和图5给出了这两种不同背景模型更新方法分别在更新率α＝0.1，α＝0.5和α＝0.9下测试于一“热成像”视频，一“间歇式运动”视频、一“夜间拍摄”视频和一“恶劣气候条件下拍摄”视频最终演化的背景图像。针对本发明的非线性平滑平均背景模型更新方法，在上述实施方案中简单采用输入视频的第一帧图像作为背景模型；而针对一般的线性平滑平均背景模型更新方法，除了在上述实施方案的步骤6)采用(线性平滑平均的更新方法)以外，其它步骤和本发明的非线性平滑平均背景模型更新方法的实施方案一样。如果背景更新率α＝0相当于背景一建立就不再更新；另外如果背景更新率α＝1则表示永远以前一时刻的输入图像帧作为背景模型。这两种极端情况都不适用于实际视频监控应用，因此在测试时背景更新率α取值在0<α<1。

本发明给出了来自不同视频类别的四个视频在两种不同背景模型更新方法下演化的背景图像。如图2所示，(a)，(b)，(c)和(d)，(e)，(f)是来自“热成像”类别(thermal)中一个视频采用一般的线性平滑平均背景模型更新方法和本发明的非线性平滑平均背景模型更新方法分别在更新率α＝0.1，α＝0.5和α＝0.9 情况下最终演化的背景图像；如图3所示，(a)，(b，(c)和(d)，(e)，(f)是“间歇式运动”类别(intermittentObjectMotion)中一个视频采用一般的线性平滑平均背景模型更新方法和本发明的非线性平滑平均背景模型更新方法分别在更新率α＝0.1，α＝0.5和α＝0.9情况下最终演化的背景图像；如图4所示，(a)，(b)，(c)和d)，(e)，(f)是“夜间拍摄视频”类别(nightVideo)中一个视频采用一般的线性平滑平均背景模型更新方法和本发明的非线性平滑平均背景模型更新方法分别在更新率α＝0.1，α＝0.5和α＝0.9情况下最终演化的背景图像；如图5所示，(a)，(b)，(c)和(d)，e)，(f)是“恶劣气候条件下拍摄的视频”类别(badWeather)中一个视频采用一般的线性平滑平均背景模型更新方法和本发明的非线性平滑平均背景模型更新方法分别在更新率α＝0.1，α＝0.5和α＝0.9情况下最终演化的背景图像。从图2到图5中结果可以看出基于本发明的非线性平滑平均背景模型更新方法随着时间的推移不会轻易将前景对象或区域融入到背景模型中，尤其是在更新率α比较小的情况下。

为了更好地说明本发明的非线性平滑平均背景模型的更新方法对于背景模型对更新率α不敏感性，图6给出了本发明的非线性平滑平均背景模型更新方法和一般线性平滑平均背景模型更新方法测试于上述四个不同视频类别，即“热成像”类别(thermal)，“间歇式运动”类别(intermittentObjectMotion)，“夜间拍摄视频”类别(nightVideo)和“恶劣气候条件下拍摄的视频”类别(badWeather)中所有视频，分别计算这4个视频类别中所有视频在两种不同背景更新方法下得到的检测结果的平均F-measure值(F-measure值结合了检测结果的精确度和召回率，F-measure值越大表明检测结果越好)，画出这些平均F-measure值随更新率α变化的曲线，并计算在不同视频类别中所有视频在不同更新率α下总的F-measure值的平均值。从图6可以看出在不同的更新率α下，本发明的非线性平滑平均背景模型更新方法得到检测结果的F-measure平均值一般要高于线性平滑平均背景模型更新方法得到检测结果的F-measure平均值。

表1列出了图6中不同视频类别F-measure平均值曲线的总的平均值，以及这些F-measure平均值在不同更新率α下变化的标准偏差(列在括号中)。从表1中可以看到除了“热成像”视频类别中非线性平滑平均背景模型更新方法的标准偏差稍微高于线性平滑平均背景模型更新方法的标准偏差，在其它视频类别中非线性平滑平均背景模型更新方法的标准偏差远低于线性平滑平均背景模型更新方法的标准偏差。这些实验结果也间接证明了本发明的非线性平滑平均背景模型的更新方法相对于一般线性平滑平均背景模型的更新方法具有更好的背景模型稳定性，特别是在光照条件比较差的情况下的视频监视，如红外监控，夜间监控和恶劣气候条件下的视频监控等。

表1两种不同背景模型更新方法测试于4种不同视频类别，以及它们在不同更新率α下得到的F-measure总平均值和标准偏差