一种排除飞虫干扰的遗留物检测方法与流程

本发明涉及一种排除飞虫干扰的遗留物检测方法，属于视频图像处理技术领域。

背景技术：

遗留物检测能够有效检测出威胁公共安全的诸如爆炸物、有毒物质等的不明遗留物，在火车站、机场、地铁站等人群密集的公共区域具有广阔的应用空间。虽然通过视频监控可以找到大多数的遗留物，但是放在轨道上的遗留物通常不易被发现，随着轨道交通速度的不断提升，放在轨道上的遗留物很容易对乘客和车辆的安全带来隐患，故需要对遗留物进行实时监测。

目前，遗留物检测的方法主要可以分为两类，一类是基于目标跟踪的方法，其通过分析视频序列图像，在每帧图像中检测出各自独立的运动目标，从而确定目标在每帧中的具体位置，既能提供目标的运动轨迹，又能根据目标的跟踪信息进行运动检测和识别。目标跟踪的关键问题是连续的图像帧之间目标的对应匹配问题。基于目标跟踪的方法需要很好地解决如何高效选取匹配特征，克服场景干扰，对目标自身变化进行自适应的问题，流程相对复杂，算法复杂度较大。另一类是基于目标检测的方法，其是指在视频序列中检测并提取出与参考图像之间存在相对运动的前景区域，分析其灰度、纹理和边缘等特征，再以此为依据分割成若干独立目标。目前目标检测的方法主要分为光流法、帧间差分法、背景差分法等。基于目标检测的方法原理与计算相对简单，检测速度快，开发和应用成本较低，但在频繁遮挡、光线变化的复杂环境应用中的适应性有待提高。

虽然目前对于遗留物检测已经有很多研究，但是对于复杂场景内遗留物检测，依然存在很多问题。例如在复杂场景下非常容易受到其他物体，如静止的行人，夜晚快速飞舞的飞虫等因素的干扰，同时也会受到光照变化的影响，从而导致检测精度较低，误检率较高。而使用深度学习算法过滤行人以及动物等非目标物体，在不同的场景下需要大量标记的样本对模型进行训练，一旦场景出现其他干扰物体就需要对模型进行重新训练，否则检测精度就会大大下降。同时，深度学习算法计算复杂度和计算量都很大，很难满足智能视频监控系统实时处理的要求。

技术实现要素：

针对上述问题，本发明的目的是提供了一种排除飞虫干扰的遗留物检测方法，其不仅能够适用于普通的火车站、商场等场景，还能用于排查火车铁轨上是否被人恶意放置障碍物等场景。在有效提高了检测精度的同时也能够保证其实时性以及对于复杂场景的适应性，能够有效节省人力、物力以及时间成本。

为实现上述目的，本发明采取以下技术方案：一种排除飞虫干扰的遗留物检测方法，包括以下步骤：s1从视频图像中获取物体的边缘；s2从视频图像中追踪移动目标，并判断其是否为飞虫，若否则直接进入下一步，若是则在步骤s1获取的物体的边缘中剔除移动物体的边缘后，进入下一步；s3对经过步骤s2处理的物体的边缘进行分类，并根据分类结果确定疑似遗留物的目标框；s4计算疑似遗留物的目标框中物体的得分，若得分大于阈值，则确认目标框中物体为遗留物，若得分小于阈值，则目标框中物体不是遗留物。

进一步，步骤s1中从视频图像中获取物体的边缘的方法为：s1.1计算视频图像在水平方向和垂直方向的梯度值，计算背景图像在水平方向和垂直方向的梯度值；s1.2计算水平方向上视频图像和背景图像的梯度差，计算垂直方向上视频图像和背景图像的梯度差；s1.3根据水平方向和垂直方向的梯度差获得二值化的前景边缘掩膜；s1.4根据前景边缘掩膜和每个边缘像素的时间累计得到稳定的边缘掩膜。

进一步，背景图像在水平方向的梯度值为：

bx,t(x,y)＝bx,t-1(x,y)+αdx,t(x,y)

背景图像在垂直方向的梯度值为：

by,t(x,y)＝by,t-1(x,y)+αdy,t(x,y)

其中，bx,t(x,y)是t时刻水平方向上的背景模型的梯度，bx,t(x,y)是t-1时刻水平方向上的背景模型的梯度；by,t(x,y)是t时刻垂直方向上的背景模型的梯度，by,t(x,y)是t-1时刻垂直方向上的背景模型的梯度；α是学习速率；dx,t(x,y)是t时刻水平方向上视频图像和背景图像的梯度差；dy,t(x,y)是t时刻垂直方向上视频图像和背景图像的梯度差。

进一步，稳定的边缘掩膜的计算公式为：

semaskt(x,y)＝hyst(acct(x,y),aotime/2,aotime)

其中，semaskt(x,y)表示边缘掩膜，hyst()是滞后阈值函数；aotime遗留物被遗留时间的阈值；acct(x,y)是初始值为0的稳定边缘像素在t时刻时，时间累计下的掩膜，其公式为：

acct-1(x,y)是初始值为0的稳定边缘像素在t-1时刻时，时间累计下的掩膜，i表示检测视频的帧数，i％10＝0表示每10帧更新一次；ft(x,y)是二值化的前景边缘掩膜，其公式为：

fx，t(x,y)＝hyst(|dx，t|,tlow,thigh)

fy,t(x,y)＝hyst(|dy,t|,tlow,thig)

其中，dx,t是t时刻水平方向上视频图像和背景图像的梯度差；dy,t是t时刻垂直方向上视频图像和背景图像的梯度差，高于thigh的像素值设置为1，而低于tlow的像素值设置为0。同时，如果8个相邻的像素中有一个像素的值大于thig，那么在tlow和thig之间的像素值被设置为1，否则它们被设置为0。tlow是梯度差的最低阈值，thigh是梯度差的最高阈值。

进一步，步骤s2中从视频图像中追踪移动目标的方法为：s2.1计算视频图像中移动目标的特征信息；s2.2采用特征信息对卡尔曼滤波器进行初始化；

s2.3采用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，将目标区域内的图像与预测结果进行匹配；s2.4如果匹配成功，则更新卡尔曼滤波器。

进一步，匹配的方法为匈牙利匹配算法，其通过最小化卡尔曼滤波得到的预测结果的质心与下一帧中实际检测到的图像的质心之间的欧氏距离之和将预测结果和检测到的图像进行匹配。

进一步，步骤s2中判断其是否为飞虫的方法为：判断物体在相邻帧的质心移动距离是否大于其目标框的较短边缘的1/2，且移动方向为向上；或者，在相邻十帧内运动方向是否有大于等于三次的变换，若是则为飞虫，若否则判断不是飞虫。

进一步，在步骤s3中对经过步骤s2处理的物体的边缘进行分类的方法为：将物体的每一个边缘放在一个边缘目标框中，计算每一边缘目标框与其他边缘目标框的距离，根据距离将边缘分为位于疑似遗留物的上方、下方、左方和右方四类，从而形成疑似遗留物的目标框。

进一步，步骤s4中的疑似遗留物的目标框中物体的得分包括对象得分和静态得分，只有当对象得分和静态得分均大于步骤s4中阈值时，才确认目标框中物体为遗留物。

进一步，对象得分的计算公式sb为：

其中，treg、breg、rreg以及lreg分别是满足位于疑似遗留物的上方、下方、左方和右方四类中满足凸性条件的边缘在长度之和，bbw和bbl分别为疑似遗留物的目标框的长度和宽度，λ是一个常数；

静态得分cb为：

其中，指的是物体第i个边缘组边缘连接的集合，边缘组是某一类边缘组成的组。

本发明由于采取以上技术方案，其具有以下优点：1、本申请利用边缘来检测和分析判定候选出的疑似遗留物，能够有效减少复杂场景中的误报情况。2、本申请利用飞虫飞舞时的运动速度以及方向，能够有效抑制其在目标检测时带来的干扰，其对场景变化具有较强的鲁棒性，能准确地剔除静止的人所产生的误报，同时在飞虫较多的室外夜晚也能减少飞虫飞舞对后续入侵检测等系统的功能带来的影响。3、本发明通过对前景边缘进行多帧的检测来确保得到了较为稳定的场景边缘。4、本发明简单有效的甄别出夜晚室外场景时对画面有干扰的飞虫，并将其排除出入侵检测的目标，有效提高系统在复杂环境下检测的准确度并且有效减少了计算量。

附图说明

图1是本发明一实施例中排除飞虫干扰的遗留物检测方法的流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

本发明公开了一种排除飞虫干扰的遗留物检测方法，其通过对前景边缘进行多帧的检测来确保得到了较为稳定的场景边缘。然后使用聚类算法对这些边缘进行分组，得到了包含疑似遗留物的矩形框。接下来，为了对疑似遗留物的目标进行分类，通过对其边缘的位置、方向和静态分数来有效的判断该疑似遗留物是否真的是遗留物。同时，在前景检测时，可以对移动物体进行框定以及聚类，通过判断其在每帧时运动轨迹的长度与其目标框长宽的比值是否过大，运动方向是否为向上并且是否短时间内运动方向急速变化，从而简单有效的甄别出夜晚室外场景时对画面有干扰的飞虫，并将其排除出在目标之外，有效提高系统在复杂环境下检测的准确度，有效减少了计算量。下面通过具体实施例对本发明方案进行详细说明。

本实施例公开了一种排除飞虫干扰的遗留物检测方法，包括以下步骤：

s1从视频图像中获取物体的边缘。

物体的边缘检测是将移动边缘检测技术与时间累积过程相结合，生成的稳定的边缘掩模。使用边缘代替像素强度是因为边缘对光照变化不敏感，不需要移除阴影，同时可以更好地描述场景信息，避免了光照变化对图像和检测结果的影响。

步骤s1中从视频图像中获取物体的边缘的方法为：

s1.1计算视频图像在水平方向和垂直方向的梯度值，计算背景图像在水平方向和垂直方向的梯度值。

在输入的视频图像上应用sobel算子，计算输入视频图像在水平方向和垂直方向的一阶导数，即视频图像在水平方向和垂直方向的梯度值。然后，随着时间的推移在每个像素上使用连续的平均算法，计算背景图像在水平方向和垂直方向的梯度值，其公式为：

背景图像在水平方向的梯度值为：

bx,t(x,y)＝bx,t-1(x,y)+αdx,t(x,y)

背景图像在垂直方向的梯度值为：

by,t(x,y)＝by,t-1(x,y)+αdy,t(x,y)

其中，bx,t(x,y)是t时刻x方向上的背景模型的梯度，bx,t(x,y)是t-1时刻x方向上的背景模型的梯度；by,t(x,y)是t时刻y方向上的背景模型的梯度，by,t(x,y)是t-1时刻y方向上的背景模型的梯度；α是学习速率；dx,t(x,y)是t时刻x方向上视频图像和背景图像的梯度差；dy,t(x,y)是t时刻y方向上视频图像和背景图像的梯度差，其中，x方向是水平方向，y方向为垂直方向。

s1.2计算水平方向上视频图像和背景图像的梯度差，计算垂直方向上视频图像和背景图像的梯度差；

背景图像在水平方向的梯度差为：

dx,t(x,y)＝gx,t-bx,t(x,y)

背景图像在垂直方向的梯度值为：

dy,t(x,y)＝gy,t-by,t(x,y)

其中，gx,t(x,y)是视频图像在水平方向上的梯度值，gx,t(x,y)是视频图像在水平方向上的梯度值。

s1.3根据水平方向和垂直方向的梯度差获得二值化的前景边缘掩膜。

ft(x,y)是二值化的前景边缘掩膜，其公式为：

fx,t(x,y)＝hyst(|dx,t|,tlow,thigh)

fy,t(x,y)＝hyst(|dy,t|,tlow,thigh)

其中，hyst()是滞后阈值函数，dx,t是t时刻x方向上视频图像和背景图像的梯度差；dy,t是t时刻y方向上视频图像和背景图像的梯度差，tlow是梯度差的最低阈值，thigh是梯度差的最高阈值。fx,t(x,y)和fy,t(x,y)是使用滞后阈值函数计算的。水平方向或垂直方向的梯度差高于thigh的像素值设置为1，水平方向或垂直方向的梯度差低于tlow的像素值设置为0。同时，如果8个相邻的像素中有一个像素值的水平方向或垂直方向的梯度差大于thigh，那么在tlow和thigh之间的像素值被设置为1，否则这8个相邻的像素均被设置为0。最后对fx,t(x,y)和fy,t(x,y)的进行运算得到二值化的前景边缘掩模f。

s1.4根据前景边缘掩膜和每个边缘像素的时间累计得到稳定的边缘掩膜。

通过二值化的前景掩膜ft和每个边缘像素的时间累计来得到稳定的边缘像素，其中，acct(x,y)是初始值为0的稳定边缘像素在t时刻时，时间累计下的掩膜，其公式为：

acct-1(x,y)是初始值为0的稳定边缘像素在t-1时刻时，时间累计下的掩膜，i表示检测视频的帧数，i％10＝0表示每10帧更新一次，这样设置可以避免考虑暂时静止和慢动作的对象。acct(x,y)只会在检测到边缘像素的时候即ft(x,y)＝1才进行累计。

稳定的边缘掩膜的计算公式为：

semaskt(x,y)＝hyst(acct(x,y),aotime/2,aotime)

其中，semaskt(x,y)表示边缘掩膜，hyst()是滞后阈值函数；aotime遗留物被遗留时间的阈值。使用滞后阈值代替单一阈值有助于克服遮挡物体以及缓慢移动的物体的影响，防止静态边缘像素在acc掩膜的中被累积。

可以使稳定边缘掩膜semaskt(x,y)二值化对水平方向和垂直方向的稳定梯度进行估算。对水平方向的稳定梯度sgx,t和垂直方向的稳定梯度sgy,t进行非极大值抑制(nms)以分别得到水平方向和垂直方位的稳定的场景细边缘：

s2从视频图像中检测出移动物体，并判断其是否为飞虫，若否则直接进入下一步，若是则在步骤s1获取的物体的边缘中剔除移动物体的边缘后，进入下一步；

利用了检测出来的稳定背边缘以及二值化前景边缘掩膜，对输入的视频图像进行运算，获得移动目标的中心坐标以及目标框，通过blob分析检测连通域，得到对应的移动目标。然后利用卡尔曼滤波(kalman)以及匈牙利匹配算法对帧间目标框建立关系，从而实现对多个移动物体的跟踪与匹配。

步骤s2中在视频图像中对多个移动物体的跟踪与匹配的方法为：

s2.1计算视频图像中移动目标的特征信息，包括运动目标的目标框，以及该目标框的中心坐标；

s2.2采用特征信息对卡尔曼滤波器进行初始化；

s2.3采用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，将目标区域内的图像与预测结果进行匹配；

s2.4如果匹配成功，则更新卡尔曼滤波器。

其中，卡尔曼滤波器的状态方程为：

xk＝axk-1+buk-1+qk-1

卡尔曼滤波器的观测方程为：

yk＝hxk+rk

上两式子中，xk是k时刻的系统状态，uk是k时刻对系统的控制量。a是传输参数，b是控制参数，a和b都是系统参数，对于多模型系统，a与b均为矩阵。yk是k时刻的测量值，h是测量系统的参数，对于多测量系统，h为状态转移矩阵。qk和rk分别表示k时刻状态的噪声和测量的噪声，二者被假设成是高斯白噪声。

匹配的方法为匈牙利匹配算法，其通过最小化卡尔曼滤波得到的预测结果的质心与下一帧中实际检测到的图像的质心之间的欧氏距离之和将预测结果和检测到的图像进行匹配。具体方法为：计算匈牙利匹配算法的损失矩阵，其大小为[mn]，其中，m是轨迹数目，n是检测到的运动物体数目，并求解该损失矩阵。

跟踪到了移动物体，则找到其质心在相邻帧间移动的欧氏距离，可以得到移动物体的运动方向以及运动速度。通过对多处铁轨附近摄像头附近蚊虫飞舞的观察，简单的总结出了蚊虫飞舞的规律，得到了以下结论，当物体移动速度很快，在相邻帧的质心移动距离大于其目标框的较短边缘的1/2且当移动方向为向上或者在相邻十帧内运动方向有多于等于三次的变换。故步骤s2中判断移动目标是否为飞虫的方法为：判断物体在相邻帧的质心移动距离是否大于其目标框的较短边缘的1/2，且移动方向为向上；或者，在相邻十帧内运动方向是否有大于等于三次的变换，若是则为飞虫，若否则判断不是飞虫。

s3对经过步骤s2处理的物体的边缘进行分类，并根据分类结果确定疑似遗留物的目标框；

在步骤s3中对经过步骤s2处理的物体的边缘进行分类的方法为：将物体的每一个边缘放在一个边缘目标框中，计算每一边缘目标框与其他边缘目标框的距离，根据距离将边缘分为位于疑似遗留物的上方、下方、左方和右方四类，从而形成疑似遗留物的目标框。实时检测边缘的稳定性作为聚类的时间距离，矩形框与矩形框之间的距离不用质心之间的距离而是用矩形框的四个角和其他矩形框的角之间的最小距离衡量。计算出一边缘目标框与其他边缘目标框的时间距离和空间距离，如果另一边缘目标框的第一个边缘目标框的空间距离小于距离阈值dth，时间距离小于时间阈值tth，则认为该边缘目标框中的边缘与第一边缘目标框中的边缘是类别相同。本实施例采用了一种基于递归标记的聚类方法，该聚类方法以图的形式递归地遍历未标记的边缘目标框以找到与之前边缘目标框中边缘的类别相同的边缘。

s4计算疑似遗留物的目标框中物体的得分，若得分大于阈值，则确认目标框中物体为遗留物，若得分小于阈值，则目标框中物体不是遗留物。

现有技术中，通常会通过大量的分数来判断疑似的遗留物是否是由鬼影、静止的人以及突然变化的光照等引起的。而在本实施例中，只需要检查疑似遗留物的目标框内是否包含有一整个对象来判断疑似遗留物是否真的为被遗留的物体。基于类别无关的目标检测原理，在目标检测之前通过生成一个大概率包含遗留物的目标框来检查所有可能的位置以及滑动窗口的范围。

疑似遗留物的目标框中物体的得分包括对象得分和静态得分，只有当对象得分和静态得分均大于步骤s4中阈值时，才确认目标框中物体为遗留物。

对象得分：

对于人眼来说，具有明确的封闭边界的物体才可能是对象，假设被遗弃的物体一般都有简单的凸边缘，从而据此定义物体的客观得分。

在本实施例中，疑似遗留物的目标框宽度和长度为bbw和bbl,四条边界框被划分为上方、下方、左方以及右方四个区域。然后利用边缘的类型，计算每个区域中封闭物体的凸度，从而得到该物体的对象得分，在本实施中使用边缘组和边缘组的平均梯度方向来计算。边缘组是通过将连接的边缘按照其类别分成的组，且计算该组两两边缘的梯度方向差，将该组所有的梯度方向差相加，其结果不超过90°。

将treg和breg与目标框的长度bbl进行比较，将rreg和lreg与目标框的宽度bbw进行对比，得到对象得分的计算公式sb为：

其中，θi和seglengthi分别指的是每个区域第i个边缘组的平均方向与平均长度，treg、breg、rreg以及lreg分别是满足位于疑似遗留物的上方、下方、左方和右方四类中满足凸性条件的边缘在长度之和。以及分别是满足位于疑似遗留物的上方、下方、左方和右方四类中满足凸性条件的初始边缘。即若满足条件|sin(θi)²-1|<δ或|sin(θi)²|<δ，则初始边缘加seglengthi，直至遍历所有满足凸性条件的边缘，bbw和bbl分别为疑似遗留物的目标框的长度和宽度，λ是一个常数。

静态分数

静止的人很可能给遗留物检测带来挑战，但是人在静止时一般会有微小的内部运动，如耸肩等，因此，本实施例定义了一个静态分数来衡量目标轮廓的稳定性。通过验证每个边缘组与其相邻边缘组的关联性来测量物体轮廓的连通性从而得到一个分数cb。假设有一个对象，它的每个边缘组与相邻的边缘组至少得有两处连接，少于两处，就会被扣除分数。这个分数有助于排除静止的人等这样的干扰项。

静态得分cb为：

其中，指的是物体第i个边缘组边缘连接的集合。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。