一种遗留物检测方法与流程

本发明涉及一种图像处理技术，具体涉及一种遗留物检测方法。

背景技术：

智能视频监控技术在安全防范预警中发挥的作用及优势愈发明显，可以代替人力安全监控导致的误差以及资源浪费。而目前，出现恐怖分子通过遗留危险物品进行恐怖活动，导致爆炸或释放有毒物质，威胁社会安全。遗留物通常是指被运动主体携带从运动到静止，再与运动主体分离，静止超过了一定时间并且没有所属主体的物体。保证社会安全，对可疑遗留物件的检测已成为机场、体育馆、候车厅和展览馆等公众场合安防系统不可缺少的内容。

而目前遗留物检测算法，一来环境适应性较差，需要根据不同的设置不同的参数，而且根据时间的推移，遗留物体往往会融入背景图像中，造成辨识困难。

技术实现要素：

本发明的目的在于，提供一种遗留物检测方法，解决以上技术问题；

本发明所解决的技术问题可以采用以下技术方案来实现：

一种遗留物检测方法，提供一摄像机用于实时采集场景图像，

初始化步骤，建立第一背景图像以及第二背景图像，第一背景图像由若干第一像点组成，第二背景图像由若干第二像点组成，每一所述第一像点的位置均与所述场景图像中的每一像点的位置一一对应，每一所述第二像点的位置点均与所述场景图像中的每一像点的位置一一对应；

实时更新步骤，每隔第一帧数以第一策略更新第一背景图像中像点的像素值，每隔第二帧数以第二策略更新第二背景图像中像点的像素值，所述第二帧数大于第一帧数；

所述第一策略包括将每一第一像点的像素值与该帧的场景图像中对应位置的像点的像素值比较，根据比较结果使每一所述第一像点的像素值趋近所述场景图像中对应位置的像点的像素值变化；

所述第二策略包括将不处于静态目标位置的每一所述第二像点的像素值与该时刻第一背景图像中对应位置的第一像点的像素值比较，根据比较结果使每一所述第二像点的像素值趋近对应位置的所述第一像点的像素值变化；

静态目标位置判断步骤，求每一位置的所述第一像点和所述第二像点的像素值差值，当任一位置的所述像素值差值大于第一预设阈值的持续时间超过第一预设遗留时间时，则判断该位置为所述静态目标位置；

二值化图像生成步骤，根据第一预设阈值对所述静态目标位置判断步骤中每一位置二值化以生成二值化图像；

遗留物检测步骤，对所述二值化图像生成步骤中生成的二值化图像进行轮廓提取以确定遗留物于所述场景图像中的遗留物区域。

这样设置，本发明构建了全新的环境自适应的双背景模型，该双背景模型不使用复杂的数学概率模型，大大降低了背景更新的计算复杂度，使算法能满足视频监控系统实时处理的要求；

进一步的，所述初始化步骤中还包括

以第三策略提取若干数量的所述场景图像进入第一队列，计算所述第一队列中所述场景图像的每一像点的亮度值，在第一队列中，分别将每一像点位置的出现次数最多的亮度值，将该亮度值作为第一背景图像上该像点位置的亮度值、和/或将该亮度值作为第二背景图像上该像点位置的亮度值。

进一步的，所述第二帧数设置为第一帧数的10-30倍。

进一步的，所述二值化图像生成步骤中，所述二值化图像中的像素值包括第一极值和第二极值，任一位置的所述像素值差值大于第一预设阈值时，则该位置于二值化图像中的像素值为第一极值；任一位置的所述像素值差值小于第一预设阈值时，则该位置的二值化图像的像素值为第二极值。

进一步的，所述第一策略中，每次比较结果产生时，对应像点位置的所述第一像点的像素值变化为1。

进一步的，所述第二策略中，每次比较结果产生时，对应像点位置的所述第二像点的像素值变化为1。

进一步的，还包括阴影抑制步骤，通过建立阴影模板判断阴影区域并阴影区域从所述二值化图像生成步骤中生成的所述二值化图像中去除。

进一步的，还包括形态学处理步骤，依次对所述二值化图像进行膨胀算法和腐蚀算法。

进一步的，还包括形态学处理步骤，依次对所述二值化图像进行腐蚀算法和膨胀算法。

进一步的，所述遗留物检测步骤中，对所述二值化图像进行轮廓提取后得到轮廓形状，所述轮廓形状的最小外接矩形为确定的所述遗留物区域。

有益效果：由于采用以上技术方案，本发明构建了全新的环境自适应的双背景模型，分别为前背景模型的第一背景图像与后背景模型的第二背景图像，对第一背景图像和第二背景图像设立了独立的更新机制，第一背景图像根据场景图像更新，第二背景图像根据更新后的第一背景图像更新，并针对检测到的静态目标位置，进行选择性的局部更新。然后对第一、第二背景图像做差值运算，同时使用阴影抑制技术来去除静态目标位置在自然光下的阴影对检测到的静态目标位置的影响，形态学处理算法以及轮廓提取算法等处理图像形成遗留物区域，对环境的适应性、实时性、以及鲁棒性较高。

附图说明

图1为本发明遗留物检测方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

参照图1所示，一种遗留物检测方法，提供一摄像机用于实时采集场景图像，

初始化步骤，建立第一背景图像以及第二背景图像，第一背景图像由若干第一像点组成，第二背景图像由若干第二像点组成，每一所述第一像点的位置均与所述场景图像中的每一像点的位置一一对应，每一所述第二像点的位置点均与所述场景图像中的每一像点的位置一一对应；所述初始化步骤中还包括以第三策略提取若干数量的所述场景图像进入第一队列，计算所述第一队列中所述场景图像的每一像点的亮度值，在第一队列中，分别将每一像点位置的出现次数最多的亮度值，将该亮度值作为第一背景图像上该像点位置的亮度值、和/或将该亮度值作为第二背景图像上该像点位置的亮度值。第三策略可以是每隔若干帧数提取一帧场景图像，以以下内容为例，对初始化步骤进行说明，

a)每隔一定帧数(比如20帧)采样一帧场景图像；

b)采样多次得到的若干帧场景图像(比如30幅)保存在一个队列中；

c)对场景图像中的每个像点，统计在这30幅图像中出现次数最多的亮度，并把这个亮度值作为第一背景图像或第二背景图像在该像点处的亮度值。

通过该背景初始化方法得到的背景图像来同时对前背景与后背景进行初始化。

实时更新步骤，每隔第一帧数以第一策略更新第一背景图像中像点的像素值，每隔第二帧数以第二策略更新第二背景图像中像点的像素值，所述第二帧数大于第一帧数；所述第一策略包括将每一第一像点的像素值与该帧的场景图像中对应位置的像点的像素值比较，根据比较结果使每一所述第一像点的像素值趋近所述场景图像中对应位置的像点的像素值变化；所述第二策略包括将不处于静态目标位置的每一所述第二像点的像素值与该时刻第一背景图像中对应位置的第一像点的像素值比较，根据比较结果使每一所述第二像点的像素值趋近对应位置的所述第一像点的像素值变化；所述第一策略中，每次比较结果产生时，对应像点位置的所述第一像点的像素值变化为1。所述第二策略中，每次比较结果产生时，对应像点位置的所述第二像点的像素值变化为1。以下例对实时更新步骤进行说明，

第一背景图像初始化后，随着视频的读入，需要对第一背景图像进行实时更新。每读入第3帧视频场景图像，将该帧场景图像与第一背景图像作对比，对每个像素点，如果该帧场景图像的像素值大于第一背景图像的像素值，则第一背景图像在该点的像素值加1；反之，对每个像素点，若该帧场景图像的像素值小于第一背景图像的像素值，则第一背景图像在该点的像素值减1。因此当一个静态目标进入到视频中，随着前背景的更新，该静态目标就会逐渐融入到前背景中。

第二背景图像初始化后，随着视频的读入，同样需要对第二背景图像进行实时更新。例如每读入第60帧图像，将第二背景图像与第一背景图像作对比，对每个像素点，若该第二像点所在位置已被检测为静态目标像素点所在位置，则该第二像点的像素值不更新，直到该第二像点所在位置不是静态目标位置为止；若第二像点所在位置目前没有检测到不是静态目标位置，并且第二背景图像的像素值大于第一背景图像的像素值，则第二背景图像在该点的像素值减1；若第二像点所在位置目前没有检测到静态目标像素，并且后第二背景图像的像素值小于第一背景图像的像素值，则第二背景图像在该点的像素值加1(选择性局部更新)。

阴影抑制步骤，通过建立阴影模板判断阴影区域并阴影区域从所述二值化图像生成步骤中生成的所述二值化图像中去除。阴影抑制，也叫做阴影去除，目的是去除掉静态目标在自然光下的阴影对目标检测的影响。当有静态目标融入到前背景时，该目标在自然光下的阴影也会同时融入到背景中，为了消除后期阴影对静态目标检测的影响，在前、后背景差分后进行阴影去除。

首先，把第一背景图像和第二背景图像从RGB色彩空间转换到HSV(H为色调，S为饱和度，V为亮度)：

V＝max(R，G，B)

if H＜0 then H←H+360

R代表红色值，G代表绿色值，B代表蓝色值,min(R,G,B)代表R、G、B三个值的最小者，max(R,G,B)代表R、G、B三个值的最大者。

基于HSV色彩空间，采用良好的阴影抑制方法去除了在自然光下的阴影对静态目标检测的影响，也进一步改善了背景模型的更新以及后期对静态目标的分割与定位效果；阴影模板按照下式计算，基于第一、第二背景差分产生的二值化静态目标前景，对于SM值为1的像素，在前景中保留，否则抛弃：

其中I^H(x,y),I^S(x,y),I^V(x,y)分别为前背景图像在HSV空间中像素点(x,y)的色调，饱和度，亮度；其中B^H(x,y),B^S(x,y),B^V(x,y)分别为后背景图像在HSV空间中像素点(x,y)的色调，饱和度，亮度。在我们的实验中，阈值参数分别为：α＝0.3,β＝1.0,τ_S＝40,τ_H＝48。

静态目标位置判断步骤，求每一位置的所述第一像点和所述第二像点的像素值差值，当任一位置的所述像素值差值大于第一预设阈值的持续时间超过第一预设遗留时间时，则判断该位置为所述静态目标位置；二值化图像生成步骤，根据第一预设阈值对所述静态目标位置判断步骤中每一位置二值化以生成二值化图像；所述二值化图像生成步骤中，所述二值化图像中的像素值包括第一极值和第二极值，任一位置的所述像素值差值大于第一预设阈值时，则该位置于二值化图像中的像素值为第一极值；任一位置的所述像素值差值小于第一预设阈值时，则该位置的二值化图像的像素值为第二极值。

以下同时对静态目标位置判断步骤以及二值化图像生成步骤进行解释，由第一背景图像和第二背景图像的更新模型可以看出，第一背景与第二背景有着不同的更新速率，前者的更新速率接近是后者的20倍，当物体进入视频后停止而成为静态目标后，首先经过一段时间，该目标会先融入到第一背景图像中，在一定时间内目标不会融入到第二背景图像中，在这段时间内，通过第一背景图像和第二背景图像差分可以一直检测到该静态目标。但是对于复杂场景中，我们排除掉一些物体或者人短暂停留的情况，因此我们设定遗留物的时间指标，也就是第一预设遗留时间：当目标停留在场景中超过30秒时，该目标即为我们要检测的静态目标，也就是遗留物。在算法中，对每个像素，我们设定一个计数器，当像素点对应位置的第一、第二背景差分结果大于二值化阈值持续超过30秒时(接近800帧)，则认定该像素点为静态目标像素点，其对应的位置就是静态目标位置，则将该点投射到二值化图像中(根据我们的双背景更新速率，若在30内对应目标像素点一直没有离开，则该像素点对应位置的第一、第二背景差分结果在时间指标内是一直大于二值化阈值的，因此该像素点会被检测到)。此时，第二背景图像的选择更新机制将不会更新对应位置的像素点，因此只要静态目标一直停留在场景中，前、后背景差分就可以一直检测到；反之，若静态目标一段时间后离开了，前背景中该目标也逐渐消失，则该静态目标也就会逐渐消失在二值化图像中。基于以上方法，静态目标像素点通过持续的第一、第二背景图像差分，投射到一张静态目标的二值化图像中。

形态学处理步骤，依次对所述二值化图像进行膨胀算法和腐蚀算法，依次对所述二值化图像进行腐蚀算法和膨胀算法。通过第一、第二背景差分与阴影抑制得到了静态目标像素的二值化图像，然而由于复杂场景下光照变化、目标遮挡以及静态目标本身的色彩亮度等问题，该二值化图像中存在细小的或散点形式的噪声，以及存在静态目标内部空洞问题。因此我们对静态目标像素二值化图像首先进行形态学处理开运算(先腐蚀后膨胀)，然后继续进行形态学处理闭运算(先膨胀后腐蚀)。其中开运算用来去除静态目标二值化图像中的细小或孤立噪声点，平滑静态目标轮廓；闭运算用来解决静态目标在二值化图像中狭小的间断问题和内部空洞问题。

腐蚀算法：用一个结构元素(一般是3×3的大小)，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0。

膨胀算法：用一个结构元素(一般是3×3的大小)，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素为0，否则为1。

遗留物检测步骤，对所述二值化图像生成步骤中生成的二值化图像进行轮廓提取以确定遗留物于所述场景图像中的遗留物区域。所述遗留物检测步骤中，对所述二值化图像进行轮廓提取后得到轮廓形状，所述轮廓形状的最小外接矩形为确定的所述遗留物区域。经过上述处理，我们得到了最终的静态目标像素的二值化图像。对于该二值化图像，我们使用计算机开源视觉库OpenCV中的cvFindContours函数来提取轮廓，提取到的轮廓就是完整的静态目标(多个轮廓代表多个静态目标)。对于每一个提取的轮廓，找到包含该轮廓的最小外接矩形，并根据该矩形的对应坐标位置在源视频帧中框定检测到的静态目标(遗留物)，若遗留物从场景中离开，便提取不到它的轮廓，继续检测该物体。就这样，基于我们设计的整体算法，实现了实时且精确的静态目标(遗留物)检测。基于本发明提出的全新双背景模型以及后期的细节图像处理构成的整体算法框架无论是理论上还是实际应用实现上都很鲁棒，能实时且精确地检测复杂场景中的遗留物以及道路场景中违章停车等静态目标出现的情况；

另，发明的算法既可以使用本地的监控视频作为视频数据来源，也可以将移动终端连接到单目实时监控摄像机以实时监控画面作为视频数据来源，运行场景灵活多变，便于实验与实施。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。