一种用于复杂环境遗留物的检测方法
【专利摘要】本发明公开了一种用于复杂环境遗留物的检测方法，包含以下步骤：将基于局部更新的混合高斯背景建模方法和改进的三帧差分法得到的前景目标进行比较，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割得到场景内的暂时静止物团块；对每一帧图像采用质心判距法，分别统计每一个团块的静止时间；对于达到时间阈值的静止团块，通过方向梯度直方图行人检测算法排除驻留行人的可能性后，将其标记为遗留物，并通过加速分割检测特征FAST特征点检测算法排除驻留行人的可能性。本发明的方法，能提高遗留物检测的准确度，降低计算复杂度，同时能较好地适用于人流密集、遮挡频繁的复杂环境中，增强抗干扰能力。
【专利说明】-种用于复杂环境遗留物的检测方法
【技术领域】
[0001] 本发明涉及视频图像处理领域，特别涉及一种用于复杂环境遗留物的检测方法。
【背景技术】
[0002] 在公共场所里，威胁公共安全的一大隐患是不明遗留物品的放置，诸如爆炸物、有 毒物质等危险品，尤其对于地铁站、机场、商场等人流密集的公共区域，会造成严重后果。遗 留物是指由运动主体携带进监控场景中，与运动主体分离，并在场景中保持静止超过一定 时间阈值的物体（见文献[1])。遗留物检测的主要任务，就是要对视频监控场景进行智能 分析，从存在着大量无关人和物的复杂环境中准确分割出目标对象，及时做出报警。
[0003] 针对遗留物检测的实现，目前已有人提出不同的方法。文献[2]提出一种基于双 背景的方法，将两个不同更新率的混合高斯背景模型进行比较，得到遗留物对象，但两个背 景同时建模的计算复杂度比较大，且若物体遗留时间过长，仍会融入背景中，造成漏检测。 文献[3]采用贝叶斯推理的方法来检测遗留行李，将物体的速度、方向、距离等跟踪轨迹信 息作为证据，通过贝叶斯推理的框架对事件进行分析和识别，处理流程相对复杂，实时性要 求不易满足。文献[4]使用一个实时更新的背景模型来检测运动目标区域，再通过匹配静 止前景区域的边缘来判定目标区域是遗留物还是遗失物区域，这种方法对于人流密集、遮 挡频繁的复杂场景的抗干扰能力不强。
[0004] 因此，人们需要一种新的遗留物检测方法来满足需求。
[0005] 参考文献：
[0006] [l]Muchtar K, Lin C Y, Kang L ff, et al. Abandoned object detection in complicated environments[C]//Proc of Signal and Information Processing Association Annual Summit and Conference, 2013:l_6〇
[0007] 穆达尔K，林C Y，康L W，等.复杂环境中的遗留物检测[C]//信号与信息处理协 会年度高峰会议录，2013:1-6。
[0008] [2]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//Proc of Advanced Video and Signal Based Surveillance, 2007:236-241〇
[0009] 普里克利F.不同帧率视频处理下的暂时静止区域检测[C]//基于视频与信号的 高级监控会议录，2007:236-241。
[0010] [3]Lv F, Song X, ffu B, et al. Left-luggage detection using bayesian inference[C]//Proc of the9th IEEE International Workshop on PETS, 2006:83-90〇
[0011] 吕F，宋X，吴B，等.使用贝叶斯推理的遗留行李检测[C]//第9届跟踪与监控性 能评价IEEE国际研讨会会议录，2006:83-90。
[0012] [4]Spagnolo P, Caroppo A, Leo M, et al. An abandoned/removed objects detection algorithm and its evaluation on PETS datasets[C]//Proc of Video and Signal Based Surveillance, 2006:17_17〇
[0013] 斯帕诺罗P，卡罗波A，利奥M，等.一种遗留/移走物体检测算法及其PETS数据集 评测[C]//基于视频与信号的监控会议录，2006:17-17。
【发明内容】
[0014] 本发明的目的在于克服现有技术的缺点与不足，提供一种用于复杂环境遗留物的 检测方法。
[0015] 本发明的目的通过以下的技术方案实现：
[0016] 一种用于复杂环境遗留物的检测方法，包含以下顺序的步骤：
[0017] S1.对于获取视频帧图像，分别用基于局部更新的混合高斯背景建模方法、改进的 三帧差分法进行处理，并将上述两种方法得到的前景目标进行比较：对于一个像素点，如果 在基于局部更新的混合高斯背景建模方法中被判断为前景，而在改进的三帧差分法中被判 断为背景，则将其归入对应暂时静止物的像素点集合中，由此初步得到暂时静止物的候选 前景区域；
[0018] S2.对于候选前景区域，结合基于YCbCr颜色空间的阴影消除方法、连通域分析， 分割得到场景内的暂时静止物团块；
[0019] S3.对每一帧图像采用质心判距法，分别统计每一个静止物团块的静止时间；
[0020] S4.对于静止时间达到阈值的静止物团块，通过方向梯度直方图行人检测算法排 除驻留行人的可能性后，将其标记为遗留物；
[0021] S5.在某个遗留物被检出的初始帧，采用加速分割检测特征FAST特征点检测算 法检测该遗留物区域的局部特征：若后续帧中遗留物受到行人遮挡干扰，导致前景中不含 有前面已检出的遗留物团块，则针对该区域再次检测局部特征，与首帧所检特征进行匹配， 若匹配成功，则继续保持遗留物报警状态；否则说明遗留物已发生移动或消失，取消报警状 态。
[0022] 步骤S1中，所述的基于局部更新的混合高斯背景建模方法，具体如下：
[0023] A、当场景中没有检测出遗留物时，按照一般的方法对混合高斯背景模型进行更 新；
[0024] B、当场景中检测出遗留物后，制作遗留物前景掩膜图像M，设当前帧图像为I，经 过前面各帧更新后的混合高斯背景图像为B，则根据下式构造用于当前帧背景模型更新的 图像U:
[0025]
【权利要求】
1. 一种用于复杂环境遗留物的检测方法，其特征在于，包含以下顺序的步骤：
51. 对于获取视频帧图像，分别用基于局部更新的混合高斯背景建模方法、改进的三帧 差分法进行处理，并将上述两种方法得到的前景目标进行比较：对于一个像素点，如果在基 于局部更新的混合高斯背景建模方法中被判断为前景，而在改进的三帧差分法中被判断为 背景，则将其归入对应暂时静止物的像素点集合中，由此初步得到暂时静止物的候选前景 区域；
52. 对于候选前景区域，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割 得到场景内的暂时静止物团块；
53. 对每一帧图像采用质心判距法，分别统计每一个静止物团块的静止时间；
54. 对于静止时间达到阈值的静止物团块，通过方向梯度直方图行人检测算法排除驻 留行人的可能性后，将其标记为遗留物；
55. 在某个遗留物被检出的初始帧，采用加速分割检测特征FAST特征点检测算法检测 该遗留物区域的局部特征：若后续帧中遗留物受到行人遮挡干扰，导致前景中不含有前面 已检出的遗留物团块，则针对该区域再次检测局部特征，与首帧所检特征进行匹配，若匹配 成功，则继续保持遗留物报警状态；否则说明遗留物已发生移动或消失，取消报警状态。
2. 根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：步骤S1中， 所述的基于局部更新的混合高斯背景建模方法，具体如下： A、 当场景中没有检测出遗留物时，按照一般的方法对混合高斯背景模型进行更新； B、 当场景中检测出遗留物后，制作遗留物前景掩膜图像M，设当前帧图像为I，经过前 面各帧更新后的混合高斯背景图像为B，则根据下式构造用于当前帧背景模型更新的图像 U ：
C、 将当前帧图像与更新后的混合高斯背景模型进行匹配，分割得到前景目标，包括运 动目标和暂时静止物。
3. 根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：步骤S1中， 所述的改进的三帧差分法具体如下： A、 首先对连续的三帧图像f\、f2和f3做差分运算，得到前两帧的帧差结果Diff12与后 两帧的帧差结果Diff 23 ; B、 然后对中间帧f2与相应背景图像fBe做差分得到DiffBe，将Diff Be分别和Diff12与 Diff23做"与"运算，得到结果和Af2，最后将和Af2做"或"运算，结合膨胀和腐 蚀形态学处理，进一步消除差值图像中的空洞，得到较完整的运动目标。
4. 根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：所述的步骤 S2,具体包含以下顺序的步骤： A、将候选前景区域的像素转换到YCbCr颜色空间中，然后将满足如下条件的像素判断 为阴影像素：
其中，YFe、CbFe、CrFe分别表示前景区域的各分量大小；Y Be、CbBe、CrBe分别表示背景区域 的各分量大小；Ta和τ&分别表不对应分量的差值阈值； Β、将属于阴影像素从前景区域中排除，得到暂时静止物对应的前景区域； C、 对暂时静止物对应的前景区域进行连通域分析处理，即对这些区域的边缘轮廓采用 多边形进行拟合，获得面积大于一定阈值的完整连通区域，并滤除面积较小的噪声区域； D、 对前景中的连通区域进行连续的查找处理，获得当前帧中数个完整的暂时静止物团 块。
5. 根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：所述的步骤 53, 具体包含以下步骤： Α、分别计算每个团块的质心点坐标和外接矩形框，并定义数组contour_center[n]和 b〇unding_b〇X[n]将相应数据保存起来，其中，η表示当前帧中团块的数量，即数组的长度； Β、在对下一巾贞图像进行相同的处理之后，得到另一组contour_center [η]和 bounding_box[n]数据，为了将每巾贞之间不同的暂时静止物对应起来，逐一采用质心判距 法，将上一帧的第j个团块，分别与当前帧的每个团块按照下式计算质心距离：
其中，X和y分别表示质心点的横坐标和纵坐标，表示当前巾贞中团块的数量； C、设定距离阈值Td，若4』彡Td，3/ e {0，1，…，-U，则认为当前帧的第i个团块 与上一帧的第j个团块对应，且依然保持静止，此时将该团块的持续静止帧数加1 ;若 di J>Td，V/e{0，Wcur-l}，贝IJ说明上一中贞的第j个团块已经发生了移动，从暂时静止物对应 的前景区域中消失，此时将该团块从暂时静止物中排除，并计算图像帧中每一个暂时静止 物所对应的持续静止时间，持续静止时间以巾贞数为单位。
6. 根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：所述的步骤 54, 具体包含以下步骤： A、 从特定的时刻开始对视频进行连续数帧的方向梯度直方图行人检测，使用图像 局部区域的方向梯度直方图作为行人检测的特征描述子，结合SVM分类器进行训练与识 别：设团块的静止时间为t，其被判断为遗留物的静止时间阈值为t a，比例系数为η，其中 0〈 η〈1 ;当t = ilta时开始进行行人检测，当t>ta时则停止检测；在这段时间里，如果至少 存在一帧图像将该团块所在区域检测为行人，则排除其为遗留物的可能； B、 将达到时间阈值的暂时静止物标记为遗留物，并将代表其性质的参数，包括质心点 坐标和外接矩形框，加入遗留物参数结构序列中；对于场景中检测出的不同遗留物，分别使 用这样一组参数结构记录其性质，用以区分不同的目标； C、 在一帧检测出遗留物后，将下一帧获得的所有暂时静止团块按照质心判距法分别与 之匹配，若某一暂时静止团块与该遗留物的质心距离小于阈值，则认为是同一物体，且依旧 保持遗留状态； 所述的步骤S5,具体包含以下步骤： A、 若某一暂时静止团块与该遗留物的质心距离均大于阈值，在某个遗留物被检出的初 始帧，对该遗留物的区域检测FAST特征点，并将得到的特征点集合\保存到代表该遗留物 性质的参数结构中； B、 在后续某一帧中，若所有暂时静止团块与该遗留物的质心距离都大于阈值，则对该 帧中对应原遗留物的区域再次检测FAST特征点，得到特征点集合Xi ; 将&中的特征点与X〇中的特征点按照下式计算匹配率k :
设定匹配率阈值λ，若k > λ，则说明遗留物被遮挡，但依然保持静止状态；设定帧数 阈值Τη，若连续Τη帧都满足k〈 λ，则说明原遗留物已经发生移动，将其从遗留物参数结构序 列中删除。
【文档编号】G06T7/00GK104156942SQ201410314759
【公开日】2014年11月19日 申请日期:2014年7月2日 优先权日:2014年7月2日
【发明者】李远清, 叶立仁, 何盛鸿, 赵连超 申请人:华南理工大学