一种基于监控视频的高空抛物识别方法与流程

1.本发明属于图像识别技术领域，具体涉及一种基于监控视频的高空抛物识别方法。


背景技术：

2.现代城市大厦等高层建筑林立，个别人漠视安全随手抛物，给人民群众的生命安全带来极大的威胁。
3.目前最广泛的高空抛物搜证方式是安装视频监控系统，然而这些监控系统大多只能在案发之后提供视频证据，缺少现场警示功能；现有技术中的部分监控系统引入学习算法，可进行抛物识别，例如中国专利202011230338.8公开了一种基于深度学习的高空抛物检测方法，包括：将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置，所述深度神经网络模型包括主干网络和预测网络，根据高空抛物体位置轨迹，判断是否存在高空抛物行为；上述现有技术采用高效的主干网络，运行速度更快，可以准确定位高空抛物体的位置；然而其计算量巨大，需要配备服务器作计算支持，导致成本高昂而不利于推广。
4.现有技术中还提出了图像检测方法以进行高空抛物识别，例如中国专利202010274236.x公开了一种基于图像检测的高空抛物识别方法，包括以下步骤：s1，设置监控区域，提取视频帧信息；s2，提取基于mog2的运动物体候选框；s3，匹配前后帧运动物体候选框，判断是否为同一物体，若是，则进入s4；s4，分析物体的运动轨迹，判断是否为抛物。
5.目前的高空抛物识别方法均基于目标检测和跟踪的方法，需要建立目标模型。由于下坠物体类型多样，目标模型缺少足够的样本支持，难以准确进行下坠物体检测；另一方面，下坠物体尺寸小下坠速度快，并且会发生旋转、形变和尺度变化，容易造成跟踪失败而无法进行高空抛物判断。
6.基于此，本申请提出一种新的基于监控视频的高空抛物识别方法。


技术实现要素：

7.针对现有技术的缺陷，本发明提供了一种基于监控视频的高空抛物识别方法，其不需要建立目标模型，不采用传统的跟踪方法，具有计算量小、识别速度快的优点。
8.为了实现上述目的，本发明提供了一种基于监控视频的高空抛物识别方法，寻找视频中的高空抛物现象并给出发生高空抛物的时间段，其特征是包括以下步骤：
9.步骤1：提取监控视频中各帧的原始图像；
10.步骤2：通过各帧的原始图像计算各帧的前背景分割图；
11.步骤3：给定一个时间段δt，如果在该时间段内所有帧的前背景分割图中相同位置的像素都是背景像素，则该位置的像素为背景像素，否则为前景像素，如此处理所有位置的像素得该时间段的累加图；
12.步骤4：以角度ω为间隔，在给定角度范围内连续旋转该时间段的累加图，得到多
张该时间段的旋转图；
13.步骤5：如果某张该时间段的旋转图中某列的前景像素数量超过给定阈值，则判断该时间段内有高空抛物；
14.步骤6：修改给定的时间段δt，重复步骤3至步骤5。
15.进一步的，步骤2计算某帧的前背景分割图的方法为：
16.步骤2
‑
1：取某帧的原始图像并将其划分为若干子图其中e和g分别是子图的行序号和列序号；
17.步骤2
‑
2：在给定平移距离范围内将分别向各方向平移一定距离，然后与该帧的相邻帧的原始图像在该位置上的子图进行模板匹配运算，取所得匹配值最高的该帧的相邻帧的原始图像的子图为b
e,g
；
18.步骤2
‑
3：分别将与b
e,g
的各个相同位置的像素相减，根据所得差值按给定阈值进行前景背景二值化分类，得该帧的分类子图把所有按e行序号和g列序号合并，得该帧的分类图；
19.步骤2
‑
4：如果某像素在该帧的分类图中是前景像素，并且下一帧的分类图中该像素的下方的给定区域内有前景像素，则该像素为前景像素，否则为背景像素，如此处理各像素得该帧的前背景分割图。
20.本发明具备以下有益效果：
21.本发明是利用下坠物体向下运动且近似直线运动的运动特性进行识别判断的，能够快速判断所可能出现的抛物现象，具有计算量小、识别速度快的优点，尤其是在抛物现象刚出现即可得出判断结果，为附近人群的躲避争取到一定的时间，本发明能同时给出高空抛物的发生时间段，为搜证提供有力辅助。
22.下面结合附图对本发明作进一步的详细说明。
附图说明
23.图1是本发明实施例1中第280、305、330、355帧的原始图像；
24.图2是本发明实施例1中第280、305、330、355帧的分类图；
25.图3是本发明实施例1中第280、305、330、355帧的前背景分割图；
26.图4是本发明实施例1中第1至60帧时间段和第296至355帧时间段的累加图；
27.图5是本发明实施例1中第296至355帧时间段的各张旋转图的列前景像素数量；
28.图6是本发明实施例1的流程示意图。
具体实施方式
29.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
30.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公
开的具体实施例的限制。
31.实施例1
32.一种基于监控视频的高空抛物识别方法，如图6所示，包括以下步骤：
33.s1：提取监控视频中各帧的原始图像，如图1所示，其中圆框内为下坠物体，方框内为走动的人物。
34.s2：设是第k帧的原始图像，其中是f
k
的第i行第j列像素，设帧的原始图像有i行j列，1≤i≤i，1≤j≤j。
[0035]35.的第行第列像素，列像素，和是的行数和列数，则子图与原始图像f
k
各像素的对应关系为：
[0036][0037]
在本实施例中，各帧的原始图像有i＝1900行j＝1050列，各帧的原始图像划分为e
×
g＝76
×
42个子图，各子图有和列。
[0038]
s3：给定平移距离范围为s＝2，将子图在上下方向平移s1个像素，左右方向平移距离s2个像素，
‑
s≤s1,s2≤s，然后与第k帧的相邻帧k
‑
1帧的原始图像f
k
‑1的该位置上的子图进行模板匹配运算，取所得匹配值最高的s1为s2为
[0039][0040]
所得匹配值最高的f
k
‑1的子图为：
[0041][0042]
s4：分别将与的各个相同位置的像素相减并根据所得差值按给定阈值50进行前景背景二值化分类(1表示前景像素，0表示背景像素)，得第k帧的分类子图：
[0043][0044]
若
[0045]
则
[0046]
否则把所有按e行序号和g列序号合并，得第k帧的分类图
[0047]
如图2所示，经过划分子图并进行给定平移距离范围内的模板匹配，对于运动速度较慢的非下坠物体被大部分消除了，而运动速度较快的下坠物体则由于离开了给定平移距离范围而没有被消除。
[0048]
s5：如果在第k帧的分类图d
k
中像素是前景像素，并且第k+1帧的分类图d
k+1
中(i,j)的下方的给定区域(第i+1到i+m
i
行，第j
‑
nl
j
到j+nr
j
列)内有前景像素，则该像素为前景像素，否则为背景像素：
[0049]
若则否则如此处理各像素得第k帧的前背景分割图
[0050]
对于下坠物体，若其出现在第k帧的位置(i,j)处，则其也会出现在第k+1帧(i,j)的下方的给定区域内，据此可清除掉干扰，因此前背景分割图的干扰比分类图少，如图3所示。
[0051]
根据下坠物体的运动规律，下坠物体在垂直方向作加速运动，受风阻影响，其加速度小于重力加速度，因此有：
[0052]
m
i
＝(t
·
ga)/(fr
·
mpr)，
[0053]
其中ga是重力加速度(取9.8米每平方秒)，fr是视频帧率(本实施例为30帧每秒)，mpr是米像素比(单位：米每像素，即视频中1像素对应的长度，由于视频是向上拍摄的，米像素比从上往下减少，本实施例近似线性化为：mpr＝
‑
0.000036i+0.06)，在本实施例中的下坠物体即使从建筑物顶层开始落下也仅需2秒时间即到达视频最下方，因此t取最大值2秒。
[0054]
根据下坠物体的运动规律，下坠物体在水平方向作匀速运动，因此有：
[0055]
nl
j
＝nr
j
＝v/(fr
·
mpr)，
[0056]
若下坠物体是非人为造成的，则其水平方向初速度应为零，否则其水平方向初速度与抛物者有关。一般而言，此速度不大于30米每秒，因此v取最大值30米每秒。
[0057]
s6：给定一个时间段即第t
·
fr+1到帧，如果在该时间段内所有帧的前背景分割图中相同位置的像素都是背景像素，则该位置的像素为背景像素，否则为前景像素：
[0058]
若则否则如此处理所有位置的像素得该时间段的累加图
[0059]
下坠物体在视频内会持续出现一段时间，在本实施例中的下坠物体即使从建筑物顶层开始落下也仅需2秒时间即到达视频最下方，为了让下坠物体出现的整个过程均包含
入给定的时间段内，取最大值2秒，同时本实施例的视频帧率为30帧每秒，因此给定的时间段内有60帧。如图4所示，第1至60帧时间段内没有下坠物体，而第296至355帧时间段内有下坠物体，该下坠物体的运动轨迹被完全记录在累加图中。
[0060]
s7：以角度ω＝5
°
为间隔，在给定角度范围[
‑
35,35]度内逆时针方向连续旋转该时间段的累加图，得到多张该时间段的旋转图。
[0061]
s8：如果某张该时间段的旋转图的某列的前景像素数量超过给定阈值15000，则判断该时间段内有高空抛物。
[0062]
下坠物体存在运动轨迹近似垂直且近似直线的运动规律，因此在一个较为窄小的给定角度范围(例如[
‑
35,35]度)内旋转并统计列的前景像素数量，可以确定是否存在下坠物体的运动轨迹，从而得出该时间段内是否有高空抛物的判断结果。如图4、5所示，将第296至355帧时间段的累加图逆时针方向旋转
‑
15度的时候，下坠物体的运动轨迹是垂直的，相应的旋转
‑
15度的旋转图的其中一列的前景像素数量接近30000，比其他的要明显大得多，可判断第296至355帧时间段内有高空抛物。
[0063]
s9：修改给定的时间段，重复s6至s8，以检测其它时间段内是否有高空抛物。
[0064]
虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。