基于机器视觉和反向投影算法的打谷晒场检测方法与流程

本发明属于机器视觉技术领域，具体为一种基于机器视觉和反向投影算法的打谷晒场检测方法。

背景技术：

打谷晒场事件是指在公路及公路用地范围内出现晒粮、堆粮等的违法侵占行为。在道路上随意占道进行打谷晒场，不仅影响了过往车辆正常通行，还给道路交通带来了极大的安全隐患，甚至可能引发交通事故。目前，针对占用公路“打谷晒场”的巡查主要依赖公路站的执法人员进行人工巡查，耗费人力物力且效率低。

随着智慧城市的快速发展，安防行业市场持续增长，安防行业将向规模化、自动化、智能化转型升级；同时由于人工智能、云计算、物联网等新一代信息技术的迅速发展，将机器视觉技术融入视频监控系统是未来发展的必然趋势。但是，对于监控视角下复杂道路场景图像来说，其具有背景复杂、目标尺度较小、纹理特征退化等特点，不加改进的照搬现有方法对该类图像进行打谷晒场的目标检测，检测的准确度和可靠性不高。

技术实现要素：

本发明提出了一种基于机器视觉和反向投影算法的打谷晒场检测方法。

实现本发明的技术解决方案为：一种基于机器视觉和反向投影算法的打谷晒场检测方法，具体步骤为：

步骤1、对获取的帧图像进行背景建模，分离运动物体和背景，获得背景图像；

步骤2、利用pspnet语义分割模型对背景图像进行分割，提取图像中的道路区域；

步骤3、利用反向投影算法，对道路进行反向投影，提取颜色与谷物相近的可疑区域；

步骤4、采用支持向量机对打谷晒场可疑区域进行分类，得到符合打谷晒场特性的候选区域；

步骤5、判断所有候选区域中是否存在被步骤2中的语义分割模型划分为打谷晒场的子区域，如果存在，则判断这一区域为打谷晒场区域。

优选地，对交通监控视频流的帧图像进行背景建模，分离运动物体和背景，获得背景图像的具体方法为：

步骤1.1、对第一帧图像中的每个像素点建立高斯混合模型，每个高斯混合模型采用k个高斯分布组成，且各高斯分布按ωi,t/σi,t由大到小排列，σi,t表示t时刻第i个高斯分布的均方差，wi,t是t时刻第i个高斯分布的权重；

如果存在高斯分布满足xt-μi,t-1|≤2.5σi,t-1，则将该高斯分布按如下公式更新参数，其中，μi,t-1为上一帧图像高斯模型在该像素点对应高斯分布的均值：

ωi,t＝(1-α)ωi,t-1+α

μi,t＝(1-ρ)μi,t-1+ρxt

其中，ωi,t表示t时刻该点的权重，α表示学习速率，取α＝0.005；μi,t表示t时刻该点的均值，ρ＝α·η(xt,μi,t,σi,t)，表示参数更新速率；表示t时刻该点的方差；

不满足条件的高斯分布只更新权重：ωi,t＝(1-a)ωi,t-1；

若该像素的高斯分布都不满足xt-μi,t-1|≤2.5σi,t-1，则引入一个新的高斯分布取代排在最后的高斯分布，新高斯分布的均值、标准差及权重分别为xt、σinit和ωinit，

对各高斯分布的权重进行归一化处理，确定各高斯分布的权重；

计算当前图像中该像素点各个高斯分布的优先级λi,t＝ωi,t/σi,t，并按从大到小的顺序排序，选择前b个高斯分布作为背景模型中各像素点的高斯分布。

步骤1.3、检验t时刻每一个像素点的像素值xt与其得到的前b个高斯分布的概率密度函数η匹配关系，如果xt＝η，则将该像素点设为背景点，否则将该像素点设为前景，得到前景掩膜；

对所获得的前景掩膜进行腐蚀膨胀操作后取反获得背景掩膜，对背景掩膜和原图像进行按位与操作，获得当前背景图像。

优选地，像素点在时刻t的像素值为xt的概率为：

其中，wi,t是t时刻第i个高斯分布的权重，μi,t是t时刻第i个高斯分布的均值，σi,t是t时刻第i个高斯分布的协方差矩阵，η(xt,μi,t,σi,t)表示高斯概率密度函数，。

优选地，高斯概率密度函数具体为：

其中，n为xt的维数。

优选地，所述pspnet语义分割模型包括pspnet语义分割模型包括依次连接的基础层、金字塔池化模块以及卷积层；所述金字塔池化模块包括pool层、四个扩张率不同的空洞卷积；所述基础层为经过空洞卷积策略预训练过的resnet网络。

优选地，利用pspnet语义分割模型对背景图像进行分割，提取图像中的道路区域的具体方法为：

将步骤1获取的背景图像作为语义分割模型的输入，基础层采用经过空洞卷积策略预训练过的resnet网络提取特征；

将提取的特征作为金字塔池化模块的输入，金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图；

将四张特征图进行上采样使其尺度均与resnet网络的输出特征图相同；

将resnet的输出特征图与上采样后的四张特征图进行concat连接作为金字塔池化模块的输出；

将金字塔池化模块的输出连接n个卷积层提取特征并输出语义分割特征图，根据获取的语义分割特征图提取出道路区域。

本发明与现有技术相比，其显著优点为：

1、本发明基于特征的检测手段和反向投影算法进行打谷晒场的检测，降低了人工成本，提高了巡查效率，具有一定的创新性；

2、本发明利用背景差分法和反向投影算法对复杂道路场景进行初始背景图片的提取，结合谷物的颜色特征实现对打谷晒场的检测，一定程度减少了复杂背景对检测任务的干扰，提高了算法的鲁棒性。

附图说明

图1为本发明的流程图。

图2为本发明的混合高斯模型背景建模流程图。

图3为本发明的语义分割模型网络结构图。

图4为本发明的检测效果图。

具体实施方式

如图1所示，一种基于机器视觉和反向投影算法的打谷晒场检测方法，具体步骤为：

步骤1、如图2所示，采用gmm对交通监控视频流的帧图像进行背景建模，分离运动物体和背景，获得背景图像；

进一步的实施例中，对图像进行背景建模的方法可以但不限于使用差分背景建模、gmm、sacon、vibe等各类背景建模方法，在本实施例中采用gmm背景建模获得背景图像，具体为：

步骤1.1、读入第一帧图像，对图像中的每个像素点建立高斯混合模型。采用k(k＝3)个高斯分布组成的混合高斯模型表示同一个像素点在时间域上的概率分布，该像素点在时刻t的像素值为xt的概率为：

其中，wi,t是t时刻第i个高斯分布的权重，μi,t是t时刻第i个高斯分布的均值，σi,t是t时刻第i个高斯分布的协方差矩阵，η(xt,μi,t,σi,t)表示高斯概率密度函数：其中，n为xt的维数，每个像素的k个高斯分布总是按ωi,t/σi,t由大到小排列，σi,t表示t时刻第i个高斯分布的均方差，。

步骤1.2、当有新的图像帧到来时，将图像的每个像素点的像素值，与上一帧图像中该像素点对应的k个高斯分布进行比较，如果存在高斯分布满足xt-μi,t-1|≤2.5σi,t-1，则将该高斯分布按如下公式更新参数，其中，μi,t-1为上一帧图像高斯模型在该像素点对应高斯分布的均值：

ωi,t＝(1-α)ωi,t-1+α

μi,t＝(1-ρ)μi,t-1+ρxt

其中，ωi,t表示t时刻该点的权重，α表示学习速率，取α＝0.005；μi,t表示t时刻该点的均值，ρ＝α·η(xt,μi,t,σi,t)，表示参数更新速率；表示t时刻该点的方差；

不满足条件的高斯分布的均值、方差都不变，只需要修改权重：ωi,t＝(1-α)ωi,t-1；

若该像素的高斯分布都不满足该条件，则引入一个新的高斯分布取代排在最后的高斯分布，新高斯分布的均值、标准差及权重分别为xt、和ωinit(ωinit＝1/k)。

完成上述更新后对各高斯分布的权重进行归一化处理，确定各高斯分布的权重；

计算当前图像中该像素点各个高斯分布的优先级λi,t＝ωi,t/σi,t，并按从大到小的顺序排序，选择前b个高斯分布作为背景模型中各像素点的高斯分布，参数t表示背景所占比例(t＝0.7)。

步骤1.3、检验t时刻每一个像素点的像素值xt与其得到的前b个高斯分布的概率密度函数η匹配关系，如果xt＝η，则将该像素点设为背景点，否则将该像素点设为前景，即运动物体，从而得到前景掩膜；

对所获得的前景掩膜进行腐蚀膨胀操作后取反获得背景掩膜，然后对背景掩膜和原图像进行按位与操作，获得当前背景图像。

步骤2：利用pspnet语义分割模型对背景图像进行分割，提取图像中的道路区域。

如图3所示，所述pspnet语义分割模型包括依次连接的基础层、金字塔池化模块以及卷积层。

所述金字塔池化模块包括pool层、四个扩张率不同的空洞卷积。

所述基础层为经过空洞卷积策略预训练过的resnet网络。

进一步的实施例中，将步骤1获取的背景图像作为语义分割模型的输入，基础层采用经过空洞卷积策略预训练过的resnet网络提取特征；将提取的特征作为金字塔池化模块的输入，金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度(特征尺寸分别为1*1、2*2、3*3和6*6)下的特征图，将这四张特征图进行上采样使其尺度均与resnet网络的输出特征图相同，随后将resnet的输出特征图与上采样后的四张特征图进行concat连接作为金字塔池化模块的输出；最后，将金字塔池化模块的输出连接n个卷积层进一步提取特征并输出语义分割特征图，根据获取的语义分割特征图提取出道路区域。

步骤3、利用反向投影算法，对道路进行反向投影，提取颜色与谷物相近的可疑区域，具体方法为：分别计算特征图像(打谷晒场)以及步骤2中提取的道路区域的直方图，检测道路区域直方图的每个像素点的色调值是否位于特征图像直方图中的bin位置，若存在则记录特征图像直方图中的bin位置的色调值，从而获取打谷晒场的可疑区域。

步骤4、采用支持向量机对打谷晒场可疑区域进行分类，得到符合打谷晒场特性的候选区域，具体为：

将所有交通监控图像中的打谷晒场截取出来，统一缩放成48×48像素大小的图片作为正样本集p，将交通监控图像中不包含打谷晒场的区域分割成若干个48×48像素大小的图片作为负样本集n，提取所有正负样本的lbp纹理特征，使用这些lbp纹理特征进行支持向量机的训练，其中，支持向量机的核函数选用线性核函数，惩罚因子c设定为1.319。

将可疑区域输入训练好的支持向量机进行分类，得到符合打谷晒场特性的候选区域

步骤5、判断所有候选区域中是否存在被步骤2中的语义分割特征图划分为打谷晒场的子区域，如果存在，则判断这一区域为打谷晒场区域。

如图4所示，该结果是在天气情况较好，视线视距良好的情况下得到的，由于打谷晒场这一事件发生的时间及天气情况均比较特定、谷物颜色较显眼，因此检测精度较高，检测准确率能达到92％。