一种基于背景建模和分类网络的高速路抛洒物检测方法与流程

1.本发明涉及一种视频图像处理技术领域，尤其涉及一种基于背景建模和分类网络的高速路抛洒物检测方法。


背景技术：

2.高速公路车流量大、行车速度高，一旦发生抛洒物事故则往往非常严重，这些体积小而坚硬的物体，对高速公路司乘人员的安全带来了极大的威胁，更有可能还会引起二次事故的发生，严重影响公路的整体通行能力和运营效率。利用视频技术对高速公路抛洒物进行实时、准确地检测，对高速公路交通安全有着非常重要的作用。
3.现有的抛洒物检测技术，简单来说就是利用信息化技术检测当前路段是否存在抛洒物事件，若存在则检测出抛洒物的位置信息，并提出预警信号。
4.目前抛洒物检测算法可以分为5类：比较算法、统计算法、基于时间序列与滤波的算法、基于交通流理论模型的算法和人工智能及其它先进算法。传统方法不依赖于数据，但鲁棒性较差，而且基于人工智能的新方法虽然性能优于传统方法需要大量的数据，因此如何结合传统方法和人工智能方法，以提高抛洒物检测的性能，又能降低训练数据量的需求是一个值得研究的方向。


技术实现要素：

5.本发明的目的在于提供一种基于背景建模和分类网络的高速路抛洒物检测方法，解决了现有技术中传统方法抛洒物检测技术的鲁棒性差；人工智能的方法训练数据需求量大且数据较为复制的问题。
6.本发明采用的技术方案如下：一种基于背景建模和分类网络的高速路抛洒物检测方法，包括以下步骤：s1：获取视频流数据进行道路区域提取，得到道路区域数据；s2：对道路区域数据进行目标检测得到目标对象集；s3：在目标对象集中收集包含抛洒物和非抛洒物的样本，创建包含抛洒物和非抛洒物的初始样本集，对包含抛洒物和非抛洒物的初始样本集进行清洗、标注和增强得到包含抛洒物和非抛洒物的完整样本集；s4：使用包含抛洒物和非抛洒物的完整样本集进行分类网络模型训练，并根据训练结果对训练过程进行模型训练优化，最终得到包含抛洒物模型和非抛洒物模型的目标检测结果分类器分类结果；s5：对目标检测结果分类器分类结果进行网络模型部署，并完成抛洒检测器端口的对接得到抛洒物检测结果。
7.进一步地，所述s1中道路区域提取为自动提取法或手动提取法。
8.进一步地，所述自动提取法，包括以下步骤：s11：直线检测，对视频流数据进行直线检测，检测出道路边缘、车道线得到含有直
线图像的数据；s12：区域分割，使用直线将含有直线图像的数据分割为若干个部分，根据位置信息和纹理信息确定道路区域，得到道路区域数据。
9.进一步地，所述手动提取法为架设摄像头，对摄像头中的视频流数据进行提前标定，标定出道路区域的边界，作为固定数据保存在相机标定数据中，得到道路区域数据。
10.进一步地，所述s2中目标检测，包括以下步骤：s21：对道路区域数据建立高斯混合模型，设置1表示初始前景数据，0表示背景的二值图；s22：将初始前景数据与道路区域数据合并，得到非道路区域目标的数据为0，得到只包含道路区域目标的更新前景数据为1；s23：对更新前景数据使用形态学开方法进行去噪处理，得到无噪声前景数据；s24：对无噪声前景数据中分裂的道路区域目标进行融合，填充分裂的道路区域目标的缝隙部分，恢复分裂的道路区域目标，得到融合后的前景数据；s25：对融合后的前景数据使用轮廓融合方法，合并重复部分超过10%的两个道路区域目标的轮廓，最后提取出前景数据中的所有道路区域目标，得到目标轮廓；s26：对目标轮廓剪裁，并设置图像大小为96*96，得到目标对象集。
11.进一步地，所述s23中去噪处理为对更新前景数据先进行腐蚀操作去掉细小噪声，再进行膨胀操作，填补去掉的道路区域目标部分，从而去除更新前景数据中的噪声信息，得到无噪声前景数据。
12.进一步地，所述s24中对无噪声前景数据中分裂的道路区域目标进行融合的方法为细胞自动机原理的目标融合方法，具体为：当目标点8邻域和≥4时，设定目标=1；当目标点8邻域和<4时，设定目标=0；根据目标融合方法对无噪声前景数据进行n次融合操作，连接分裂的道路区域目标。
13.进一步地，所述s3中，包括具体以下步骤：s31：在目标对象集中收集包含抛洒物和非抛洒物的样本，进行道路区域目标检测，输出抛洒物样本坐标信息和非抛洒物样本坐标信息，并根据抛洒物样本坐标信息和非抛洒物样本坐标信息剪裁出包含抛洒物和非抛洒物的目标数据并缩放到96*96大小，创建包含抛洒物和非抛洒物的初始样本集；s32：对包含抛洒物和非抛洒物的初始样本集进行数据清洗和标注，并按4:1的比例分为训练集和测试集两部分，最终合并训练集和测试集，得到包含抛洒物和非抛洒物的合并样本集；s33：对包含抛洒物和非抛洒物的合并样本集进行增强处理，得到包含抛洒物和非抛洒物的完整样本集。
14.进一步地，所述s4中分类网络模型训练的方法为使用随机梯度下降法通过vgg16主干网络的模型训练，所述s5中网络模型部署的工具为tensorrt工具。
15.进一步地，所述s4中模型训练优化为调整训练参数和补充训练样本，根据loss值的变化调整训练参数，调整学习率、迭代次数；当调整参数后训练结果没有变化时，则根据测试集结果分析样本集类别不均衡、缺少特征的情况，根据具体原因补充相应的样本集再进行finetuning。
16.本发明的有益效果是：1、本发明所述的高速路检测方法基于背景建模和分类网络的结合能适应动态场景的变化，实现动态建模，因此对路面抛洒物的检测效果影响较小，前景噪声的减小，适用性广，极大提高了检测精度，提高了鲁棒性。
17.2、本发明所述的高速路检测方法具有实时性高，对环境噪声使用能力强，准确度高。
附图说明
18.图1为本发明的整体流程图；图2为本发明实施例1视频流数据中的原始交通图；图3为本发明实施例1道路区域数据；图4为本发明实施例1目标对象集；图5为本发明实施例1包含抛洒物和非抛洒物的完整样本集；图6为本发明实施例1包含抛洒物模型和非抛洒物模型的目标检测结果分类器分类结果；图7为本发明实施例1最终抛洒物检测结果。
具体实施方式
19.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.见图1，一种基于背景建模和分类网络的高速路抛洒物检测方法，包括以下步骤：s1：获取视频流数据进行道路区域提取，得到道路区域数据，所述道路区域提取为自动提取法或手动提取法，若为自动提取法，包括以下步骤：s11：直线检测，对视频流数据进行直线检测，检测出道路边缘、车道线得到含有直线图像的数据；s12：区域分割，使用直线将含有直线图像的数据分割为若干个部分，根据位置信息和纹理信息确定道路区域，得到道路区域数据；若为手动提取法，则为架设摄像头，对摄像头中的视频流数据进行提前标定，标定出道路区域的边界，作为固定数据保存在相机标定数据中，得到道路区域数据。
21.s2：对道路区域数据进行目标检测得到目标对象集；s21：对道路区域数据建立高斯混合模型，设置1表示初始前景数据，0表示背景的二值图；s22：将初始前景数据与道路区域数据合并，得到非道路区域目标的数据为0，得到只包含道路区域目标的更新前景数据为1；s23：对更新前景数据使用形态学开方法进行去噪处理，得到无噪声前景数据；去噪处理为对更新前景数据先进行腐蚀操作去掉细小噪声，再进行膨胀操作，填补去掉的道路区域目标部分，从而去除更新前景数据中的噪声信息，得到无噪声前景数据。
22.s24：对无噪声前景数据中分裂的道路区域目标进行融合，填充分裂的道路区域目
标的缝隙部分，恢复分裂的道路区域目标，得到融合后的前景数据；对无噪声前景数据中分裂的道路区域目标进行融合的方法为细胞自动机原理的目标融合方法，具体为：当目标点8邻域和≥4时，设定目标=1；当目标点8邻域和<4时，设定目标=0；根据目标融合方法对无噪声前景数据进行n次融合操作，连接分裂的道路区域目标。
23.s25：对融合后的前景数据使用轮廓融合方法，合并重复部分超过10%的两个道路区域目标的轮廓，最后提取出前景数据中的所有道路区域目标，得到目标轮廓；s26：对目标轮廓剪裁，并设置图像大小为96*96，得到目标对象集。
24.s3：在目标对象集中收集包含抛洒物和非抛洒物的样本，创建包含抛洒物和非抛洒物的初始样本集，对包含抛洒物和非抛洒物的初始样本集进行清洗、标注和增强得到包含抛洒物和非抛洒物的完整样本集；s31：在目标对象集中收集包含抛洒物和非抛洒物的样本，进行道路区域目标检测，输出抛洒物样本坐标信息和非抛洒物样本坐标信息，并根据抛洒物样本坐标信息和非抛洒物样本坐标信息剪裁出包含抛洒物和非抛洒物的目标数据并缩放到96*96大小，创建包含抛洒物和非抛洒物的初始样本集；s32：对包含抛洒物和非抛洒物的初始样本集进行数据清洗和标注，并按4:1的比例分为训练集和测试集两部分，最终合并训练集和测试集，得到包含抛洒物和非抛洒物的合并样本集；s33：对包含抛洒物和非抛洒物的合并样本集进行增强处理，得到包含抛洒物和非抛洒物的完整样本集。
25.s4：使用包含抛洒物和非抛洒物的完整样本集进行分类网络模型训练，并根据训练结果对训练过程进行模型训练优化，最终得到包含抛洒物模型和非抛洒物模型的目标检测结果分类器分类结果，分类网络模型训练的方法为使用随机梯度下降法通过vgg16主干网络的模型训练，模型训练优化为调整训练参数和补充训练样本，根据loss值的变化调整训练参数，调整学习率、迭代次数；当调整参数后训练结果没有变化时，则根据测试集结果分析样本集类别不均衡、缺少特征的情况，根据具体原因补充相应的样本集再进行finetuning。
26.s5：对目标检测结果分类器分类结果进行网络模型部署，并完成抛洒检测器端口的对接得到抛洒物检测结果，网络模型部署的工具为tensorrt工具。
27.实施例1s1：获取视频流数据进行道路区域提取，得到道路区域数据，图2为视频流数据中的原始交通图，图3为道路区域提取后得到的道路区域数据；s2：对道路区域数据进行目标检测得到目标对象集，图4为得到的目标对象集；s3：在目标对象集中收集包含抛洒物和非抛洒物的样本，创建包含抛洒物和非抛洒物的初始样本集，对包含抛洒物和非抛洒物的初始样本集进行清洗、标注和增强得到包含抛洒物和非抛洒物的完整样本集，图5为包含抛洒物和非抛洒物的完整样本集；s4：使用包含抛洒物和非抛洒物的完整样本集进行分类网络模型训练，并根据训练结果对训练过程进行模型训练优化，最终得到包含抛洒物模型和非抛洒物模型的目标检测结果分类器分类结果，图6为得到的包含抛洒物模型和非抛洒物模型的目标检测结果分类器分类结果，即区分出抛洒物和非抛洒物结果；
s5：对目标检测结果分类器模型进行网络模型部署，并完成抛洒检测器端口的对接得到抛洒物检测结果，图7为最终抛洒物检测结果。
28.本发明能适应动态场景的变化，实现动态建模，提高检测精度，对对环境噪声使用能力强，准确度高。
29.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。