一种基于yolov3的路面撒漏病害自动检测方法与流程

本发明涉及图像处理技术领域，具体涉及一种基于yolov3的路面撒漏病害自动检测方法。

背景技术：

路容路貌建设正在我国大地如火如荼的开展，通过道路撒漏病害智能化检测促进道路清洁质量监督，对推进智慧养护、保洁智能化具有重要意义。当前，我国生活垃圾的处理市场能达到1100亿/年，道路清扫每年市场就能够达到550亿左右。路面撒漏病害的智能识别，可以辅助道路管理部门合理规划设计道路清洁管理模式，提升环卫清洁作业质量，有效降低道路清洁管理成本。

目前，基于计算机视觉的垃圾智能识别算法主要有两类：第一种是文献《改进caffenet模型在水面垃圾识别中的应用》中为提高水面垃圾识别的准确率，提出的一种改进caffenet的卷积神经网络模型。模型改进了卷积核的大小、卷积核的数量以及增加了一层稀疏结构，进而增强了网络模型特征提取的能力，降低了网络复杂度。该方法能减少水面波纹、物体倒影和桥梁等对水面垃圾识别的影响，具有较好的水面垃圾识别效果。但该方法鲁棒性欠佳，难以直接应用到路面等更加复杂的环境中；第二种文献《基于ssd算法的垃圾识别分类研究》中提出的基于ssd的垃圾识别检测算法，利用数据增强，提高模型的鲁棒性，可以达到对不同种类的垃圾进行快速和准确的识别，该方法的实时性较好，但对小目标的识别能力不足。

可以看到，针对小目标的检测，目前国内外常用的方法是，使用多尺度图像金字塔或将小目标上采样成大目标再进行检测。但这两种处理方法将严重影响算法的时间效率，从而使模型难以在算力较低的边缘计算设备上部署运行。

另一个问题是，待识别的目标通常须具有较统一且不变的视觉特征。路面上的环境复杂，而路面撒漏病害是一个较模糊的且难以尽举的定义。它们往往具有类间差距小(如木屑和树叶的视觉特征接近)和类内差异大(不同大小和不同颜色的塑料袋差异大)的视觉特征。因此，现有的目标检测算法及其部署使用方式，将会带来漏检和误检的问题。

因此，本领域的技术人员致力于开发一种基于yolov3的路面撒漏病害自动检测方法，克服现有技术的泛化能力不足的问题，针对不同的路面场景和新出现的路面撒漏病害能自适应地调整并完成训练，逐步提高撒漏病害识别的精确度。

技术实现要素：

为了克服现有技术中的不足，本发明提出一种基于yolov3的路面撒漏病害自动检测方法，其能够解决路面撒漏病害较多且多为小目标时，无法同时兼顾识别准确率和时间效率的问题，以及算法面对新的道路环境和未在训练数据中出现的撒漏病害时的误检和漏检的问题。

为了实现上述目的，本发明的一种基于yolov3的路面撒漏病害自动检测方法，方法包括以下步骤：

s1、收集路面撒漏病害图像，组成源样本集，并对源样本集进行预处理得到训练样本集；

s2、利用训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器；

s3、在目标路段部署初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果；

s4、对检测结果进行聚类和人工干预再标注得到目标样本集，利用目标样本集对初始路面撒漏病害检测器进行在线微调，提高在目标路段的准确率，得到目标路面撒漏病害检测器。

优选的，s1还包括：

统计源样本集中各种撒漏病害出现的频次并排序，选取出现频次最高的前n个类别作为要检测的n种撒漏病害；

对训练样本集中每一个样本进行标注，获得训练样本集对应的样本标签。

优选的，预处理包括：

将图像进行水平翻转，得到待进一步处理图像；

将待进一步处理图像随机地进行平移变换、旋转变换和颜色变换，得到待归一化处理图像；

将待归一化处理图像进行归一化处理。

优选的，s2还包括：

s201、采用随机梯度下降算法训练yolov3目标检测网络，设定最大迭代次数，每次迭代采用最小批的方式(mini-batch)计算网络误差，用网络误差更新yolov3目标检测网络中的参数；

s202、当达到预设的最大迭代次数时或在验证集上错误率不再下降时终止训练，获得初始路面撒漏病害检测器。

优选的，网络误差是yolov3目标检测网络输出的分类标签与样本标签的误差。

优选的，s3包括：

s301、重新收集路面撒漏病害图像，作为原始检测图像；

s302、对原始检测图像进行预处理后得到检测图像，组成检测样本集；

s303、利用初始撒漏病害检测器中的骨干网络提取检测图像的特征，并抽取网络的各级特征组成特征金字塔；

s304、特征分类；

s305、在检测图像中画出撒漏病害检测结果，并将结果输出，完成当前画面的撒漏病害检测；

s306、保存原始检测图像和检测结果。

优选的，特征分类是利用初始撒漏病害检测器中的分类网络对特征进行特征分类，设定阈值，如果输出值大于阈值，则判定该图像包含待检测的撒漏病害，否则判定为背景。

优选的，检测结果是初始路面撒漏病害检测器所输出的目标的坐标和置信度。

优选的，s4包括：

s401、设置置信度阈值，遍历置信度，置信度大于置信度阈值的样本直接加入训练样本集中，置信度小于置信度阈值的样本，则加入后处理样本集；

s402、对后处理样本集中的目标进行再标注，并加入到训练样本集中，得到目标样本集；

s403、使用目标样本集对初始路面撒漏病害检测器重复s201和s202进行微调,在完成了预设的迭代次数后，得到目标路面撒漏病害检测器。

优选的，收集路面撒漏病害图像是从各路段的清扫车所拍摄的视频中截取n张包含路面撒漏病害样本的图像，图像模式为rgb。

本发明具有以下有益效果：

1、利用yolov3算法对路面撒漏病害识别的准确率和效率都比较高，利用特定的低功耗边缘gpu计算设备可实现对垃圾清扫车拍摄视频或图像的实时目标检测和识别。算法所提供的识别结果，可为后期的路面智能评价和打分奠定良好的基础。

2、本发明采用的迭代训练方法具有良好的泛化能力，能提高对未见路面场景和未见路面撒漏病害的识别精度。

附图说明

下面结合附图对本发明作进一步描写和阐述。

图1是本发明提出的一种基于yolov3的路面撒漏病害自动检测方法流程图。

具体实施方式

下面将结合附图、通过对本发明的优选实施方式的描述，更加清楚、完整地阐述本发明的技术方案。

实施例

如图1所示，本发明提出的一种基于yolov3的路面撒漏病害自动检测方法，方法包括如下步骤：

s1、收集路面撒漏病害图像，组成源样本集，并对源样本集进行预处理得到训练样本集；

在本步骤中，路面撒漏病害图像为rgb模式。

在本步骤中，预处理包括对源样本集的图像进行水平翻转；图像随机地进行平移变换、旋转变换和颜色变换；图像归一化处理。

在本步骤中，还包括统计源样本集中各种撒漏病害出现的频次并排序，选取出现频次最高的前n个类别作为要检测的n种撒漏病害；对所述训练样本集中每一个样本进行标注，获得所述训练样本集对应的样本标签。

在本实施例中，沿路面行驶的垃圾清扫车通过安装在车身上的摄像头拍摄视频，从视频中收集1000张包含路面撒漏病害样本的原始图像作为源样本集，原始图像像素大小为4096*2160，截取覆盖道路路面主体的区域的小块图像，并统一缩放至800*800，得到原始数据图。

对各个类别进行统计，选取影响路貌、出现频次高的七个类别，作为要识别的路面撒漏病害的类别，分别是：饮料瓶、塑料袋、盒子、纸片、木屑、树叶、碎石。

为增加检测器的鲁棒性，对缩放后的图像进行随机的水平翻转、平移变换(变换范围负5像素到正5像素之间且包含负5像素和正5像素)和旋转变换(变换范围负30度到正30度之间且包含负30度和正30度)。之后图像的像素值除以255，像素的取值范围归一化在0到1之间且包含0和1，得到训练样本集。同时，对出现在训练样本集中的样本进行标注得到样本标签。

s2、利用训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器。

在本步骤中，还包括如下子步骤，

s201,采用随机梯度下降算法训练yolov3目标检测网络，设定最大迭代次数，每次迭代采用最小批的方式(mini-batch)计算网络误差，用网络误差更新所述yolov3目标检测网络中的参数。其中，网络误差是所述yolov3目标检测网络输出的分类标签与所述样本标签的误差。

s202,当达到预设的最大迭代次数时或在验证集上错误率不再下降时终止训练，获得所述初始路面撒漏病害检测器。

在本实施例中，最大迭代次数设为1500次，学习速率设为0.003，每次迭代输入100个样本。

s3、在目标路段部署初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果。

在本步骤中，还包括如下子步骤，

s301、重新收集路面撒漏病害图像，作为原始检测图像；

s302、对原始检测图像进行预处理后得到检测图像，组成检测样本集；

s303、利用初始撒漏病害检测器中的骨干网络提取检测图像的特征，并抽取网络的各级特征组成特征金字塔；

s304、特征分类，特征分类是利用初始撒漏病害检测器中的分类网络对特征进行特征分类，设定阈值，如果输出值大于阈值，则判定该图像包含待检测的撒漏病害，否则判定为背景；

s305、在检测图像中画出撒漏病害检测结果，检测结果是初始路面撒漏病害检测器所输出的目标的坐标和置信度，并将结果输出，完成当前画面的撒漏病害检测；

s306、保存原始检测图像和检测结果。

s4、对检测结果进行聚类和人工干预再标注得到目标样本集，利用目标样本集对初始路面撒漏病害检测器进行在线微调，提高在目标路段的准确率，得到目标路面撒漏病害检测器。

在本步骤中，还包括如下子步骤，

s401、设置置信度阈值，遍历置信度，置信度大于置信度阈值的样本直接加入训练样本集中，置信度小于置信度阈值的样本，则加入后处理样本集；

s402、对后处理样本集中的目标进行再标注，并加入到训练样本集中，得到目标样本集；

s403、使用目标样本集对初始路面撒漏病害检测器重复s201和s202进行微调,在完成了预设的迭代次数后，得到目标路面撒漏病害检测器。

上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。