一种基于改进YOLOX的地下排水管道缺陷检测识别方法

一种基于改进yolox的地下排水管道缺陷检测识别方法
技术领域
1.本发明涉及一种基于改进yolox的地下排水管道缺陷检测识别方法，实现了地下排水管道缺陷检测识别自动化，属于工程应用方面。


背景技术：

2.目前地下排水管道检测应用最广的方法是闭路电视(cctv)视觉检测技术，专业人员通过cctv收集的视频和图像对管道缺陷进行判读和评级。但人工判读容易受到人眼主观性影响，并且需要大量人力和成本。建立智能化的管道缺陷检测和分类系统，已成为城市排水设施建设和管理的迫切需求。
3.在以往的地下排水管道缺陷检查中，主要还是通过人工目视检查，然而这种方法需要耗费大量时间与人力，并且由于人眼主观性的影响，结果往往带有一定的主观性。随着机器学习在各领域的发展，一些研究者采用传统的机器学习方法，比如基于形态、几何和纹理特征来诊断缺陷，但机器学习的方法需要人手工设计特征提取器，工作量偏大，并且在面对大型数据集时计算量庞大。目前，深度学习广泛应用于各种图像领域，基于深度学习的方法利用卷积神经网络来自动提取有效特征，克服了手工特征泛化能力差以及鲁棒性差等问题。
4.目前图像目标检测的方法主要分为单阶段算法和两阶段算法，两阶段算法首先找出图像中感兴趣区域即目标物体出现的位置，得到预选框，然后进行特征提取最后进行分类，但两阶段算法速度慢，对一些要求速度的检测任务并不能满足要求，而一阶段算法直接在网络中提取特征来预测物体分类和位置，速度得到了极大的提升，由于地下排水管道缺陷检测识别需要一定实时性，因此一阶段算法适合地下排水管道缺陷检测识别任务。一阶段算法以yolo系列为主，其中主要包括：yolov3，yolov5，yolox等，目前yolox检测算法在各方面性能最佳，因此有必要设计一种基于yolox的地下排水管道缺陷检测识别方法，节省人力资源及时间成本，并且及时发现地下排水管道缺陷。
5.yolox检测算法将解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展与yolo进行了巧妙的组合，但yolox算法的特征融合层存在特征图直接融合导致特征混叠问题，因此有必要改进yolox结构来对地下排水管道缺陷进行检测识别。


技术实现要素：

6.本发明提出一种基于改进yolox的地下排水管道缺陷检测识别方法进行对管道缺陷的分类，智能化地下管道缺陷检测识别。
7.yolox由四部分组成：输入层、主干特征提取层、特征融合层、预测层。其中主干特征提取层是由focus模块以及叠加一定数量的csp模块，并且使用silu激活函数，最后经过spp模块得到主干网络特征提取结果。特征融合层采用特征金字塔网络fpn结构，fpn结构自顶向下传达强语义特征，并将不同尺度的特征图进行融合。预测层采用三种不同大小比例尺特征图对目标进行检测。由于fpn网络在进行对特征图进行融合时只是简单的进行直接
合并，为了防止不同层的特征图直接融合导致特征混叠问题，设计了一种基于权重的特征融合模块，利用权重系数来融合不同层的特征，该特征融合方式用公式可表示为其中w(f2，f1)是一种权重函数，对两个特征进行融合并获得权重系数，其主要步骤是先将输入的两个特征图f2和f1进行融合，将融合后的特征经过置换注意力机制模块，以获取更多所需要关注目标的细节信息，抑制其他无用信息。然后将其分别输入到最大池化层和平均池化层并将通道减少到1，最后将这两个特征进行相加并使用sigmoid函数得到权重函数。
8.同时由于信息丢失主要发生在顶层特征，而fpn网络中顶层特征仅包含单尺度特征且不与其它特征图进行融合，因此利用基于改进的空洞空间金字塔模块进行解决，利用aspp的思想同时引入压缩激励模块，对顶层特征进行多尺度特征捕获，然后经过通道注意力机制获取更丰富的细化特征图最后合并。
9.基于改进yolox的地下排水管道缺陷检测识别具体流程如下：
10.(1)首先将获取的地下排水管道视频图像，进行按照一定间隔的帧数进行视频帧提取。
11.(2)对提取的视频帧进行一定规则的筛选。筛选规则为：对于多幅相似度极高的图像，我们将采用图像质量评价算法对视频帧进行图像质量的评估，筛选出质量良好的地下排水管道图像作为地下排水管道缺陷图像数据集。
12.(3)对地下排水管道缺陷图像数据集进行缺陷分类，一共分为沉积、渗漏、树根入侵、裂缝和错口5种缺陷。
13.(4)针对裂缝和错口两种缺陷类型图像过少的问题，采用gan网络进行图像生成，将两种原始图像输入到gan网络的生成器g中学习真实图像的分布特点，判别器d将生成的图像与真实图像进行对比，以生成与原始图像相似度极高的图像。
14.(5)将通过gan网络生成的图像进行筛选，丢弃效果极差的图像，对剩下的图像用图像质量评价算法进行进一步筛选，最后将得到的图像加入到地下排水管道缺陷图像数据集中。
15.(6)将地下排水管道缺陷图像数据集进行数据集扩充操作，采用平移、改变亮度、加噪声、旋转以及镜像这5种数据增强方式对缺陷图片进行增强。
16.(7)将经过处理的地下排水管道缺陷图像数据集进行按8∶1∶1比例划分为训练集，验证集和测试集。
17.(8)将地下排水管道缺陷图像数据集输入到改进的yolox算法中进行缺陷检测识别。
18.(9)对训练得到的网络进行测试，统计测试结果，分析算法的精确率，召回率，平均精度以及平均精度均值。
附图说明
19.图1本发明基于改进yolox的地下排水管道缺陷检测识别流程图。
20.图2本发明设计的一种基于权重的特征融合模块结构图。
21.图3本发明设计的改进的空洞空间金字塔模块结构图。
22.图4本发明实施例gan网络生成的地下管道缺陷图。
23.图5本发明实施例地下排水管道缺陷图。
24.图6本发明实施例地下排水管道缺陷检测识别图。
具体实施方式
25.实施例：
26.以某市地下排水管道为例：
27.(1)先从视频中获得排水管道缺陷图像，经过图像质量评价操作，得到初始地下排水管道缺陷图像。
28.(2)将(1)所得到的裂缝和错口图像输入到gan网络中，进行图像生成，生成的部分图像如图4所示，再将所有图像经过数据增强操作，得到最终的地下排水管道缺陷数据集，地下管道缺陷部分图像如图5所示。
29.(3)将地下排水管道缺陷数据集输入到改进的yolox算法中，经过主干特征提取层、特征融合层、预测层，输出检测识别结果。检测结果如图6所示。
30.(4)对检测识别结果进行统计，分析检测识别正确率。


技术特征：
1.一种基于改进yolox的地下排水管道缺陷检测识别方法，其特征在于，具体流程如下：(1)首先将获取的地下排水管道视频图像，进行按照一定间隔的帧数进行视频帧提取；(2)对提取的视频帧进行一定规则的筛选，筛选规则为：对于多幅相似度极高的图像，我们将采用图像质量评价算法对视频帧进行图像质量的评估，筛选出质量良好的地下排水管道图像作为地下排水管道缺陷图像数据集；(3)对地下排水管道缺陷图像数据集进行缺陷分类，一共分为沉积、渗漏、树根入侵、裂缝和错口5种缺陷；(4)针对裂缝和错口两种缺陷类型图像过少的问题，采用gan网络进行图像生成，将两种原始图像输入到gan网络的生成器g中学习真实图像的分布特点，判别器d将生成的图像与真实图像进行对比，以生成与原始图像相似度极高的图像；(5)将通过gan网络生成的图像进行筛选，丢弃效果极差的图像，对剩下的图像用图像质量评价算法进行进一步筛选，最后将得到的图像加入到地下排水管道缺陷图像数据集中；(6)将地下排水管道缺陷图像数据集进行数据集扩充操作，采用平移、改变亮度、加噪声、旋转以及镜像这5种数据增强方式对缺陷图片进行增强；(7)将经过处理的地下排水管道缺陷图像数据集进行按8：1：1比例划分为训练集,验证集和测试集；(8)将地下排水管道缺陷图像数据集输入到改进的yolox算法中进行缺陷检测识别；(9)对训练得到的网络进行测试，统计测试结果，分析算法的精确率，召回率，平均精度以及平均精度均值。

技术总结
本发明涉及基于改进YOLOX的地下排水管道缺陷检测识别方法，为了实现地下排水管道缺陷检测识别自动化，提出了一种基于改进YOLOX的方法来对地下排水管道缺陷进行检测识别。首先将获取的地下排水管道视频进行帧提取，对提取的视频帧进行图像质量筛选以及缺陷分类，并将裂缝和错口两种缺陷类型图像采用GAN网络进行图像生成，挑选图像质量高的生成图像加入到地下排水管道缺陷图像数据集中，将得到的地下排水管道缺陷图像数据集进行数据集增强操作。最后将地下排水管道缺陷数据集输入到改进的YOLOX算法中，对地下排水管道缺陷进行检测识别。实验结果表明，相比较于人工判别以及传统的机器学习方法，此方法能更好的对地下排水管道缺陷进行检测识别。道缺陷进行检测识别。道缺陷进行检测识别。


技术研发人员：陆绮荣 丁昕
受保护的技术使用者：桂林理工大学
技术研发日：2022.08.22
技术公布日：2022/11/18