一种降低误检率的排水管道缺陷检测方法、装置、设备及介质与流程

1.本发明涉及管道检测技术领域，特别涉及一种降低误检率的排水管道缺陷检测方法、装置、设备及介质。


背景技术：

2.随着深度学习技术的发展，将其应用于目标识别、病害检测等领域得到了广泛应用。目前，由于人工节省和识别精度提高的优势，基于深度学习和神经网络的排水管道缺陷检测在管道检测领域发挥的作用越来越重要。采用深度学习技术进行管道检测识别通常包括缺陷检测和缺陷分类两个关键阶段，其中，在使用cctv管道机器人装置相机采集含有管道的视觉信息时，因受拍摄距离、背景光线、管道环境等影响，图像易发生反光、失真、噪音等现象，可能导致缺陷误识别，即将非管道缺陷误检测为管道缺陷，从而影响了第二阶段进行缺陷类型识别的实时性和准确度。


技术实现要素：

3.本发明的目的在于提供一种降低误检率的排水管道缺陷检测方法、装置、设备及介质，以降低管道缺陷检测的误检率、提高缺陷分类的实时性和准确度。
4.本发明解决其技术问题提供的技术方案如下：
5.第一方面，本发明公开一种降低误检率的排水管道缺陷检测方法，s1，提取排水管道疑似缺陷图进行图像增强转换为第二hsi图像，提高机器视觉对图像的感知力；s 2，根据预先训练的改进3d
‑
cnn高光谱图像分类卷积神经网络对第二hsi图像进行缺陷检测，输出含有缺陷的第二hsi图像，提高检测的精度和速度。
6.第二方面，本发明公开了一种降低误检率的排水管道缺陷检测装置，包括：图像增强模块，用于提取排水管道疑似缺陷图进行图像增强转换为第二hsi图像；图像检测模块，用于根据预先训练的改进3d
‑
cnn高光谱图像分类卷积神经网络对第二hsi图像进行缺陷检测，输出含有缺陷的第二hsi图像。
7.第三方面，本发明公开了一种设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的缺陷检测方法。
8.第四方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的缺陷检测方法。
9.本发明的有益效果包括：
10.1.本发明提出了先对原始图像进行检测是否含有疑似缺陷，再将疑似缺陷图增强后进行缺陷分类识别的方法，能剔除误检测的疑似缺陷、减少对冗余信息的处理、并增强了图像的识别精度，进而减少了误检测、提高了神经网络的反馈速度、以及提高了缺陷检测和分类识别的精确度。
11.2.本发明提出了采用改进的高光谱图像分类神经网络结构进行hsi图像分类检
测，提高了分类结果的准确度。
附图说明
12.下面结合附图对本发明作进一步说明。
13.图1是本发明实施例提供的缺陷检测方法流程图。
14.图2是本发明实施例提供的rgb图像增强转换为his图像方法流程图。
15.图3是本发明实施例提供的缺陷检测方法流程图二。
16.图4是本发明实施例提供的缺陷检测装置结构图。
17.图5是本发明实施例提供的缺陷检测装置结构图二。
具体实施方式
18.下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明实施例提供了一种缺陷检测方案，可应用于管道缺陷检测，也可应用于其他缺陷检测。具体实现中，首先是提取待测管道或物体的原始图像进行疑似缺陷检测，将含有疑似缺陷的图像进行图像增转换为hsi图像，再使用高光谱图像分类神经网络再次对含有疑似缺陷的hsi图像进行检测，确定含有缺陷后再进行后续的缺陷分类识别，此种方案剔除可能误检测的冗余信息、对图像增强处理增强了机器视觉的感知力，是提高缺陷检测和分类识别速度和精度的有效方案。
20.请参考图1，本发明提供一种降低误检率的排水管道缺陷检测方法，包括步骤：
21.s1，提取排水管道疑似缺陷图进行图像增强转换为第二hsi图像。
22.进一步地，请参考图2，s1步骤具体包括：
23.s101，提取rgb格式的排水管道疑似缺陷图。
24.在一些实施例中，疑似缺陷图为将cctv管道机器人拍摄的管道图像输入预先训练的图像检测卷积神经网络检测含有疑似缺陷的图像。
25.具体地，预先训练的图像检测卷积神经网络用于检测含有疑似缺陷的原始图像，当前城市运行节奏快速，对于管道的检测与修复的要求也是速度快且质量高，因此在进行图像分类卷积神经网络选型时，最好选择轻量级的卷积神经网络，即在cpu上即可以运行的，优选是可以在移动终端如平板电脑、手机移动端、或cctv管道机器人上的嵌入式设备上运行可以实时反馈检测结果的。基于轻量级理念，以及样本训练的综合考虑，用于原始图像疑似含有缺陷的检测主干网络可以在yolo
‑
v4、mobilenetv2、shufflenetv2中进行测试、选择和优化。
26.进一步地，s102步骤，将rgb图像转换为第一hsi图像。
27.具体地，rgb(红绿蓝)是依据人眼识别的颜色定义出的空间，可表示大部分颜色，但rgb颜色空间的细节难以进行数字化的调整，它将色调，亮度，饱和度三个量放在一起表示，很难分开。hsi颜色空间是为了更好的数字化处理颜色而提出来的，h是色调，s是饱和度，i是强度。在图像处理和计算机视觉中大量算法都可在hsi色彩空间中方便地使用，它们
可以分开处理而且是相互独立的。因此，在hsi色彩空间可以大大简化图像分析和处理的工作量。
28.s103，分离第一hsi图像的h、s、i通道；
29.s104，对s通道进行自适应gamma饱和度校正。
30.具体地，饱和度是指色彩的鲜艳程度，也称色彩的纯度。高饱和度可以让图像色彩更鲜艳，饱和度低，图像会显得灰暗。提升饱和度有多种：如图像插值法，或者转换到hsi色彩空间然后增强s分量等等。伽马(gamma)变换是一种简单且对图像的适用性强的方法，通过使用两个变化参数来控制图像。由于伽马变换具有改善图像视觉效果、可对图像光照进行校正并且运算简单的优点，被广泛应用于低质图像的增强。然而大多数伽马变换参数都是全局且手动设置的，导致达到的增强效果不够理想。本实施例针对分类后的低对比度图像和中等对比度图像，将算法中的参数设置为自适应且考虑了原图像局部区域亮度信息，增加了算法灵活性，有效提高了增强效果。
31.在一些实施方式中，对s通道饱和度选用自适应gamma变换进行校正。对s通道进行自适应gamma饱和度校正的公式为：
[0032][0033]
其中f是处理后的s通道像素值，f是待处理图像的s通道像素值，f
max
为f中的最大值，γ为可变的指数值，用于自适应控制图像增强强度，σ是图像标准偏差，μ是图像均值。
[0034]
s105，对i通道进行小波变换调整亮度。
[0035]
具体地，由于小波变换是一种较为理想的时间－频率的分析方法，在时域和频域空间内都可以较好的表征图像局部特征，被誉为信号处理分析的“显微镜”，在图像去噪、图像融合、边缘检测及特征提取都具有较高的优势，将小波变换应用于图像处理中能取得较好的效果。小波分析是傅里叶变换的基础上的一次飞跃性发展，能够根据频率的高低自适应的调节窗口的大小，同时是一种较为理想的时间－频率的分析方法，具有十分优良的表征信号的局部特征，是一种十分有效的信号处理的工具，尤其对于图像处理。
[0036]
进一步地，i通道进行小波变换调整亮度的方法为：利用小波变换分离出i的低频和高频成分，选用retinex增强图像低频分量，高频部分利用多尺度高斯差分进行噪声处理，之后将高频与低频部分进行叠加。
[0037]
具体地，retinex理论的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即retinex是以色感一致性(颜色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。retinex算法的发展，从单尺度retinex算法，改进成多尺度加权平均的msr算法，再发展成彩色恢复多尺度msrcr算法。单尺度retinex算法将图像从rgb转化为hsi空间，在保持图像色度不变的情况下，对亮度分量进行双曲正切处理，实现图像全局对比度增强同时对图像的非线性部分进行增强，丰富了图像的细节信息，补偿由色彩彩饱和度分量线性拉伸造成的颜色丢失，复原后图像具有动态压缩性好、保真度高的特点。多尺度retinex算法，本质是对单尺度retinex算法结果进行加权平均，算法具体实现过程包括：
(1)输入低、中、高三个尺度系数，确定每个尺寸的环绕系数，求取每个尺寸对应的归一化系数，将离散条件下积分运算转化为离散运算，(2)将原始图像、环绕函数代入公式求出各颜色通道对数域反射图像；(3)通过指数变换将对数域反射图像转化为实数域的反射图像。优选地，在高频子带中引入一种多尺度细节增强方法，利用多尺度高斯模糊差分增强细节，去除晕轮、伪影等，在高频子图像增加细节，可以增大图像边缘的灰度差。
[0038]
s106，将h通道、饱和度校正后的s通道、亮度调整后的i通道合并为第二hsi图像。
[0039]
s2，根据预先训练的改进3d
‑
cnn高光谱图像分类卷积神经网络对第二hsi图像进行缺陷检测，输出含有缺陷的第二hsi图像。
[0040]
具体地，hsi高光谱遥感影像波段众多，包含丰富的辐射、空间和光谱信息，是多种信息的综合载体，应用广泛。但是传统的高光谱影像分类方法多着重于光谱维度的特征提取，却忽略了空间维度上的特征，进而影响了分类的准确性。三维卷积神经网络(three
‑
dimensional convolutional neural network，3d
‑
cnn)可以同时在3个维度上对数据进行卷积处理。本实施例采用改进3d
‑
cnn深度网络进行his高光谱图像缺陷分类。
[0041]
进一步地，对3d
‑
cnn网络的具体改进为：将原3d
‑
cnn网络的3
×3×
3卷积修改为5
×5×
5空洞卷积，增加卷积核的感受视野。
[0042]
具体地，若要通过3d
‑
cnn以较少的卷积层数量学习到光谱特征，则需要扩大卷积层的感受野。扩大感受野的方法是扩大卷积核或添加池化层，虽然较大的三维卷积核有利于神经网络获取更多的光谱上下文信息，但会增加网络的计算负荷，而使用池化层则会牺牲一部分特征。在此情况下，引入空洞卷积层替代传统池化层，可以在减少数据损失的同时扩大卷积层的感受野。空洞卷积在原始卷积核的基础上，通过在值与值之间插入权重为0的行与列来扩大卷积核的感受野。空洞卷积使用膨胀系数r来控制插入权重为0的行和列的数量，这样得到的卷积核的感受野的长、宽、高均为l+(l－1)(r－1)，l代表原卷积核的边长。当原始3d卷积核为3
×3×
3时，其单核感受野范围与卷积核尺寸一致，而转化为空洞3d卷积核则可以使单核感受野增至5
×5×
5。当多个卷积层组合时，空洞卷积核的优势就会更加明显，原始3
×3×
3的3d卷积核经过3层叠加，最终的感受野为7
×7×
7，r＝2的空洞卷积核则为13
×
13
×
13，从而使得在处理高光谱数据时，可以更频繁地感受到更多的光谱特征。本实施例优选将原3d
‑
cnn网络的3
×3×
3卷积修改为5
×5×
5空洞卷积或7
×7×
7空洞卷积。
[0043]
进一步地，请参考图3，在s2步骤之后还包括步骤s3：根据预先训练的缺陷分类卷积神经网络对含有缺陷的第二hsi图像进行缺陷分类，输出排水管道缺陷信息。
[0044]
请参考图4，本发明实施例还提供一种降低误检率的排水管道缺陷检测装置，包括：图像增强模块，用于提取排水管道疑似缺陷图进行图像增强转换为第二hsi图像；图像检测模块，用于根据预先训练的改进3d
‑
cnn高光谱图像分类卷积神经网络对第二hsi图像进行缺陷检测，输出含有缺陷的第二hsi图像。
[0045]
进一步地，请参考图5，缺陷检测装置还包括：缺陷分类模块，用于根据预先训练的缺陷分类卷积神经网络对含有缺陷的第二hsi图像进行缺陷分类检测，输出排水管道缺陷信息。
[0046]
具体地，使用hsi图像进行图像检测和分类识别，具有两项优势，一是具有更强的辩识度，二是分类结果更准确。为了在不降低识别速度和精度的同时，减少计算和减少对大数量样本的依赖，用于his高光谱图像分类的缺陷检测神经网络可选用基于densenet的轻
量级网络、基于光谱特征的1d
‑
cnn网络、基于空间特征的2d
‑
cnn网络、基于空谱特征的1d+2d
‑
cnn网络或3d－cnn网络，图卷积神经网络gcn、以及以上网络的混合模型或优化的网络。
[0047]
本发明实施例还提供一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前所述的缺陷检测方法。
[0048]
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述的缺陷检测方法。
[0049]
本领域普通技术人员可以理解上述实施例的各种方法中全部或部分步骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器、随机存储器、磁盘或光盘、或嵌入式设备等。
[0050]
以上对本发明实施例所提供的排水管道缺陷检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书不应理解为对本发明的限制。