一种地下电缆管道场景异物识别和分类方法与流程

本发明属于计算机视觉，特别涉及一种地下电缆管道场景异物识别和分类方法。

背景技术：

1、近年来，随着科学技术的快速发展，智能化时代的兴起，城市居民的用电量逐渐攀升，导致城市电缆管道的覆盖面积不断扩大。为了用电安全，保证城市供电的可靠性，电缆管道的清理巡检工作显得尤为重要，电缆管道机器人应运而生。电缆管道机器人可以利用所带的相机来对电缆管道进行图像或视频的采集，根据拍摄图像的特征确定异常位置并判断异常种类来生成检测报告，根据异常检测报告做出相应的管道维护措施。

2、对于电缆管道中存在的异常情况，通常是由堆积在或渗透进管道的各种杂物引起的，具体主要包括尖锥，石子，垃圾，淤泥，渗水以及套管这六类情况，为了不影响城市用电的正常运行，准确识别出电缆管道中的异常是十分重要的。目前，地下电缆管道巡检更多的是通过管道机器人对管道场景进行图像和视频的拍摄然后通过人工来进行异常的评判，过于依赖检测人员的经验，极大的消耗了人力物力。传统的机器学习方法能够节省一定的资源，但是大多数通过提取图像底层特征并结合svm(支持向量机)等分类方法来进行管道异物识别和分类，这种方法提取出的特征不够精细，识别准确率较低且通常比较消耗时间。因此，如何提高管道检测和分类的准确性和智能化成为亟待解决的技术问题。

技术实现思路

1、本发明目的在于提高管道检测和分类的准确性和智能化，解决在图像可视性较差的情况下，精确、快速、稳定地检测识别并分类管道中存在的缺陷的技术问题。

2、为解决上述技术问题，本发明提出了一种基于联合注意力的地下电缆管道场景异物识别和分类方法，完成地下电缆管道检测任务。

3、一种基于联合注意力的地下电缆管道场景异物识别和分类方法，包括以下步骤：

4、1)预先构建一个地下电缆管道场景异常识别和分类训练模型，所述模型使用卷积长短期记忆(convlstm)和通道分组策略组成的全局长短期记忆(gls)模块来提取远程空间特征和相邻通道特征，使用空间和通道联合注意力机制(jam)来对特征进行重新加权和建模，通过特征融合来提供连续且精细的像素级特征，获得管道场景异物识别和分类网络参数；

5、2)将管道场景测试图像数据加载进管道场景异物识别和分类网络，获得特征像素点的分类值和分类区域，输出包含异物类型及异物所在区域的具有检测结果的图像，测试该模型对管道场景各异物类别预测精度以及全类别平均预测精度。

6、具体地，在步骤1)中包括：

7、11)获取管道场景异物图像数据集，每张管道场景图像均有其对应的异物边界区域及对应类别共1000张图像，训练集，验证集和测试集分别分配700，200，100张图像；

8、12)对训练图像进行gamma矫正和平滑滤波去噪处理；

9、13)选取unet目标分割网络作为主干网络，输入图像通过3×3卷积操作进行尺寸调整作为jam模块的输入；

10、14)针对输入特征图通过convlstm模块提取局部空间信息，生成一个新的特征图；

11、15)针对生成的新的特征图的通道平均分配给n个组，n代表时间步长，第一层用于提取远程特征之间的依赖关系，第二层用于增强相邻通道的相关性；对每个分组输出的特征图进行合并连接生成一个新的特征图；

12、16)分别提取通道注意力和空间注意力的特征表示，将输出具有通道注意力特征图和空间注意力特征图串联运算进行特征融合生成具有空间相关性和通道依赖性的特征图；

13、17)重复步骤13)到16)三次获得详细特征表示的特征图进入解码操作；

14、18)解码模块包括三层上采样层和五层1×1卷积层：三层上采样获得的特征图分别与同级编码器进行跳跃连接，跳跃连接采用1×1的卷积层，使得来自编码器的空间特征和同级解码器中的语义特征进行融合；

15、19)构建损失函数，实现训练过程的收敛，得到最终异物识别和分类训练模型。

16、具体地，在步骤16)中，所述通道注意力和空间注意力模块包括以下步骤：

17、所述通道注意力机制，分别使用两个1×1卷积层来获得全空间特征向量半通道特征向量，通过整形函数分别得到1×h×w和c/2×hw(h，w，c分别表示输入的高度，宽度和通道数量))的特征向量，将全空间特征向量经过softmax函数做注意力重映射到半通道特征向量，其通道维数保持在c/2；经过conv1×1通道调整和sigmoid函数激活后获得每个通道的权重因子，然后与输入特征图进行乘积运算得到通道注意力的特征向量，具体表示为：

18、

19、

20、

21、

22、其中，分别表示全空间特征向量，半通道特征向量以及重映射后的特征向量；h，w，c分别表示输入特征的高度，宽度和通道数量；表示1×1的卷积函数；fr表示整形函数；表示矩阵乘法运算；xt表示输入特征；xca表示通道注意力特征；

23、与通道注意力机制类似，提取得到全空间特征向量和半通道特征向量后，全空间特征向量通过全局平均池化层(gap)得到c/2×1×1的特征向量，通过整形函数使其变为c/2×1的特征表示，经过softmax函数映射操作及sigmoid函数激活操作获得每个空间特征的权重因子，表示为1×h×w的特征图，最后与输入特征图进行乘积运算得到空间注意力的特征向量：

24、

25、

26、

27、

28、其中，fgap表示全局平均池化函数；xsa表示空间注意力特征。

29、具体地，步骤16)中，提出一个特征融合模块进行有效的特征融合，首先通过连接和卷积操作获得新的特征图，然后将全局平均池化层用于新的特征图以获得全局通道空间特征，分别执行两条支路，一条支路通过上采样将全局通道空间特征恢复到输入特征图的分辨率；另一条支路则通过连续的卷积和激活操作获得新的全局通道空间特征与输入特征图相乘；种特征融合可以有效的获取通道和空间细节信息，提取连续且精细的像素级特征。

30、具体地，步骤19)中，使用一个主损失函数和两个辅助损失函数来完成训练收敛任务；所述主损失函数用于监督整个预测分类网络的输出，两个所述辅助损失函数用于监督上下文信息和语义边缘的损失，这三个损失函数均使用softmax损失，具体为：

31、

32、其中，p表示网络的输出预测，i,j表示输出节点的编号，n表示分类类别个数。

33、所述语义边缘损失在语义边缘路径中使用多类损失函数，因为边缘像素在所有像素中的比例很小，为了避免类型不平衡的问题，在损失中增加了权重，具体表示为：

34、

35、其中，i表示输入的边缘图像，w表示真实边缘图像，k表示语义边缘类别样本数量，表示第k个样本标签，yk(p|i；w)表示预测成功的概率；θ表示非语义边缘像素点占总像素的比例。

36、使用参数α，β来调整辅助损失在总损失中的比例，具体表示为：

37、

38、其中，x表示输入的预分类图像，w表示真实分类图像，e表示边缘图像，lp表示整个网络的主损失，li表示上下文信息的损失，ledge表示语义边缘损失；通过联合损失函数来对整个网络进行深度监控。

39、与现有技术相比，本发明的有益效果是：通过大量地下电缆管道场景图像数据对所提出的模型进行训练，可以有效针对单幅地下电缆管道中多种类型异常区域进行识别并分类，解决了在图像可视性较差的情况下，精确、快速、稳定地识别并分割出管道中存在的缺陷，提高了管道巡检任务中目标检测和分类的精度，替代了人工对地下管道图像对异常的评判，实现全自动异物识别和分类，使得管道巡检更加智能化。