一种基于机器视觉的绝缘服缺陷检测方法与流程

本发明涉及图像识别的，更具体地，涉及一种基于机器视觉的绝缘服缺陷检测方法。

背景技术：

1、近几年随着机器视觉的发展，使用机器视觉进行物体缺陷的识别已经成为了一种发展的趋势。目前基于机器视觉的表面缺陷装备已经在各个工业领域运用于替代肉眼进行缺陷识别。在缺陷检测检查过程中，绝缘服和绝缘毯表面的缺陷仍然使用人工方法进行缺陷检测，这严重依赖人力，并消耗大量财力。由于一个人自身的精力有限，而人类的检测工作又微不足道，长时间连续工作的工人可能会因为疲劳而降低生产效率，这将导致绝缘服和绝缘毯的检测问题和人为错误带来的严重经济损失。

2、现有技术公开了一种基于图像识别的绝缘毯微缺陷识别系统，图像处理单元首先对相机采集的图像进行滤波处理，进行滤波处理的方法包括高斯滤波、中值滤波、均值滤波和双边滤波，然后将图像二值化，采用niblack算法、sauvola算法、singh算法或者bersen算法进行图像二值化，最后通过blob分析标记图像中灰度突变的连通区域，并提取这些区域的特征，使取样的绝缘毯中存在的缺陷的位置及其像素大小被标示出来；所述图像输出单元将标记有缺陷位置和像素大小的绝缘毯图像输出显示。该方案基于机器视觉技术，以机器眼代替人眼，实现绝缘毯缺陷自动检测，解决目前人眼和两电极法无法检测到的缺陷。

3、然而现有技术中对相机采集的图像直接进行滤波处理，可能会使得采集到的图片的清晰度降低或者图片中存在阴影，而阴影的存在会使得图片的缺陷辨识存在干扰，存在对绝缘服的缺陷检测存在局限性的技术问题。

技术实现思路

1、本发明的目的在于克服现有技术中对绝缘服的缺陷检测存在局限性的不足，提供一种基于机器视觉的绝缘服缺陷检测方法。

2、为解决上述技术问题，本发明采用的技术方案是：

3、一种基于机器视觉的绝缘服缺陷检测方法，包括以下步骤：

4、s1.利用工业摄像机对绝缘服表面进行拍照得到绝缘服图像；

5、s2.利用ap-bsn的方法对步骤s1得到的所述绝缘服图像进行图像清晰化处理；

6、s3.对经过步骤s2中图像清晰化处理后的所述绝缘服图像进行灰度变换处理；

7、s4.利用高斯滤波的方法对经过步骤s3中灰度变换处理的所述绝缘服图像进行平滑去噪处理；

8、s5.利用局部自适应阈值分割的方法将步骤s4得到的所述绝缘服图像进行分割成若干个特定的、具有相似性质的区域，并在若干所述区域中提取出感兴趣目标图像；

9、s6.利用图像分解模块处理经过步骤s5得到的所述感兴趣目标图像，将所述感兴趣目标图像分解为若干正方形图片，提取得到所述感兴趣目标图像中缺陷的纹理特征；

10、s7.利用注意力机制的方法对步骤s6得到的若干所述正方形图片中的缺陷进行定位。

11、本发明的一种基于机器视觉的绝缘服缺陷检测方法，步骤s2中的ap-bsn是非对称pd和盲点网络，pd是指选用特定的步长对图像进行卷积运算，以达到对图片进行下采样的目的，bsn是在不看到感受野中的中心像素来预测相应的输出像素的一个网络，ap-bsn在pd-bsn的基础上进行了改进，在去噪声的推理中使用了与pd-bsn不相同的不对称步幅因子，对于不清晰的地方可以有效还原；步骤s3对绝缘服图像进行灰度变换，是将绝缘服图像的灰度值映射到另一灰度值上，让拍摄到的绝缘服图像变成黑白色，从而让图片变得更加小，降低了后面的图片处理过程的数据量；经过灰度变换后的绝缘服图像由于缺陷附近的灰度值与缺陷附近灰度值差异很小，并不能直接用于缺陷识别，因此采用步骤s4中高斯滤波平滑去噪的方法处理绝缘服图像来减少绝缘服图像中存在的噪声，使得缺陷附近的灰度值与没有缺陷的灰度显示出更大的差异，有利于后面对绝缘器具进行缺陷定位；步骤s5利用局部自适应阈值分割的方法通过准确识别和定位缺陷提取到感兴趣目标图像，锁定缺陷所在位置；步骤s6的图像分解模块能将感兴趣目标图像分解为若干正方形图片，提取出若干正方形图片中缺陷的纹理特征，从而在缺陷识别中将正方形图片的缺陷识别出来；最后步骤s6使用注意力机制的方法对若干所述正方形图片中的缺陷进行定位，使正方形图片的缺陷更明显；本发明对绝缘服图像依次进行图像清晰化处理、灰度变换处理、平滑去噪处理后利用局部自适应阈值分割提取出感兴趣目标图像，接着利用图像分解模块从感兴趣目标图像中提取得到缺陷的纹理特征，最后利用注意力机制定位缺陷位置，实现缺陷位置的精确识别和定位，消除了阴影对图片的缺陷辨识的干扰，提高了缺陷的识别精度和准确度，有效解决了现有技术中对绝缘服的缺陷检测存在局限性的技术问题。

12、进一步地，步骤s2的具体步骤包括：

13、s21.将所述绝缘服图像送入卷积神经网络中，选定卷积运算的步长和卷积核大小对所述绝缘服图像进行卷积运算，在所述绝缘服图像的每一个像素位置均得到64个特征图，将每一个像素位置的64个特征图分别在该位置组成8x8的正方形；

14、s22.将经过步骤s21处理后的所述绝缘服图像送到盲点网络中步长为5进行训练，对图片中的不清晰部分采用步长为2的下采样方法进行推理。

15、先将原绝缘服图像送入64通道的卷积神经网络中，在绝缘服图像的每一个像素位置均得到64个特征图，将每一个像素位置的64个特征图分别在该位置组成8x8的正方形，这样原绝缘服图像的每个像素就对应特征图的64个像素，通过提升分辨率实现清晰化处理；接着是将这些特征快送到盲点网络中进行步长为5的训练，保证相距5个像素的噪声像素无关，最后采用了步长为2的下采样方法对图片中的不清晰部分进行推理得到清晰的绝缘服图像。

16、进一步地，步骤s3的具体步骤包括：

17、s31.利用公式：均值＝(像素的和)/像素的总数、方差＝(像素值-均值)2/像素总数，分别计算所述绝缘服图像原始的均值和方差；

18、s32.利用公式：计算新的灰度值；其中，newgray表示新的灰度值，gray表示原始的灰度值，mean表示原始的均值，oldstd表示原始的方差，newstd表示新的方差，newmean表示新的均值。

19、利用均值方差法计算原绝缘服图像的均值和方差从而得到原始的灰度值，再使用映射方式将绝缘服图像的原始灰度值射到另外一个灰度上从而得到新的灰度值，实现对绝缘服图像的灰度变换处理。

20、进一步地，步骤s4的具体步骤包括：

21、s41.将经过步骤s3处理后的所述绝缘服图像送入卷积神经网络中，定义高斯卷积核大小为5x5、步长为1、标准差为0；

22、s42.将高斯卷积核放在所述绝缘服图像的每个像素上进行卷积计算；

23、s43.计算每一个高斯卷积核中所有数值的和，再将步骤s42卷积计算的结果中每个像素除以高斯卷积核中所有数值的和得到卷积结果f；

24、s44.利用公式：判断卷积结果是否对整个图像进行卷积，其中n表示输入图片的大小，f为卷积核的大小，s为卷积步长；若等式成立则卷积结束，等式不成立则回到步骤s41。

25、高斯卷积核设置为5x5的大小具有节省存储空间的效果，步长设置为1可以提高卷积结果的精度，标准差设置为0是为了保持图像的水平和垂直方向的平滑性，避免引入不必要的模糊效果，并提高算法的效率。

26、进一步地，步骤s5的具体步骤包括：

27、s51.利用公式：对经过步骤s4得到的所述绝缘服图像x行y列的图像像素矩阵进行积分，得到平滑处理后的绝缘服图像；

28、s52.利用opencv函数画出经过步骤s51得到的所述绝缘服图像的平滑梯度图以及在进行步骤s51平滑处理之前的绝缘服图像的梯度图，比较两图是否一致，如果一致则平滑处理为完成，则返回s51；

29、s53.选定3x3大小的laplacian算子，对经过步骤s51平滑处理后得到的所述绝缘服图像进行卷积计算得到卷积结果，在得到的结果上每个像素点的结果都减去3，再使用15x15大小的模板选定该模板的范围内是否有大于所设置的阈值的值，有则将该值保留下来，其他值则置为0，得到该图像的局部最大阈值；

30、s54.选取在laplacian算子处理之前的图像矩阵中与步骤s53保留下来的值相应位置的灰度值替换laplacian算子，得到的图像矩阵中相应的灰度值作为图像缺陷的灰度值；

31、s55.筛选出步骤s54得到的图像矩阵中的最大值和不为0的最小值；

32、s56.在选定最大阈值的时候得到候选区域，将得到的候选区域进行标记，如果该候选区域小于设置的阈值则不为缺陷，而如果处在步骤s54中选定的最大值与最小值之间或者大于选定阈值的则为缺陷。

33、步骤s51对所述绝缘服图像x行y列的图像像素矩阵进行积分，即任意一个位置的积分等于该位置左上角所有值的和；经过积分的图像像素矩阵输入opencv函数得到平滑梯度图，经过与平滑处理之前的绝缘服图像的梯度图比较一致后的平滑梯度图即为所需的平滑梯度图；利用laplacian算子对绝缘服图像依次进行卷积计算得到局部最大阈值、灰度值替换和标记缺陷区域的操作实现准确识别和定位缺陷提取到感兴趣目标图像，锁定缺陷所在位置。

34、进一步地，步骤s6的具体步骤为：将所述感兴趣目标图像设为512*512像素，使用128*128像素大小的窗口滑动，每次的滑动步长为64个像素，行列分别都以这个步幅滑动得到若干张正方形图片。利用128*128像素大小对512*512像素的感兴趣目标图像进行分割，每次的滑动步长为64个像素，使每次分割出的图片均为正方形。

35、进一步地，步骤s6中将所述感兴趣目标图像进行卷积运算分解为49张正方形图片。

36、进一步地，步骤s7中的具体步骤包括：

37、s71.将经过步骤s6处理后的49张所述正方形图片输入注意力模块中，定义卷积核的大小为3x3，对49张所述正方形图片进行卷积运算；

38、s72.通过对步骤s71得到的卷积运算结果和原始输入数据进行归一化处理使其满足公式：其中，y是归一化后的数据，x是原始输入数据，μ是批次的均值，σ是批次的标准差，∈是一个常数；

39、s73.将经过步骤s72处理的所述绝缘服图像输入relu函数，relu函数如下：f(x)＝max(0,x)，得到49*k张特征图。

40、进一步地，还包括步骤：

41、s8.对经过步骤s7的注意力块处理后所述绝缘服图像进行取最大值运算得到注意力图，识别注意力图中是否含有缺陷。

42、进一步地，步骤s8的具体步骤包括：

43、s81.将步骤s73得到的49*k张所述特征图输入函数m′(x,t)取最大值操作得到注意力图，m′(x,y)的公式为：m′(x,y)＝max{m1(x,y),m2(x,y),…,md(x,y)}，其中x，y分别代表mi张特征图的宽度范围和高度范围；

44、s82.利用全连接层的分类函数softmax函数识别所述注意力图是否含有缺陷，如果有则会输出存在缺陷，否则会输出不含有缺陷，其中softmax函数的公式为其中zi为第i个节点的输出，c为分类的类别个数。

45、与现有技术相比，本发明的有益效果是：

46、本发明的一种基于机器视觉的绝缘服缺陷检测方法，对绝缘服图像依次进行图像清晰化处理、灰度变换处理、平滑去噪处理后利用局部自适应阈值分割提取出感兴趣目标图像，接着利用图像分解模块从感兴趣目标图像中提取得到缺陷的纹理特征，最后利用注意力机制定位缺陷位置，实现缺陷位置的精确识别和定位，消除了阴影对图片的缺陷辨识的干扰，提高了缺陷的识别精度和准确度，有效解决了现有技术中对绝缘服的缺陷检测存在局限性的技术问题。