一种基于机器视觉的电机磁瓦表面缺陷检测方法

1.本发明涉及电机故障检测技术领域，尤其涉及一种基于机器视觉的电机磁瓦表面缺陷检测方法。


背景技术：

2.磁瓦作电机定子是电机的核心部件，现代电机磁瓦生产流程当中，需要对电机磁瓦进行缺陷检测与分类，以确保产品质量。对于电机磁瓦的表面缺陷来说，磁瓦本身为具有复杂的背景，而这种复杂背景会导致图像梯度发生突变，进而使传统图像处理算法难以完成特征提取。
3.在工业检测当中，由于机械振动等原因，元件会跟光源点产生一定的偏移，而光照不平衡的现象的存在使得图像梯度特征变得不明显，进而使得模型无法准确地提取磁瓦图像的表面特征，并且，同一被测物体在不同的位置会与光源点形成不同的偏移量，进而使得同一个图像、在不同光照下会存在不同的纹理特征。最终导致模型分类性能下降和鲁棒性减弱。


技术实现要素：

4.本发明的目的在于提供一种基于机器视觉的电机磁瓦表面缺陷检测方法，旨在解决现有的深度卷积神经网络对光照不平衡图像鲁棒性低、泛化性较弱的技术问题。
5.为实现上述目的，本发明提供了一种基于机器视觉的电机磁瓦表面缺陷检测方法，包括下列步骤：
6.构建efficientnet-gc模型；
7.获取电机磁瓦分类训练样本集；
8.利用所述分类训练样本集训练所述efficientnet-gc模型，获得训练好的分类模型；
9.将待检测电机磁瓦的电机磁瓦表面灰度图所述训练好的分类模型，获得待检测电机磁瓦的类别标签。
10.其中，所述efficientnet-gc模型由高斯随机光照生成器、等像素亮度区间划分算法、校正网络和efficientnetv2构成，高斯随机光照生成器负责叠加随机光照生成光照不平衡图像，等像素亮度区间划分算法将光照不平衡图像划分为8个等像素量的图层，校正网络负责光照校正，efficientnetv2完成缺陷分类。
11.其中，所述高斯随机光照生成器包括输入通道和计算光照图通道，所述输入通道和所述计算光照图通道的输出满足retinex理论。
12.其中，所述等像素亮度区间划分算法包括数据预处理、图层分割和游离点聚类，通过对图像动态计算各亮度区间的像素，再进行等量分割，然后通过k最近邻算法对游离点进行聚类，最后完成图层划分。
13.其中，校正网络进行光照校正的过程，具体为将所述等像素亮度区间划分算法获
取的尺寸为128
×
128
×
8的输入张量校正叠加后恢复到尺寸128
×
128
×
1。
14.其中，efficientnetv2为具有自适应正则化的渐进式学习能力的卷积神经网络模型。
15.其中，所述分类训练样本集的每个训练样本包括电机磁瓦表面灰度图和对应的类别标签。
16.本发明提供了一种基于机器视觉的电机磁瓦表面缺陷检测方法，通过配合高斯随机光照生成器对输入张量进行随机光照叠加，以生成光照不平衡图像参与模型训练，以达到提升电机磁瓦缺陷分类模型的整体性能的目的，同时采用了等像素亮度区间划分算法，通过对图像动态计算各亮度区间的像素，进行等量分割，然后通过k最近邻算法对游离点进行聚类，完成图层划分，最后并通过bp神经网络对各图层亮度进行校正，最后通过训练好的分类模型对待检测电机磁瓦表面灰度图进行检测分类，解决了现有的深度卷积神经网络对光照不平衡图像鲁棒性低、泛化性较弱的技术问题。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明的一种基于机器视觉的电机磁瓦表面缺陷检测方法的流程示意图。
19.图2是本发明的efficientnet-gc模型的结构示意图。
20.图3是本发明的高斯随机光照生成器的结构示意图。
21.图4是本发明的校正网络的结构示意图。
具体实施方式
22.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
23.请参阅图1，本发明提出了一种基于机器视觉的电机磁瓦表面缺陷检测方法，包括下列步骤：
24.s1：构建efficientnet-gc模型；
25.s2：获取电机磁瓦分类训练样本集；
26.s3：利用所述分类训练样本集训练所述efficientnet-gc模型，获得训练好的分类模型；
27.s4：将待检测电机磁瓦的电机磁瓦表面灰度图所述训练好的分类模型，获得待检测电机磁瓦的类别标签。
28.所述efficientnet-gc模型由高斯随机光照生成器、等像素亮度区间划分算法、校正网络和efficientnetv2构成，高斯随机光照生成器负责叠加随机光照生成光照不平衡图像，等像素亮度区间划分算法将光照不平衡图像划分为8个等像素量的图层，校正网络负责光照校正，efficientnetv2完成缺陷分类。
29.所述高斯随机光照生成器包括输入通道和计算光照图通道，所述输入通道和所述计算光照图通道的输出满足retinex理论。
30.所述等像素亮度区间划分算法包括数据预处理、图层分割和游离点聚类，通过对图像动态计算各亮度区间的像素，再进行等量分割，然后通过k最近邻算法对游离点进行聚类，最后完成图层划分。
31.校正网络进行光照校正的过程，具体为将所述等像素亮度区间划分算法获取的尺寸为128
×
128
×
8的输入张量校正叠加后恢复到尺寸128
×
128
×
1。
32.efficientnetv2为具有自适应正则化的渐进式学习能力的卷积神经网络模型。
33.所述分类训练样本集的每个训练样本包括电机磁瓦表面灰度图和对应的类别标签。
34.以下就具体步骤进行详细说明：
35.请参阅图2，所述efficientnet-gc模型由高斯随机光照生成器、等像素亮度区间划分算法、校正网络和efficientnetv2构成。原始图像张量t作为模型输入，通过高斯随机光照生成器叠加随机光照，生成光照不平衡图像，然后通过等像素亮度区间划分算法将其划分为8个等像素量的图层，紧接着通过校正网络进行光照校正。最后通过将其送入efficientnetv2模型完成缺陷分类。
36.如图3所示，高斯随机光照生成器由两个通道构成，分别为输入r(x,y)通道和计算光照图l(x,y)通道，该两个通道的输出满足retinex理论，即公式(1)，其中x,y分别为图像像素点的横纵坐标，s(x,y)为生成的光照不平衡图像。
37.s(x,y)＝r(x,y)
·
l(x,y)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
38.输入r(x,y)通道直接获取efficientnet-gc的输入t，其中n为批量大小，图像尺寸为128
×
128。
39.计算光照图通道首先通过高斯函数生成高斯掩码图，该高斯掩码图的尺寸为n
×
601
×
601，其中n为批量处理大小。高斯函数满足公式(2)，其中μ为均值，σ为方差，分别取0.5与0.5。将μ、σ、图像横轴与纵轴坐标分别代入公式(2)，可得位置处的值，生成随机的高斯掩码图。
[0040][0041]
生成的高斯掩码图像的中心点为光源点，光照随着图像边缘方向逐渐减弱。通过对高斯掩码图像按照输入图像的尺寸进行随机裁剪，以此得到光源点随机偏移的照度图像，此时与尺寸相同。紧接着通过一个随机丢失操作，对照度图像进行比率为＝0.5的随机丢失，丢失的照度图像将置为全1矩阵，即光照不变。最后将原图像与照度图像根据公式(1)运算，可得到光照不平衡数据。
[0042]
所述等像素亮度区间划分算法可以分为3个部份：数据预处理、图层分割和游离点聚类。具体包括下列步骤：
[0043]
算法输入：原始张量f,分割数k＝8
[0044]
算法输出：多通道张量f'
[0045]
step(1):展平张量f
[0046]
step(2):记录每个元素的当前位置索引seq
[0047]
step(3):按升序排序f
[0048]
step(4):通过计算得到每个区间的像素数量num:len(f)/k
[0049]
step(5):i＝0
[0050]
step(6):fi＝[0]
×i×
num+f[i
×
num:(i+1)
×
num]+[0]
×
(k-i-1)
×
num
[0051]
step(7):用seq索引排列fi并将fi整形为与f相同的形状
[0052]
step(8):i＝i+1,ifi！＝k:跳回step(6)
[0053]
step(9):f'根据通道将f0连接到f
k-1
作为f'
[0054]
step(10):对f'进行卷积核为1的卷积操作，通过阈值激活
[0055]
step(11):free point＝f-(对f'沿通道求和)
[0056]
step(12):对f'的各通道中的每个free point进行半径为20的knn(k最近邻算法)聚类，得到n个k维向量
[0057]
step(13):取步骤step(12)中得到的第i个向量的最大个数作为f'中第i个free point的通道
[0058]
具体的，step(1)将格式为128
×
128
×
1张量f按照行的方向进行降维，得到格式为1
×
16384的序列信号f。紧接着step(2)记录该序列每个元素的位置索引，得到索引seq。然后step(3)将f序列变更为升序排列。最后，step(4)测量f的序列长度并分为k＝8份，得到每个图层的像素量num，至此完成数据的预处理。
[0059]
step(5)至step(8)为计算每个图层的像素fi，以第i个图层为例，取得f的子序列为第i
×
num位至第(i+1)
×
num-1位。然后在该序列的前部添加i
×
num个0值，在其后添加(k-i+1)
×
num个0值，此时数据补全为与f同等长度的序列。(举个例子，假设i为2，k为8，则num为2048，则计算出为f2为f的第4096位6143位。然后对f2进行前后补0操作，得到长度为1
×
16384的序列。)然后对fi按照seq顺序进行排列，并将其重新排列为128
×
128
×
1的格式。最后，step(9)为将f0至f
k-1
按照通道进行叠加，得到尺寸为128
×
128
×
k的张量f'。至此完成图像分割。
[0060]
step(10)中分别对f'的每个图层进行固定卷积核为1的卷积操作，并通过阈值激活。此操作将通过某点附近是否存在较多不为0的像素来判定该点是否属于游离点(free point)，以此去除由于背景梯度变化剧烈所产生游离点。step(11)中对f'按照通道求和，得到的值为0的点即为游离点。step(12)将遍历游离点，将每个游离点的位置代入f'中的每个图层进行半径为20个像素的knn(k最近邻算法)聚类，得到每个游离点相应的k维向量。step(13)取其k维向量中的最大值索引i，则f'中第i个图层的相应位置的值由0置为该游离点的灰度值，至此完成游离点的聚类，输出张量f。
[0061]
在校正网络的校正示意如图4所示，输入张量f的尺寸为128
×
128
×
8，通过全局平均池化获得尺寸为1
×
8的张量，然后连接一个1
×
4的全连接层，再通过连接一个1
×
8的全连接层，输出尺寸为1
×
8的张量，并通过标准化与sigmoid函数进行激活，使其输出值限制在0到1区间。将该张量与输入张量f进行相乘，使其对各图层进行校正。最后通过通道叠加，使其尺寸恢复到128
×
128
×
1。
[0062]
最后将校正网络的输出g送入到efficientnetv2进行分类，至此完成模型的构建。
[0063]
进一步的，本发明还提供了具体的实施例验证对光照不平衡的电机磁瓦缺陷图像分类的有效性：
[0064]
采用中国科学院自动化院公开的电机磁瓦缺陷集进行三折交叉验证测试，每折分为训练集和测试集，分别对模型进行训练并在测试集上验证其稀疏分类准确率，三折交叉验证结果取均值，结果如下表1所示。从表1可以看出，本发明提出的基于efficientnet-gc方法，在标准条件下，稀疏分类准确率为96.70％，在光照不平衡条件下，稀疏分类准确率为97.19％，在分类准确度上优于原版efficientnetv2模型，且通过efficientnet-gc与其余模型对比可得本方法具有更强的分类能力。
[0065]
表1各模型在不同条件下的准确率
[0066][0067]
考虑到样本存在样本平衡现象，提出使用recall、precision和auc进行深入验证，结果如表2所示。从表2可知，本发明所提出模型在标准条件下取得的recall和precision分别为0.961和0.785，表现较为优异。而在光照不平衡条件下，这两个值进一步提升到了0.967和0.786，远优于其余模型。而在标准条件下的auc值为0.991，而在光照不平衡数据下，auc为0.996，远优于其余模型。说明本发明所提出的方法在光照不平衡条件下有较为优异的表现，efficientnet-gc模型能有效地减弱光照敏感性，适合部署于实际应用场景。
[0068]
表2各模型的recall、precision和auc对比
[0069][0070]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。