一种灭弧栅片表面缺陷的检测方法与流程

本发明涉及断路器检测技术领域，尤其涉及一种灭弧栅片表面缺陷的检测方法。

背景技术

随着社会经济的不断发展，小型断路器(miniaturecircuitbreaker,mcb)已成为生产生活中必不可少的电气产品。灭弧室是mcb重要组成机构之一，相比于真空灭弧、磁吹灭弧和纵缝灭弧，栅片灭弧法得到了广泛应用。在栅片灭弧室中通过对电弧进行冷却并分成多段弧的方法，使触头分断过程中产生的电弧能量及时释放，因此灭弧栅片的质量决定了能否有效灭弧。

目前灭弧栅片表面缺陷检测仍由人工完成，难以满足零件尺寸小、批量大的生产要求。在工业自动化生产线中，一方面机器视觉在线检测技术已经成功应用并逐渐代替人工检测，另一方面对金属表面缺陷检测需求越来越多。良好的缺陷检测系统不仅能满足实时性、准确性和鲁棒性，还应该对缺陷类别进行判断。例如，杨水山、何永辉、赵万生等提出的boosting优化决策树的带钢表面缺陷识别技术(红外与激光工程,2010,39(5):954-958)，通过组合分类器实现对带钢表面缺陷识别，采用boosting算法调整分类器权重使识别率达到90.47％。又如，马凤春提出的基于kpca的板坯表面缺陷识别方法(物理测试,2014,32(2):25-27)，该方法是一种新的组合核函数方法，研究了主成分分析对图像特征提取后进行训练的识别率，结果显示分类器的识别率达到了91.55％。

但是，上述研究未考虑目标区域的定位，直接将目标区域与背景作为特征进行训练，不仅使训练速度变慢，而且会降低准确率。此外，现有的图像特征提取方法应用到灭弧栅片表面缺陷识别时还需进一步改进。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种灭弧栅片表面缺陷的检测方法，通过改进的图像特征提取方法将灭弧栅片从背景中提取出来，提升了识别速度及准确率。

为了解决上述技术问题，本发明实施例提供了一种灭弧栅片表面缺陷的检测方法，包括以下步骤：

步骤s1、获取灭弧栅片的原始图像，并对所述原始图像进行预处理，得到预处理后的目标图像；

步骤s2、将所述目标图像处理成具有x，y方向的梯度直方图，并确定出所述梯度直方图的特征向量，且将所述梯度直方图的特征向量与预设的gabor滤波器进行卷积处理后，得到具有gabor特征的图像及其对应的特征向量，进一步采用主成分分析法对所述具有gabor特征的图像的特征向量进行提取；

步骤s3、将从所述具有gabor特征图像中提取出的特征向量，导入预设的卷积神经网络模型中，计算出所述灭弧栅片表面各缺陷的概率。

其中，所述步骤s1具体包括：

将所述原始图像转换成灰度图像，并采用非局部均值算法对所述灰度图像进行滤波去噪处理，且进一步对所述滤波去噪处理后的灰度图像进行阈值化处理；

采用边缘追踪的方式找出所述阈值化处理后的灰度图像所对应的多个轮廊；

求解每一个轮廊的面积并确定每一个轮廊面积的极大值，且进一步根据所求解的每一个轮廊面积的极大值，创建轮廊的可倾斜矩形框；

对所创建的轮廊的可倾斜矩形框进行裁剪，得到目标图像。

其中，所述步骤s2具体包括：

通过核[-1，0，1]、[-1，0，1]^-1与所述目标图像进行卷积处理，得到在x、y方向上分别对应的梯度向量gx(x，y)和gy(x，y)，并根据所得到的梯度向量gx(x，y)和gy(x，y)，计算出梯度向量长度m和角度ρ；

将所述目标图像栅格化，利用8×8像素组成一个单元划分图像，并以单元内像素梯度向量长度为y轴、方向为x轴绘制单元直方图；

利用2×2单元组成一个块划分图像，并将单元直方图连接起来组成块直方图作为所述梯度直方图，并进一步确定出所述梯度直方图的特征向量；

创建多个gabor滤波器，并将所述梯度直方图的特征向量与所创建的多个gabor滤波器进行卷积处理后，获得具有gabor特征的图像及其对应的特征向量；

采用主成分分析法对所述具有gabor特征的图像的特征向量进行降维并提取。

其中，所述多个gabor滤波器g(x,y)均由高斯核函数乘以正弦波组成，可根据频率及方向角度进行设定；其中，f为正弦波频率，θ为正弦波的旋转角度，γ与η分别为高斯核函数的长轴与短轴带宽，j为复数单位。通过改变正弦波频率和旋转角度可以得到不同尺度和角度的滤波器。

其中，所述灭弧栅片表面缺陷包括油污、凹坑及划痕。

实施本发明实施例，具有如下有益效果：

相对于传统的灭弧栅片表面缺陷的检测方法，本发明基于方向梯度直方图(hog)与gabor算法结合的图像特征向量提取方法，将灭弧栅片从背景中提取出来并导入卷积神经网络模型中，检测出灭弧栅片表面缺陷的概率，提升了识别速度及准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的灭弧栅片表面缺陷的检测方法的流程图；

图2为本发明实施例提供的灭弧栅片表面缺陷的检测方法中通过卷积神经网络模型求解灭弧栅片表面缺陷概率的应用场景图；

图3为本发明实施例提供的灭弧栅片表面缺陷的检测方法中卷积神经网络模型损失变化的曲线图；

图4a-4b为本发明实施例提供的灭弧栅片表面缺陷的检测方法中采用不同模型得到的训练结果图；4a为采用支持向量机得到的训练结果图；4b为采用卷积神经网络模型得到的训练结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种灭弧栅片表面缺陷的检测方法，包括以下步骤：

步骤s1、获取灭弧栅片的原始图像，并对所述原始图像进行预处理，得到预处理后的目标图像；

具体过程为，灭弧栅片的零件尺寸为19×14mm，算上零件尺寸变动误差，视野大小确定为30×25mm，为此采用basler生产的aca1600-60gm型面阵相机，其靶面尺寸为7.20×5.35mm，分辨率为1602×1202像素。成像精度计算后结果为0.018mm，满足灭弧栅片检测精度要求。工作距离要求在150mm以内，因此选择computar生产的m2514-mp2型工业镜头，焦距为fl＝25mm。

在自动化检测过程中，ccd相机采集到的目标图像带有背景，将灭弧栅片从背景中分离出来能够提高缺陷识别系统的实时性及准确性。

由于原始图像在采集的过程中由于环境中的干扰，不可避免的会引入噪声，因此将ccd相机采集到的原始图像格式转换为灰度图像后进行滤波处理。考虑到滤波后要保留图像的细节、纹理和结构特征，采用非局部均值(nonlocalmeans,nl-means)算法对灰度图像进行滤波去噪处理；

为了分离背景，采用下式表达的阈值化图像分割方法，对滤波去噪处理后的灰度图像进行阈值化处理。滤波去噪处理后的灰度图像中坐标(x，y)处的灰度值为

其中：g(x,y)为处理后的灰度值，l(x,y)为原始图像灰度值，t为设定的阈值，v为可选的灰度值，通常为255；

随后，通过边缘追踪的方式找出阈值化处理后的灰度图像所对应的多个轮廊；

此时，返回的轮廓数量较多，因此需要比较轮廓的面积找出灭弧栅片的轮廓，因此求解每一个轮廊的面积并确定每一个轮廊面积的极大值，且进一步根据所求解的每一个轮廊面积的极大值，创建轮廊的可倾斜矩形框；

考虑到灭弧栅片的形状与矩形相似，为此对所创建的轮廊的可倾斜矩形框进行裁剪(即采用矩形框选灭弧栅片进行裁剪)，最终得到了分离的目标图像。

步骤s2、将所述目标图像处理成具有x，y方向的梯度直方图，并确定出所述梯度直方图的特征向量，且将所述梯度直方图的特征向量与预设的gabor滤波器进行卷积处理后，得到具有gabor特征的图像及其对应的特征向量，进一步采用主成分分析法对所述具有gabor特征的图像的特征向量进行提取；

具体过程为，首先将目标图像处理成具有x，y方向的梯度直方图，并获取该梯度直方图的特征向量，具体如下：

通过核[-1，0，1]、[-1，0，1]^-1与目标图像进行卷积处理，得到在x、y方向上分别对应的梯度向量gx(x，y)和gy(x，y)，并根据所得到的梯度向量gx(x，y)和gy(x，y)，计算出梯度向量长度m和角度ρ；其中，ρ(x,y)＝arctan(gy(x,y)/gx(x,y))；

将目标图像栅格化，利用8×8像素组成一个单元划分图像，并以单元内像素梯度向量长度为y轴、方向为x轴绘制单元直方图；

利用2×2单元组成一个块划分图像，并将单元直方图连接起来组成块直方图作为所述梯度直方图，并进一步确定出梯度直方图的特征向量；其中，特征向量经过式(2)归一化处理，

其中τ为归一化后的特征向量，κ为图像的块直方图向量，e＝0.001。

在一个实施例中，对于80×80像素的目标图像划分81个块，每个块拥有36维向量，最终得到的梯度直方图的特征向量大小为2916。

其次，将梯度直方图的特征向量基于gabor算法进行特征向量的提取，具体如下：

创建多个gabor滤波器，并将梯度直方图的特征向量与所创建的多个gabor滤波器进行卷积处理后，获得具有gabor特征的图像及其对应的特征向量；其中，gabor滤波器g(x,y)均由高斯核函数乘以正弦波组成，可根据频率及方向角度进行设定(即通过改变正弦波频率和旋转角度，可以得到不同尺度和角度的gabor滤波器)；其中，

f为正弦波频率，θ为正弦波的旋转角度，γ与η分别为高斯核函数的长轴与短轴带宽，j为复数单位。通过改变正弦波频率和旋转角度可以得到不同尺度和角度的滤波器；

采用主成分分析法对具有gabor特征的图像的特征向量进行降维并提取。

在一个实施例中，gabor滤波器的特征参数上选用了5个不同频率和8个不同方向角度，则会产生40个gabor滤波器。将滤波器与梯度直方图的特征向量卷积处理后提取特征量，得到数据量大小为40×2916，采用主成分分析方法降维后的数据量为2916，最后将数据输入到支持向量机中进行训练与分类。

步骤s3、将从所述具有gabor特征图像中提取出的特征向量，导入预设的卷积神经网络模型中，计算出所述灭弧栅片表面各缺陷的概率。

具体过程为，将从具有gabor特征图像中提取出的特征向量，导入预设的卷积神经网络模型中，计算出所述灭弧栅片表面各缺陷的概率；其中，灭弧栅片表面缺陷包括油污、凹坑及划痕。

在一个实施例中，如图2所示，确定卷积神经网络模型，首先输入分割后的目标图像80×80像素，随后将目标图像输入到卷积层，卷积层在模型中负责提取卷积特征即核与目标图像的卷积操作。通过16个大小为5×5像素核与图像的卷积得到80×80×16图像矩阵，下一步输入到池化层。常用的池化方法为最大池化即利用大小为2×2像素的窗口，步长为2遍历目标图像，从窗口中选择最大值作为新值，池化的目的在于减小图像尺寸，结果为40×40×16图像矩阵。然后再进行一次卷积和池化处理，得到20×20×36图像矩阵后输入到扁平层。扁平层中将二维图像矩阵转化为一维向量，大小为14400。下一步将一维向量输入到全连接层，全连接层对数据进行压缩，使数据线性可分。通过两层全连接层将14400大小的数据转化为4，最后采用softmax归一化处理式(3)，判断属于每种类别的概率p：

式中δε为全连接层输出的数据，y代表标签类别，ε＝1，2，...，k，本文的k＝4。

为了进一步对本发明实施例中的一种灭弧栅片表面缺陷的检测方法的有效性进行验证，首先对图像进行分割得到80×80像素的目标图像，随后在matlabr2017b平台下提取了图像特征，并采用libsvm方法作为训练和测试工具。由于传统的libsvm方法只能解决二分类问题，为此本发明实施例采用被称为一对多(one-vs-all)分类方法对libsvm进行了改进。卷积神经网络模型在python环境下进行程序设计，整个训练过程在inteli5-4590，3.30ghzcpu及8gram计算机上。面阵ccd相机采集得到灭弧栅片表面可能存在的三种典型缺陷:油污、凹坑及划痕缺陷共700张图像样本。

训练及测试的样本容量如表1所示：

表1

svm通过引入核函数对非线性数据进行处理，本发明选用径向基核函数(radialbasisfunction,rbf)作为svm核函数，利用交叉验证得到最优的惩罚因子与核参数。采用hog、gabor及本发明方法提取图像特征进行训练，训练后模型的分类结果如表2所示：

表2

从测试集的结果可以看出，本发明的方法要优于传统的hog与gabor特征提取方法。

卷积神经网络数据输入过程中为了计算简便，通常将训练的数据集分批次迭代处理，对训练集全部数据训练一次的过程称为一步。400步内模型损失函数变化如图3所示，可以看出本发明搭建的模型具有良好的学习率。卷积神经网络模型的正确率达到93％，整个模型的训练时间为1.2min。

为了比较采用hoga方法的支持向量机与卷积神经网络模型的分类性能，本发明将一对多的分类方法思想应用到模型训练中绘制受试者工作特性曲线即将合格分为一类，油污、凹坑与划痕为一类，称为方案1。将划痕作为一类，合格、油污与凹坑为一类，称为方案2。将油污作为一类，合格、凹坑与划痕为一类，称为方案3。将凹坑作为一类，合格、油污与划痕为一类，称为方案4。支持向量机训练结果如图4(a)，卷积神经网络训练结果如图4(b)所示。二分类情况下卷积神经网络模型训练后的曲线下面积大于支持向量机，这表明其分类性能比支持向量机高。

实施本发明实施例，具有如下有益效果：

相对于传统的灭弧栅片表面缺陷的检测方法，本发明基于方向梯度直方图(hog)与gabor算法结合的图像特征向量提取方法，将灭弧栅片从背景中提取出来并导入卷积神经网络模型中，检测出灭弧栅片表面缺陷的概率，提升了识别速度及准确率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。