基于神经网络的金属斑点检测方法及系统与流程

1.本发明涉及图像处理技术领域，具体为一种基于神经网络的金属斑点检测方法及系统。


背景技术：

2.金属板广泛应用在工业生产与生产生活的各方面。由于金属板制造过程涉及到的设备、工艺等多因素的影响，金属板表面容易出现种类较多、形态各异的缺陷，这些缺陷对金属板的耐磨性、抗腐蚀性、电磁特性及美观性都会造成不同程度的影响，最终影响金属板的电磁特性和涂镀效果。因此对于生产金属板的企业来说，表面缺陷检测是必不可少的一个工序，一方面可以通过表面缺陷检测及时检测到缺陷产品，保证所产金属板的质量，维护企业的信誉，另一方面也可以通过分析检测结果及时发现生产过程中存在的问题，并及时解决。
3.随着计算机科学技术的飞速发展，针对金属斑点的检测，人们把更多的目光投向了机器视觉领域。非接触、高效率、便捷客观等优点，使得机器视觉在缺陷检测方面得到更广泛的应用。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于神经网络的金属斑点检测方法及系统，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种基于神经网络的金属斑点检测方法，该检测方法包括以下步骤：获取金属表面图像，并对所述金属表面图像进行标注得到斑点二值图像；根据所述斑点二值图像进行距离变换，获取内边界距离图像；将斑点二值图像进行相反映射，得到斑点二值反图像；根据所述斑点二值反图像进行距离变换，获取外边界距离图像；根据所述内边界距离图像与所述外边界距离图像，获取边界距离权重图像；根据所述边界距离权重图像构建加权边界二元交叉熵损失函数；将金属表面图像输入神经网络，得到斑点分割图像；所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。
5.进一步的，所述内边界距离图像获取方法为对所述斑点二值图像进行距离变换，获取内部距离变换图像；对所述内部距离变换图像进行极差归一化，得到归一化内部距离变换图像；将所述斑点二值图像与归一化内部距离变换图像进行相减，得到内边界距离图像。
6.进一步的，所述外边界距离图像获取方法为：将斑点二值图像进行相反映射，得到斑点二值反图像；对所述斑点二值反图像进行距离变换，获取外部距离变换图像；对所述外部距离变换图像进行极差归一化，得到归一化外部距离变换图像；将所述斑点二值反图像与归一化外部距离变换图像进行相减，得到外边界距离图像。
7.进一步的，所述边界距离权重图像的获取方法包括：对内边界距离图像与外边界距离图像进行合并，所述合并操作采用相加操作；得到边界距离图像bd：
边界距离图像通过合并两个不同的遮罩形成，每个遮罩分别突出斑点的内边界和外边界，通过生成背景和斑点的不同特征的距离映射，为斑点边界提供权重映射；表示基础权重图像，大小与内、外边界距离图像相等。
8.进一步的，所述加权边界二元交叉熵损失函数的获取方法包括：将边界距离图像与二元交叉熵损失相结合，构建加权边界二元交叉熵，该损失函数通过乘以边缘权重来放大边界像素附近的损失值；m、n表示图像的宽、高，该x,y坐标处像素的标签值，表示x,y坐标处像素的网络预测该像素为斑点的概率值；表示x,y坐标处像素的边界距离权重。
9.进一步的，所述距离变换的度量距离为欧式距离。
10.进一步的，所述相反映射操作为将图像中像素值为255的变为0，将像素值为0的变为255。
11.进一步的，所述神经网络采用编码器、解码器结构的语义分割神经网络。
12.第二方面，本发明另一个实施例提供了一种基于神经网络的金属斑点检测系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述方法的步骤。
13.本发明具有如下有益效果：本发明实施例通过构建加权边界二元交叉熵损失函数来解决模糊边界预测困难的问题，该函数通过生成背景和斑点的不同特征的距离映射，为斑点边界提供权重映射。使得后续神经网络对于斑点的检测更加准确。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例所提供的一种基于神经网络的金属斑点检测方法的流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络的金属斑点检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.下面结合附图具体的说明本发明所提供的一种基于神经网络的金属斑点检测方法及系统的具体方案。
19.请参阅图1，其示出了本发明一种基于神经网络的金属斑点检测方法，其特征在于，该控制方法包括以下步骤：步骤001，获取金属表面图像，并对所述金属表面图像进行标注得到斑点二值图像；首先利用相机拍摄金属图像，拍摄的金属图像应为同一种金属，且最好保证样本像素的数量一致，所述样本像素即斑点的像素数量与正常金属的像素数量一致。
20.同时采集的样本应包含大量的包含金属斑点的图像，以及正常的金属图像。所述图像为rgb图像。
21.然后对图像进行像素级标注，即对于上述采集的图像，表示斑点的像素，其像素值标注为1，正常金属的像素值变为0。
22.然后将上述数据集进行按比例拆分，分为训练集、测试集，经验比例为4：1。
23.步骤002，根据所述斑点二值图像进行距离变换，获取内边界距离图像；然后针对训练集中的标注图像，即标注的二值图像（具有斑点标注的，若图像中无斑点则不进行下述处理）进行距离变换，由于斑点通常为一个连通的区域，此处不再进行其它处理，直接进行距离变换。
24.距离变换是二值图像处理与操作中常用手段，在骨架提取，图像窄化中常有应用。距离变换的结果是得到一张与输入图像类似的灰度图像，但是灰度值只出现在前景区域。并且越远离背景边缘的像素灰度值越大。所述距离变换的度量距离采用欧式距离。
25.最终得到内部距离变换图像ia。
26.然后获取内边界距离图像：其中gt表示标注的二值图像的像素值，表示内部距离变换图像的像素值。表示ia图像的最大像素值、最小像素值。
27.通过上述处理，内边界距离图像中，斑点内边界附近的像素值较大，而背景和斑点中心像素值最小。
28.步骤003，将斑点二值图像进行相反映射，得到斑点二值反图像；然后将标注的二值图像进行相反映射，即该二值图像中像素值为1的转换为0，像素值原本为0的转换为1。得到的图像称为标注的二值反图像，称为。
29.步骤004，根据所述斑点二值反图像进行距离变换，获取外边界距离图像；对标注的二值反图像再次进行距离变换，则此次距离变换使得越远离斑点边缘的像素灰度值越大。该图像称为外部距离变换图像ib。
30.然后进一步的，获取外边界距离图像：
其中表示标注的二值反图像的像素值，表示外部距离变换图像的像素值。表示ib图像的最大像素值、最小像素值。
31.外边界距离图像中，背景像素值在斑点的外边界附近较大，而斑点内部的值最小。
32.至此，即可获取具有斑点标注图像的内边界距离图像、外边界距离图像。
33.步骤005，根据所述内边界距离图像与所述外边界距离图像，获取边界距离权重图像；然后对内边界距离图像与外边界距离图像进行合并，所述合并操作采用相加操作。
34.得到边界距离权重图像bd：边界距离权重图像通过合并两个不同的遮罩形成，每个遮罩分别突出斑点的内边界和外边界，通过生成背景和斑点的不同特征的距离映射，为斑点边界提供权重映射。表示基础权重图像，该图像所有的像素值均为1，大小与内、外边界距离图像相等。
35.步骤006，根据所述边界距离权重图像构建加权边界二元交叉熵损失函数；进一步的，将边界距离图像与二元交叉熵损失相结合，构建加权边界二元交叉熵，该损失函数通过乘以边缘权重来放大边界像素附近的损失值。
36.m、n表示图像的宽、高，该x,y坐标处像素的标签值，若为斑点则为1，表示x,y坐标处像素的网络预测该像素为斑点的概率值。表示x,y坐标处像素的边界距离权重。损失函数属于神经网络训练过程的重要部件，为本领域技术人员所周知的，这里不再赘述其细节。
37.步骤007，将金属表面图像输入神经网络，得到斑点分割图像；所述神经网络采用加权边界二元交叉熵损失函数进行训练优化。
38.本发明最终通过采用语义分割神经网络来实现金属斑点的检测，所述语义分割神经网络可采用unet++、enet、icnet等网络模型。
39.神经网络模型具体的训练细节如下：对于训练集，首先进行数据增强，包含大量正常金属图像、金属斑点图像，该图像为rgb颜色空间图形，数据增强技术如旋转、裁剪、添加噪声等。
40.所述语义分割网络的结构为编码器、解码器结构，编码器用以对金属rgb图像进行特征提取，解码器用以对编码器提取的特征进行拟合并映射到样本标记空间。然后通过损失函数进行网络参数的优化，所述损失函数采用加权边界二元交叉熵损失函数，可以有效的提取斑点边界区域，提高金属斑点检测的准确率。
41.网络的优化器采用adam优化方法。
42.对于网络训练完毕后采用测试集测试网络性能，网络训练可采用迁移学习技术，以提高网络的收敛效率及精度，减少训练时间。
43.上述神经网络模型训练完毕后，对于网络每次推理，只需将拍摄的金属图像输入到神经网络中，然后网络会输出一个二通道图像，对于每个像素位置都有两个值，然后该两个值，选取最大值的索引作为类别标签，如0.85、0.15，索引分别为0、1，则该像素最大值的索引为0，对于步骤一经过标注后的图像，像素值为0表示为正常金属，像素值为1表示为斑点缺陷。通过上述步骤最终可以得到金属斑点缺陷的二值图像，进而实现金属的斑点检测。
44.至此，即可通过神经网络实现对金属斑点的检测，同理本发明也可将上述技术用于其它缺陷的检测，只要该缺陷具备连通域的性质。
45.基于与上述方法实施例相同的构思，本发明另一个实施例还提供了一种基于神经网络的金属斑点检测系统，该系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例所提供的一种基于神经网络的金属斑点检测方法的步骤，其中，一种基于神经网络的金属斑点检测方法已经在上述实施例中详细说明，不再赘述。
46.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
47.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
48.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。