一种基于双流神经网络模型的钢板表面缺陷分类方法与流程

本发明涉及钢板缺陷检测技术领域，具体涉及一种基于双流神经网络模型的钢板表面缺陷分类方法。

背景技术：

金属板材是机械工业中必不可少的原材料，金属板材的产品质量是决定其价格的关键性指标。由于设备和工艺条件局限等问题的存在，金属板材的表面不可避免地会存在不同形式、不同类别的缺陷，且尺寸大小、缺陷数量及其分布的差异很大。也正是由于表面缺陷的多样性和复杂性，各国钢铁生产企业对表面质量的检测都十分重视，不惜花费巨资改进检测技术、提高检测水平。

根据缺陷的形状，钢板表面常见缺陷可以分为两大类，一是面状缺陷，二是线状缺陷。常见的深度学习模型如retnet模型、空间金字塔模型等均为直接读取图像，通过卷积操作提取图像特征，然后预测缺陷类型。这种算法在进行卷积的过程中只考虑了缺陷的局部特征。

yolo网络模型最早在2016年被提出，其后面的版本yolov3不仅检测速度更快，也更适合小目标的检测。yolo网络包含24个卷基层，4个最大池化层和两个全连接层。卷基层用来获取图像特征，最大池化层用来缩减图像像素，全连接层用来预测图像类别与位置。yolo使用全图的特征来对边界框进行预测以及对框内目标分类，这意味着yolo网络可以使用全图信息，实现同一张图像中的目标分类和目标位置的检测。

yolo在进行图像检测的过程中，通过多层卷积，可以实现目标的分类与检测。例如，当一张图片中同时存在狗和猫时，yolo网络既可以对二者进行分类，区分出哪一个是狗，哪一个是猫，其次还可对位置进行定位，使用方形框标注出目标位置。目标检测结果使用置信度值来进行评价，计算公式如下所示。可以看出置信度值为分类概率pr和iou值的乘积，二者均属于[0,1]。iou值为预测框与真实框面积的交并比值。

公告号cn110490842a的发明专利一种基于深度学习的带钢表面缺陷检测方法公开了该方法通过缺陷判断与缺陷归类双流网络模型提取带钢表面的局部信息，并结合尺度金字塔进行综合分析，得到类热图，最终同时得到缺陷的种类与位置，所述缺陷判断与缺陷归类双流网络模型包括缺陷判断分支和缺陷归类分支。

虽然该方法能够进行缺陷的检测，但是此方法仅能检测一种缺陷，对于同时存在两种以上的缺陷的钢板表面仅能反馈一种缺陷类型，提供的数据不足于指导生产。在实际生产中很容易因为判断不准确而不能解决实际生产中的问题，造成缺陷久久存在，必须通过人工检测进行反馈。造成了人力、物力的浪费。

技术实现要素：

为了解决上述问题，本发明提供了一种基于双流神经网络模型的钢板表面缺陷分类方法，采用双流神经网络模型首先判断缺陷的类别，后将待检测图片导入yolo网络预测缺陷位置；双流神经网络和yolo网络配合提高了缺陷定位精度，提高了检测的效率。

为了实现以上目的，本发明采取的一种技术方案是：

一种基于双流神经网络模型的钢板表面缺陷分类方法，包括如下步骤：s10建立钢板表面缺陷标准图库；s20待检测图片缺陷分类，将待检测图片导入双流神经网络获得全局优先值以及局部特征值，综合所述全局优先值以及所述局部特征值确定每张所述待检测图片的缺陷类别；以及s30待检测图片缺陷位置判定，使用yolo网络确定所述分类结果中的缺陷类别所在位置，其中所述yolo网络中的两个残差网络模块替换为两个特征复用网络模块。

进一步地，所述步骤s10包括如下步骤：s11所述缺陷标准图库中每张图片中包含一种典型缺陷，并使用霍夫变换对所述图片进行校正、裁剪使得所述图像大小为200*200dpi；以及s12使用labelimg软件对图像进行标注，使用矩形真实框标注出图像中缺陷的位置，并记录矩形框左上角(xl,yl)和右下角(xr,yr)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注。

进一步地，所述步骤s20包括如下步骤：s21将待检测图片导入双流神经网络，所述双流神经网络提取图像特征，并将提取后的所述图像特征按一定权重进行分配，得到两个流向；s22一个所述图像特征的权重进入全局优先网络，从整个图像中捕获全局特征先验，先在大方向预测全局缺陷类别，最终通过全局优先网络得到全局优先值y1；s23另一个所述图像特征的权重进入空间金字塔卷积层，首先空间金字塔卷积层提取多尺度的实例图像特征，再通过一个全连接层对每个生成的实例特征映射，最后通过一个空间池化层选择映射内的相关区域进行相应的所述全局缺陷类别的局部缺陷类别预测，得到局部特征值y2；以及s24使用聚合层聚合所述待检测图片的所述全局优先值以及所述局部特征值，综合两者得到缺陷类别预测结果。

进一步地，所述全局优先网络基于vgg-16network架构，包含一个2×2的池化层和3个全连接层fca、fcb以及fcg，在所述fca与所述fcg之间设置旁路连接，使得fca绕过fcb直接与fcg相连。

进一步地，所述全局缺陷类别包括面状缺陷以及线状缺陷；所述面状缺陷的局部缺陷类别包括：斑块(pa)、表面麻点(ps)以及氧化铁皮压入(rs)中的至少一种；所述线状缺陷的局部缺陷类别包括：网纹(cr)、夹杂(in)以及划伤(sc)中的至少一种。

进一步地，将yolo网络中的两个残差网络模块替换为两个特征复用网络模块使用，每个所述特征复用网络模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。

进一步地，所述步骤s30包括如下步骤：s31将所述待检测钢板图像导入基于分类优先的yolo网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi；s32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得所述第一缺陷分类图；归一化公式为：

其中，xi表示图像像素点值，min(x)、max(x)表示图像像素的最大与最小值；以及s33将所述第一缺陷分类图划分为s×s个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测该对象，获得目标缺陷的位置检测结果。

进一步地，设置yolo网络参数，取聚类簇的个数k＝6，卷积核尺寸为1*1，卷积步长为1，模型初始学习速率为0.01，一次训练所选取的样本数为4，权重衰减正则项设为0.0005，采用动量项为0.9的异步随机梯度下降。

进一步地，每个所述网格预测b个预测框；所述预测框包含5个数据值(x,y,w,h,置信度)；(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽；置信度的值反映了边界框是否包含目标概率与当前边界框与真实边界框重合的情况所述最终检测结果符合如下公式：

其中，pr(object)为目标物判断参数，当所述分类结果有目标缺陷时pr(object)＝1，当所述分类结果没有目标缺陷时pr(object)＝0；pr(classi/object)为某种类别的条件概率。

本发明的上述技术方案相比现有技术具有以下优点：

本发明的一种基于双流神经网络模型的钢板表面缺陷分类方法，所述双流神经网络一个流用来判断全局缺陷类别，另一个流用来判断某一个全局缺陷类别下的局部缺陷；采用双流神经网络模型首先判断缺陷的类别，后将待检测图片导入yolo网络预测缺陷位置；双流神经网络和yolo网络配合提高了缺陷定位精度，提高了检测的效率。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。

图1所示为本发明一实施例的基于双流神经网络模型的钢板表面缺陷分类方法流程图；

图2所示为本发明一实施例的基于双流神经网络模型的钢板表面缺陷分类方法流程简图；

图3所示为本发明一实施例的全局优先网络结构图；

图4所示为本发明一实施例的钢板表面缺陷类别；

图5所示为本发明一实施例的基于yolo网络的钢板表面缺陷位置判断流程图；

图6所示为本发明一实施例的通过双流神经网络进行钢板缺陷优先分类的试验结果；

图7所示为不同算法对钢板表面缺陷数据集进行分类测试的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于双流神经网络模型的钢板表面缺陷分类方法，如图1～2所示，包括如下步骤：s10建立钢板表面缺陷标准图库。s20待检测图片缺陷分类，将待检测图片导入双流神经网络获得全局优先值以及局部特征值，综合所述全局优先值以及所述局部特征值确定每张所述待检测图片的缺陷类别。以及s30待检测图片缺陷位置判定，使用yolo网络确定所述分类结果中的缺陷类别所在位置，其中所述yolo网络中的两个残差网络模块替换为两个特征复用网络模块。

所述步骤s10包括如下步骤：s11所述缺陷标准图库中每张图片中包含一种典型缺陷，并使用霍夫变换对所述图片进行校正、裁剪使得所述图像大小为200*200dpi。以及s12使用labelimg软件对图像进行标注，使用矩形真实框标注出图像中缺陷的位置，并记录矩形框左上角(xl,yl)和右下角(xr,yr)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注。所述缺陷标准图库，包括网纹crazing(cr)、夹杂inclusion(in)、斑块patches(pa)、表面麻点pittedsurface(ps)、划伤scratches(sc)等缺陷类型。进一步的，可将缺陷划分为两大类，即面状缺陷与线状缺陷，面状缺陷的局部缺陷类别包括斑块(pa)、表面麻点(ps)、夹杂(in)等；线状缺陷的局部缺陷类别包括网纹(cr)、划伤(sc)等。

所述步骤s20包括如下步骤：s21将待检测图片导入双流神经网络，所述双流神经网络提取图像特征，并将提取后的所述图像特征按一定权重进行分配，得到两个流向。

s22一个所述图像特征的权重进入全局优先网络，从整个图像中捕获全局特征先验，先在大方向预测全局缺陷类别，最终通过全局优先网络得到全局优先值y1。如图3所示，所述全局优先网络基于vgg-16network架构，包含一个2×2的池化层和3个全连接层fca、fcb以及fcg，在所述fca与所述fcg之间设置旁路连接，使得fca绕过fcb直接与fcg相连。充分利用所述fca和所述fcb的特征，减少可能的信息丢失，产生更加准确的全局优先值。最终通过全局优先网络得到全局优先值y1。如图4所示，所述全局缺陷类别包括面状缺陷以及线状缺陷。由于线状缺陷和面状缺陷在宏观上差异非常大，因此通过全局优先网络可以进行准确判别。

s23另一个所述图像特征的权重进入空间金字塔卷积层，首先空间金字塔卷积层提取多尺度的实例图像特征，再通过一个全连接层对每个生成的实例特征映射，最后通过一个空间池化层选择映射内的相关区域进行相应的所述全局缺陷类别的局部缺陷类别预测，得到局部特征值y2。所述面状缺陷的局部缺陷类别包括：斑块(pa)、表面麻点(ps)以及夹杂(in)中的至少一种；所述线状缺陷的局部缺陷类别包括：网纹(cr)以及划伤(sc)中的至少一种。

以及s24使用聚合层聚合所述待检测图片的所述全局优先值以及所述局部特征值，综合两者得到缺陷类别预测结果。公式如下：

其中，y为聚合评分，w是一个c×2c的权重矩阵，b是偏差，c是分类数。当全局优先网络明确了缺陷类型为面状缺陷时，局部预测就不会预测出网纹、划伤等点缺陷结论，提高分类准确性。以缺陷表面麻点为例，提取图像特征信息，并进行权重分配。如果全局优先网络预测该缺陷为面状缺陷的概率为0.8，线状缺陷的概率为0.2；局部特征网络预测该缺陷为表面麻点的概率0.5，网纹的概率0.5。结合两个流向的网络，最终可得：该缺陷为表面麻点的概率为0.4，为网纹的概率0.1。可判定该缺陷为表面麻点。

如图5所示，所述步骤s30包括如下步骤：s31将所述待检测钢板图像导入基于分类优先的yolo网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi。双线性插值的具体方法为：假如我们想得到未知函数f在点p＝(x,y)的值，假设我们已知函数f在q11＝(x1,y1)、q12＝(x1,y2),q21＝(x2,y1)以及q22＝(x2,y2)四个点的值。双线性插值最后的结果为：

s32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得所述第一缺陷分类图；归一化公式为：

其中，xi表示图像像素点值，min(x)、max(x)表示图像像素的最大与最小值。归一化后图像本身的信息存储不会改变，但是将图像的像素值的取值范围由[0,255]，转化为[0,1]，方便后续的神经网络处理。

以及s33将所述第一缺陷分类图划分为s×s个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测该对象，获得目标缺陷的位置检测结果。

将yolo网络中的两个残差网络模块替换为两个特征复用网络模块使用，使得模型在进行预测之前能够接收密集连接块输出的多层卷积特征。每个所述特征复用网络模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。设置yolo网络参数，取聚类簇的个数k＝6，卷积核尺寸为1*1，卷积步长为1，模型初始学习速率为0.01，一次训练所选取的样本数为4，权重衰减正则项设为0.0005，采用动量项为0.9的异步随机梯度下降。

每个所述网格预测b个预测框；所述预测框包含5个数据值(x,y,w,h,置信度)。(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽。置信度的值反映了边界框是否包含目标概率与当前边界框与真实边界框重合的情况也就是包含两个部分：一是网格中是否含有目标物体pr(object)，二是网格预测b的准确度。其中，pr(object)为目标物判断参数，当所述分类结果有目标缺陷时pr(object)＝1，当所述分类结果没有目标缺陷时pr(object)＝0。pr(classi/object)为某种类别的条件概率。

其中iou为预测边框与真实边框的交并比值，计算公式为：

当图像中存在c种缺陷时，c个类别的条件概率为pr(classi/object),表示该网格中包含目标物体且属于第i类物体的概率。因此最终的输出概率为

由于pr(classi)的值属于[0,1]，因此改进后的模型的缺陷检测精度更高。

所述最终检测结果符合如下公式：

通过双流神经网络进行钢板缺陷优先分类，实验结果如图6所示。网络初始化完成后没有分类能力，训练集准确率初期为0.65，之后随着迭代次数增加，准确率逐渐上升；测试集中准确率也随着迭代次数增加逐渐升高，并最终收敛于1；训练集和测试集的损失loss值则随着训练的进行而降低，最终收敛于0。

由图7可以看出，本申请所提出的方法对钢板缺陷进行分类的准确率最高，平均测试准确率可达到99.7％。

以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。