一种板带钢表面质量缺陷的识别方法

1.本发明属于轧钢自动控制技术领域，具体涉及一种板带钢表面质量缺陷的识别方法。


背景技术：

2.冷轧带钢表面质量的好坏作为衡量冷轧产品的一项重要指标。近年来已备受钢铁企业关注。表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响，企业对产品的表面缺陷进行检测以便及时发现并加以控制。冷轧带钢生产工艺复杂,影响冷轧带钢表面量的因素众多，如带钢原料问题、设备问题和加工工艺等，最终会在带钢表面出现辊印、划痕、擦伤等不同类型的缺陷。传统人工检测方法存在准确性低、实时性差、效率低等问题。基于机器视觉的检测方法可以很大程度上克服以上问题，在现代工业中得到越来越广泛的研究和应用。
3.对带钢表面进行图像识别对识别的速度以及精度要求极高，目前有多种检测方法应用于带钢缺陷检测方面。如中国专利“cn113628189a一种基于图像识别的快速带钢划痕缺陷检测方法”，通过检测获取图像，对图像进行一系列平滑、增强缺陷细节、提高对比度等处理；对图像进行分块处理，并将子块图像按照顺序进行序号标记，再按照序号依次利用子块图像的灰度直方图统计子块的灰度级总数、灰度均值、偏态系数sk以及灰度级距离d；利用偏态系数sk和灰度级距离d判断每个子块是否含有划痕缺陷，并对含有缺陷的子块图像进行统计。中国专利“cn107784323a，一种基于局部不相关约束的带钢表面缺陷图像识别分类方法”，用图像预处理后的向量数据点构成矩阵数据x，建立异类局部近邻特征线l(x)，然后计算局部同类散度矩阵s和局部异类散度矩阵s，构建局部边距s，建立与局部同类散度矩阵s不相关约束，寻找正交和局部不相关的特征子空间，实现局部边距s的最大化。中国专利“cn103745234a，一种带钢表面缺陷的特征提取与分类方法”，获得基准采样图像，构造灰度大小-方向共生矩阵；用k-最近邻和r-最近邻相结合的方法，修剪训练样本集获得多类别分类器模型，借此完成缺陷的自动识别。
4.上述检测方法大多以传统的算法为主，通过相对复杂的图像处理手段人工调校，针对不同问题要对处理手段做出相应的调整，如专利“cn113628189a一种基于图像识别的快速带钢划痕缺陷检测方法”，所述方案只针对划痕，对于灰度和环境差异跨度大的缺陷可能效果较差，且对于边缘较复杂的大块缺陷方案调整会更复杂；专利“cn107784323a，一种带钢表面缺陷的特征提取与分类方法”、“cn103745234a，一种带钢表面缺陷的特征提取与分类方法”，则有着对噪声敏感及计算量偏大的问题。


技术实现要素：

5.基于上述问题，本发明提供一种板带钢表面质量缺陷的识别方法，使用以efficientnet作为特征提取网络的efficientdet-d4框架，将损失函数更换为ciou loss，同时采取数据增强等手段扩充数据，用差分进化算法等方法进行先验框，学习率等参数的
调优，来提高模型训练速度，提高对带钢表面缺陷图像识别的准确性与效率
6.本发明提供的一种板带钢表面质量缺陷的识别方法，包括：
7.步骤1：采集带有表面缺陷的板带钢图像，制作样本数据集；
8.步骤2：构建基于efficientdet-d4检测框架的神经网络模型并进行训练；
9.步骤3：将预检测的带钢图像作为训练后的神经网络模型的输入，通过神经网络模型输出缺陷的位置及种类。
10.所述步骤1包括：
11.步骤1.1：采集带有表面缺陷的板带钢图像，并标注缺陷类型；
12.步骤1.2：对图像数据进行数据增强处理，扩充样本容量。
13.所述数据增强处理包括平移、旋转、翻转、锐化、随机明度对比度增强、随机擦除、对比度受限的自适应直方图均衡化及马赛克增强；
14.所述马赛克增强，具体表述为：等比例缩放拼接图片数据，填充区域的划分根据图片数据尺寸和网络输入尺寸调整为n行*m列。
15.所述步骤2包括：
16.步骤2.1：根据缺陷标注信息，利用差分进化算法先验框参数寻优；
17.步骤2.2：调整efficientdet-d4网络中的损失度函数；
18.步骤2.3：设置学习率的初始值范围，通过计算损失值确定网络训练的初始学习率；
19.步骤2.4：进行网络参数训练，并计算训练过程中的精度p、召回率r、平均精度ap、平均精度均值map，当map的标准差小于设定阈值c1时，暂停训练；
20.p＝tp/(tp+fp)
21.r＝tp/(tp+fn)
22.式中，tp表示预测结果与标签一致的正样本，fp表示预测结果与标签不一致的正样本，fn是漏检的正样本；
23.步骤2.5：学习率减半，继续迭代训练，当map的标准差小于设定阈值c2时，模型训练结束。
24.所述步骤2.1包括：
25.步骤2.1.1：在设定的参数范围内随机生成多组解；
26.步骤2.1.2：根据各类缺陷标注数据数量的占比与各类缺陷间识别准确度的差别设计差分进化算法中的适应度函数，对每组解取出的若干先验框进行输出值计算，将能使适应度函数取最小的解作为该次迭代的最优解；
27.步骤2.1.3：设置差分进化算法中的迭代次数，通过迭代优化输出先验框参数的最优解。
28.所述步骤2.2具体表述为：修改efficientdet-d4网络的损失函数为ciou loss，并为交并比iou＝0.5的阈值下无正样本的标注框额外选择iou最大的先验框，以提高对小目标的识别能力。
29.所述步骤2.3具体表述为：在10-6
～10-2
范围内，取若干学习率值，对于每个学习率迭代一次网络，记录损失值；形成关于损失值与学习率值之间的曲线，选择曲线中未发生波动段最低点对应的学习率作为模型训练的初始学习率。
30.本发明的有益效果是：
31.本发明提出了一种板带钢表面质量缺陷的识别方法，基于efficientdet-d4网络，利用mosaic及一些列数据增强方法丰富带钢缺陷数据，提高模型鲁棒性，并调整mosaic适配带钢图像，相比原始mosaic，单批次训练送入更多数据同时防止过度缩放降低小目标检测精度；修改网络损失函数，采用ciou loss并对正样本的选取机制做出适当调整，通过使用差分进化算法，学习率逐步变化的策略进行网络超参数调优，进一步提高了目标识别的精度。本发明具有更好的鲁棒性，并为小目标众多、缺陷数量不平衡的样本识别问题提供了优化方案；在模型的训练方面，提供了一个高效训练的方案。
附图说明
32.图1为本发明中板带钢表面质量缺陷的识别方法流程图；
33.图2为本发明中四类不同缺陷的示意图；
34.图3为本发明中数据增强示意图，其中(a)为原图，(b)为增强后图像；
35.图4为本发明中学习率对数与损失函数值之间的函数关系曲线图；
36.图5为本发明中前120轮迭代过程map变化曲线；
37.图6为本发明中后50轮迭代过程map变化曲线；
38.图7为本发明方法的缺陷检测效果图，(a)为原始数据标注；(b)为模型预测结果。
具体实施方式
39.下面结合附图和具体实施实例对发明做进一步说明。
40.如图1所示，一种板带钢表面质量缺陷的识别方法，包括：
41.步骤1：采集带有表面缺陷的板带钢图像，制作样本数据集；包括：
42.步骤1.1：采集带有表面缺陷的板带钢图像，并标注缺陷类型；带钢表面缺陷数据有图片共6666张，标注缺陷数量共16326条，缺陷类型有4类，如图2所示。
43.步骤1.2：对图像数据进行数据增强处理，一方面扩充样本容量，提高模型泛化性，一方面引入噪声，提高模型鲁棒性。所述数据增强处理包括平移、旋转、翻转、锐化、随机明度对比度增强、随机擦除、对比度受限的自适应直方图均衡化及马赛克增强；
44.所述马赛克增强，具体表述为：等比例缩放拼接图片数据，填充区域的划分根据图片数据尺寸和网络输入尺寸调整为n行*m列。
45.采用平移、旋转、翻转、锐化、随机明度对比度增强、限制对比度自适应直方图均衡化(clahe)等方法制造几何畸变和光度畸变，模拟复杂环境，扩充样本容量；采用cutout随机擦除图像中部分信息以引入噪点，让模型充分利用缺陷周边信息；采用mosaic数据增强手段,增加单份输入图像上的目标个数，同时加大单批次送入信息量，提高训练速度。
46.具体实施时，根据车间变化情况调整各数据增强方法的强度及发生概率，并排列几种方案形成综合增强策略，并用小数据测试n轮测试最大损失下降。根据数据具体情况调整mosaic增强策略，重新规划标准尺寸划分方式为n*m，以降低缩放比例，提高对小目标敏感度。
47.根据车间变化情况调整各数据增强方法的强度及发生概率，并排列几种方案形成综合增强方案，并用小数据测试n＝80轮测试，最后采用损失下降最大的方案，参数如表1所
示。
48.表1参数表
[0049][0050]
采用训练时增强；对于每张原图，套用增强策略后，将图像等比例缩放后填充入对标准输入尺寸的分块中，空余部分以黑色填充，制成为标准尺寸1024*1024的数据。针对尺寸为1600*256的原图，标准尺寸划分为n*m＝1*6，则等比例压缩压缩比例为1600/1024＝1.5625，避免剧烈压缩导致小目标尺度过小，并减少了单份数据中黑边(无用信息)面积，纵向可堆垛6份，增加了单份输入数据的信息量。最终增强效果示意图如图3所示。
[0051]
先验框用于框定缺陷的大致位置。在应用中往往需要为先验框设计大小，长宽比等初始参数，目标检测算法会随着训练的进行对先验框参数在初始参数的基础上进行微调，生成最后的预测区域，以确保定位的准确性。所以，初始参数的选取至关重要，本发明使用差分进化算法来进行先验框参数的优化，在综合考虑缺陷的位置和大小的情况下给出先验框参数，具体方案如下：
[0052]
步骤2：构建基于efficientdet-d4检测框架的神经网络模型并进行训练；包括：
[0053]
步骤2.1：根据缺陷标注信息，利用差分进化算法先验框参数寻优；包括：
[0054]
步骤2.1.1：在设定的参数范围内随机生成多组解；
[0055]
步骤2.1.2：根据各类缺陷标注数据数量的占比与各类缺陷间识别准确度的差别设计差分进化算法中的适应度函数，对每组解取出的若干先验框进行输出值计算，将能使适应度函数取最小的解作为该次迭代的最优解；
[0056]
利用差分进化算法更新先验框的长宽比和面积值；
[0057]
根据差分进化得到的向量在1024*1024的图片上进行先验框的排布，将所有的先验框与标注框比对，计算iou(intersection over union，两框的交集区域与并集区域的比值，表示定位的精确程度)，取出与每个标注框具有最大iou值的先验框。
[0058]
适应度函数f的输出值计算如下：
[0059][0060]
计算每一类缺陷的值，b(iou)用来描述锚框参数对于每个缺陷的表现。由下式计算：
[0061]
[0062]
有如下的表达式：
[0063][0064]
其中，num代表总的i类缺陷的数目，代表每类缺陷的平均表现。
[0065]
式中，代表第i类标注框的数量与全部标注框数量的比值，c代表缺陷的种类数，dj代表所有类中最高的与当前第j类的的差值，代表该类缺陷在所有缺陷中被定位的难易程度，dj越大，第j类缺陷定位的难度越高。dj由下式计算：
[0066][0067]
代表所有类型的缺陷中，第i类缺陷被定位的难度的评分占所有的定位难度的比例，该值越大，i类缺陷的定位难度越大，参数优化时会越倾向于选择适合j类缺陷的参数。
[0068]
步骤2.1.3：设置差分进化算法中的迭代次数，通过迭代优化输出先验框参数的最优解。
[0069]
设置各参数取值、缩放因子、交叉概率因子、种群数目，经过一定次数的迭代后，得到优化过的输出向量，之后输出向量经过处理化为指定形式的先验框参数，得到先验框参数。
[0070]
设置各参数取值为[0,4]，缩放因子f为0.5，交叉概率因子cr为0.8，种群数目为10，经过30次迭代后，得到优化过的输出向量，之后输出向量经过处理化为指定形式的先验框参数，得到先验框参数如2所示：
[0071]
表2
[0072][0073]
步骤2.2：调整efficientdet-d4网络中的损失度函数；修改efficientdet-d4网络的损失函数为ciou loss，并为交并比iou＝0.5的阈值下无正样本的标注框额外选择iou最大的先验框，以提高对小目标的识别能力。
[0074]
ciou loss的表达式如下：
[0075][0076]
ν与α分别表示为：
[0077]
[0078][0079]
其中，c2是真实框与预测框取并集区域时的长与宽的平方和，ρ2(b,b
gt
)是预测框与标注框中心坐标欧式距离的平方。iou是预测框与标注框的交集面积与两框的并集面积之比。
[0080]
步骤2.3：设置学习率的初始值范围，通过计算损失值确定网络训练的初始学习率；
[0081]
在10-6
～10-2
范围内，取若干学习率值，对于每个学习率迭代一次网络，记录损失值；最后选择损失值与学习率对数(即log
10
(学习率))函数曲线中曲线未发生波动段最低点对应的学习率作为网络训练的初始学习率。
[0082]
为iou＝0.5的阈值下无正样本的标注框额外选择一个iou最大的先验框(即使它不满足iou》＝0.5)，保证推理速度的前提下，提高小缺陷检测敏感性，正样本先验框的选取调整为以下规则：
[0083]
anchor(iou》0.5)uanchor(iou
max
)
[0084]
其中anchor(iou》0.5)是与标注框iou大于0.5的先验框，anchor(iou
max
)是与每个标注缺陷对应的iou最大的先验框。
[0085]
学习率关系到每次训练参数更新的速度，学习率过大，模型会难以收敛，学习率过小，会造成模型训练缓慢，且比较容易陷入局部极值，因此，学习率参数的初始寻优非常重要。
[0086]
将学习率每隔一段训练时间(一代)进行指数上升，从10-6
逐渐上升到10-2
，得到学习率对数-损失函数值的曲线，如图4所示。
[0087]
选择损失函数值最低点附近对应的学习率作为更好的学习率，最后选择了10-3
作为优化过的学习率参数。
[0088]
步骤2.4：进行网络参数训练，并计算训练过程中的精度p、召回率r、平均精度ap(average precision)、平均精度均值map，当map的标准差小于设定阈值c1＝5e-5时，暂停训练；
[0089]
p＝tp/(tp+fp)
[0090]
r＝tp/(tp+fn)
[0091]
式中，tp表示预测结果与标签一致的正样本，fp表示预测结果与标签不一致的正样本，fn是漏检的正样本；ap即p-r曲线下的面积，map则是各缺陷类别ap的平均值；
[0092]
当map趋于稳定，最近20轮内标准差低于5e-5，即可结束训练；
[0093]
步骤2.5：学习率减半，继续迭代训练，当最近20轮内map的标准差小于设定阈值c2＝1e-6时，模型训练结束。
[0094]
本实施例采用分阶段训练，步骤6.1是一次训练，是对模型表现贡献最显著的部分，步骤6.2是二次训练，为了让模型表现在小范围内进一步增强。
[0095]
设置学习率为1e-3，迭代n＝120次，map变化曲线如图5所示，末端map渐趋稳定；学习率调低为1e-4继续迭代m＝50次，map变化曲线如图6所示，当map趋向平稳，模型训练结束。输出模型结果，检测效果如图7所示。
[0096]
步骤3：将预检测的带钢图片作为训练后的神经网络模型输入，通过神经网络模型
输出缺陷的位置及种类。
[0097]
在不同的预测为正类的iou阈值下，结果如表3～4所示：
[0098]
表3不同iou下ap和ar的表现
[0099][0100]
表4训练速度比对：
[0101][0102]
验证速率：0.954s/image(1024*1024)。输入标准尺寸由6张1600*256尺寸原图等比例压缩成1024*164后纵向堆垛6张制成一份1024*1024(空余部分用黑色填充)，即可一次性送入6张原图同时预测，即对于原图而言，模型1s预测约6.2张原图。