带钢表面缺陷检测方法及系统

1.本发明涉及带钢表面缺陷检测技术领域，尤其是指一种带钢表面缺陷检测方法及系统。


背景技术：

2.钢材是工业上必不可少的重要原材料之一，被广泛应用于汽车制造、航天航空和电力能源等领域。但是，由于制造工艺和生产环境等复杂因素影响，其表面易出现各种缺陷。这些缺陷不仅影响产品外观，还会对其性能和安全产生不利影响。因此,对钢表面缺陷进行检测以控制其质量尤为重要。
3.基于机器视觉的自动检测方法具有实时、高效、经济且非接触等优势，然而传统的机器视觉检测技术需要先利用图像处理和识别算法提取图像特征，再通过机器学习算法将这些特征分类，其检测精度在一定程度上依赖于人类专家设计的特征,且对应用环境的变化非常敏感。
4.深度学习无需设计人工特征，可以通过训练数据自动学习特征，并将特征提取和分类融合，实现了更加可靠通用的缺陷检测。但深度学习的应用依赖大数据驱动，基于传统深度学习所训练的分类器多数建立在训练样本充足的情况下，而实际工业生产中表面缺陷数据难以获得，采集大量带标签的样本是费时且昂贵的，导致现有方法在小样本的环境下缺陷识别准确率较低，甚至存在误识别等问题。


技术实现要素：

5.为此，本发明所要解决的技术问题在于克服现有技术中缺陷识别准确率低，甚至存在误识别的技术缺陷。
6.为解决上述技术问题，本发明提供了一种带钢表面缺陷检测方法，包括以下步骤：
7.s1、获取带钢表面缺陷样本，将缺陷样本分为训练集和测试集；
8.s2、构建基于残差优化的改进acgan模型，所述改进acgan模型包括生成器网络和判别器网络；
9.s3、以不同的比例训练改进acgan模型的判别器网络和生成器网络，并引入生成对抗机制，获得判别器和生成器的判别损失和分类损失；
10.s4、在判别器中引入梯度惩罚机制，并与判别损失和分类损失相结合，基于训练集利用梯度下降法优化判别器网络模型参数，获得优化后的判别器网络模型；
11.s5、将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，获得优化后的生成器网络模型；
12.s6、重复s3至s5，迭代以使得生成器和判别器达到纳什平衡，所述改进acgan模型收敛到最佳，保存模型参数，获得优化后的改进acgan模型；
13.s7、将测试集数据输入至优化后的改进acgan模型，实现带钢表面缺陷检测。
14.作为优选的，所述s2包括：
15.构建生成器网络，所述生成器网络包括依次设置的1个第一全连接层、5个上采样残差块和1个第一卷积层；
16.构建判别器网络，所述判别器网络包括6个下采样残差块、2个第二全连接层和2个输出层，其中，2个全连接层与基础acgan网络一致，分别对应于判别层和分类层，2个输出层对应于判别打分输出和预测类别概率输出。
17.分别初始化生成器和判别器的网络参数θ
g
和θ
d
。
18.作为优选的，所述上采样残差块包括res1子模块、res2子模块和short
‑
cut子模块；
19.所述res1子模块包括依次设置的批归一化、激活函数relu、上采样层和3
×
3卷积层；
20.所述res2子模块包括依次设置的批归一化、激活函数relu和3
×
3卷积层；
21.所述short
‑
cut子模块包括上采样层和1
×
1卷积层。
22.作为优选的，所述下采样残差块包括res1子模块、res2子模块和short
‑
cut子模块；
23.所述res1子模块包括3
×
3卷积层和leaky relu激活函数；
24.所述res2子模块包括3
×
3卷积层、leaky relu激活函数和下采样层；
25.所述short
‑
cut子模块包含下采样层和1
×
1卷积层。
26.作为优选的，所述s3包括：
27.随机采样满足均匀分布的噪声向量与随机采样的one
‑
hot类别标签向量联合组成输入生成器网络生成新样本，其样本分布为p
g
；
28.将生成新样本和真实训练集样本输入判别器得到相应的判别打分和预测类别概率，基于生成对抗机制将判别器的真假判别变为生成样本的质量判别；
29.依据生成样本质量改进判别器的判别对象，改进判别器的判别损失；
30.依据生成对抗网络的对抗机制，获取对应所述生成器的判别损失；
31.根据交叉熵函数计算生成器和判别器网络的分类损失。
32.作为优选的，所述依据生成样本质量改进判别器的判别对象，改进判别器的判别损失，包括：
33.判别器的判别损失为：
[0034][0035]
其中，d(x)为判别器的判别打分，参数π＝0.3为生成样本质量高低的比例，即生成样本分布为p
g
＝πp
gr
+(1
‑
π)p
gf
，p
gr
表示高质量生成样本分布，p
gf
表示低质量生成样本分布；
[0036]
依据生成对抗机制，判别器的目标为当样本为高质量生成样本时，最大化判别器打分d(x)；当样本为低质量生成样本时，最小化判别器打分d(x)，即最大化(1
‑
d(x))；
[0037]
当迭代预设周期时，高质量样本分布p
gr
能够等同于真实样本分布p
d
，低质量样本分布p
gf
能够由所述生成样本和高质量样本之差表示：
[0038][0039]
改进后的判别器网络的判别损失通过生成样本和真实样本计算：
[0040][0041]
进一步改进判别器的判别损失为：
[0042][0043]
作为优选的，所述依据生成对抗网络的对抗机制，获取对应所述生成器的判别损失，包括：
[0044]
生成器的判别损失
[0045]
所述根据交叉熵函数计算生成器和判别器网络的分类损失，包括：
[0046]
分类损失
[0047]
其中，h是样本序数，b为生成样本总数或真实样本总数，为对应数据判别器所输出的预测类别概率，y
h
为输入样本的真实标签。
[0048]
作为优选的，所述s4包括：
[0049]
梯度惩罚项为：
[0050][0051]
其中，δ取自服从与真实样本标准差的均匀分布，通过在真实样本周围插入干扰样本(x+δ)以限制判别器在真实样本分布中的梯度；
[0052]
判别器网络的总损失为：
[0053][0054]
其中λ＝3，γ＝10分别表示分类损失与梯度惩罚对于判别器模型的重要程度；
[0055]
通过反向传播，利用梯度下降法迭代更新模型参数，优化判别器的损失；
[0056]
在每次迭代过程中，判别器的参数θ
d
通过判别器学习率α
d
＝0.0002进行更新：
[0057][0058]
作为优选的，所述将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，包括：
[0059]
生成器网络的损失为：
[0060][0061]
其中，λ表示分类损失对于生成器模型的重要程度；
[0062]
结合生成器学习率α
g
优化分布差异与分类损失，更新生成器参数θ
g
：
[0063][0064]
本发明公开了一种基于改进辅助分类生成对抗网络的带钢表面缺陷检测系统，包括：
[0065]
样本获取模块，所述样品获取模块用于获取带钢表面缺陷样本，将缺陷样本分为训练集和测试集；
[0066]
模型构建模块，所述模型构建模块用于构建基于残差优化的改进acgan模型，所述改进acgan模型包括生成器网络和判别器网络；
[0067]
损失获取模块，所述损失获取模块以不同的比例训练改进acgan模型的判别器网络和生成器网络，并引入生成对抗机制，获得判别器和生成器的判别损失和分类损失；
[0068]
判别器网络优化模块，所述判别器网络优化模块用于在判别器中引入梯度惩罚机制，并与判别损失和分类损失相结合，基于训练集利用梯度下降法优化判别器网络模型参数，获得优化后的判别器网络模型；
[0069]
生成器网络优化模块，所述生成器网络优化模块用于将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，获得优化后的生成器网络模型；
[0070]
改进acgan模型优化模块，所述改进acgan模型优化模块用于迭代以使得生成器和判别器达到纳什平衡，所述改进acgan模型收敛到最佳，保存模型参数，获得优化后的改进acgan模型；
[0071]
测试模块，所述测试模块将测试集数据输入至优化后的改进acgan模型，实现带钢表面缺陷检测。
[0072]
本发明的上述技术方案相比现有技术具有以下优点：
[0073]
1、本发明针对小样本环境下钢表面缺陷检测问题进行研究，公开了一种改进acgan的带钢表面缺陷检测方法，该方法选择辅助分类对抗网络acgan为基础网络模型，通过残差优化网络来提升模型的深层特征提取能力，并改进判别器的损失函数来提高生成样本的质量和模型训练的稳定性，最后通过合成高质量的新样本来实现样本扩充。
[0074]
2、本发明能够提高acgan模型的训练稳定性，极大程度的提高小样本环境下带钢表面缺陷检测的准确性。
附图说明
[0075]
图1为是本技术公开的带钢表面缺陷检测方法的流程图；
[0076]
图2为基于改进的辅助分类生成对抗网络的模型图；
[0077]
图3为生成器的上采样残差块结构示意图；
[0078]
图4为判别器的下采样残差块结构示意图。
具体实施方式
[0079]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0080]
参照图1
‑
图4所示，本发明公开了一种带钢表面缺陷检测方法，包括以下步骤：
[0081]
步骤一、获取带钢表面缺陷样本，将缺陷样本分为训练集和测试集；
[0082]
步骤二、构建基于残差优化的改进acgan模型，改进acgan模型包括生成器网络和判别器网络,包括：
[0083]
构建生成器网络，生成器网络包括依次设置的1个第一全连接层、5个上采样残差块和1个第一卷积层；
[0084]
构建判别器网络，判别器网络包括6个下采样残差块、2个第二全连接层和2个输出
层，其中，2个全连接层与基础acgan网络一致，分别对应于判别层和分类层，2个输出层对应于判别打分输出和预测类别概率输出。
[0085]
分别初始化生成器和判别器的网络参数θ
g
和θ
d
。
[0086]
其中，上采样残差块包括res1子模块、res2子模块和short
‑
cut子模块；res1子模块包括依次设置的批归一化、激活函数relu、上采样层和3
×
3卷积层；res2子模块包括依次设置的批归一化、激活函数relu和3
×
3卷积层；short
‑
cut子模块包括上采样层和1
×
1卷积层。
[0087]
下采样残差块包括res1子模块、res2子模块和short
‑
cut子模块；res1子模块包括3
×
3卷积层和leaky relu激活函数；res2子模块包括3
×
3卷积层、leaky relu激活函数和下采样层；short
‑
cut子模块包含下采样层和1
×
1卷积层。
[0088]
步骤三、以不同的比例训练改进acgan模型的判别器网络和生成器网络，并引入生成对抗机制，获得判别器和生成器的判别损失和分类损失，包括：
[0089]
s31、随机采样满足均匀分布的噪声向量与随机采样的one
‑
hot类别标签向量联合组成输入生成器网络生成新样本，其样本分布为p
g
；
[0090]
s32、将生成新样本和真实训练集样本输入判别器得到相应的判别打分和预测类别概率，基于生成对抗机制将判别器的真假判别变为生成样本的质量判别；
[0091]
s33、依据生成样本质量改进判别器的判别对象，改进判别器的判别损失，包括：
[0092]
判别器的判别损失为：
[0093][0094]
其中，d(x)为判别器的判别打分，参数π＝0.3为生成样本质量高低的比例，即生成样本分布为p
g
＝πp
gr
+(1
‑
π)p
gf
，p
gr
表示高质量生成样本分布，p
gf
表示低质量生成样本分布；
[0095]
依据生成对抗机制，判别器的目标为当样本为高质量生成样本时，最大化判别器打分d(x)；当样本为低质量生成样本时，最小化判别器打分d(x)，即最大化(1
‑
d(x))；
[0096]
当迭代预设周期时，高质量样本分布p
gr
能够等同于真实样本分布p
d
，低质量样本分布p
gf
能够由生成样本和高质量样本之差表示：
[0097][0098]
改进后的判别器网络的判别损失通过生成样本和真实样本计算：
[0099][0100]
进一步改进判别器的判别损失为：
[0101][0102]
s34、依据生成对抗网络的对抗机制，获取对应生成器的判别损失，包括：
[0103]
生成器的判别损失
[0104]
根据交叉熵函数计算生成器和判别器网络的分类损失，包括：
[0105]
分类损失
[0106]
其中，h是样本序数，b为生成样本总数或真实样本总数，为对应数据判别器所输出的预测类别概率，y
h
为输入样本的真实标签。
[0107]
s35、根据交叉熵函数计算生成器和判别器网络的分类损失。
[0108]
步骤四、在判别器中引入梯度惩罚机制，并与判别损失和分类损失相结合，基于训练集利用梯度下降法优化判别器网络模型参数，获得优化后的判别器网络模型，包括：
[0109]
梯度惩罚项为：
[0110][0111]
其中，δ取自服从与真实样本标准差的均匀分布，通过在真实样本周围插入干扰样本(x+δ)以限制判别器在真实样本分布中的梯度；
[0112]
判别器网络的总损失为：
[0113][0114]
其中，λ和γ分别表示分类损失与梯度惩罚对于判别器模型的重要程度；
[0115]
通过反向传播，利用梯度下降法迭代更新模型参数，优化判别器的损失；在每次迭代过程中，判别器的参数θ
d
通过判别器学习率α
d
进行更新：
[0116][0117]
步骤五、将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，获得优化后的生成器网络模型；
[0118]
步骤六、重复步骤三至步骤五，迭代以使得生成器和判别器达到纳什平衡，改进acgan模型收敛到最佳，保存模型参数，获得优化后的改进acgan模型。
[0119]
其中，将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，包括：
[0120]
生成器网络的损失为：
[0121][0122]
其中，λ表示分类损失对于生成器模型的重要程度；
[0123]
结合生成器学习率α
g
优化分布差异与分类损失，更新生成器参数θ
g
：
[0124][0125]
步骤七、将测试集数据输入至优化后的改进acgan模型，实现带钢表面缺陷检测。
[0126]
本发明还公开了一种基于改进辅助分类生成对抗网络的带钢表面缺陷检测系统，包括样本获取模块、模型构建模块、损失获取模块、判别器网络优化模块、生成器网络优化模块、改进acgan模型优化模块、测试模块。
[0127]
样品获取模块用于获取带钢表面缺陷样本，将缺陷样本分为训练集和测试集；
[0128]
模型构建模块用于构建基于残差优化的改进acgan模型，改进acgan模型包括生成器网络和判别器网络。
[0129]
损失获取模块以不同的比例训练改进acgan模型的判别器网络和生成器网络，并引入生成对抗机制，获得判别器和生成器的判别损失和分类损失。
[0130]
判别器网络优化模块用于在判别器中引入梯度惩罚机制，并与判别损失和分类损失相结合，基于训练集利用梯度下降法优化判别器网络模型参数，获得优化后的判别器网络模型。
[0131]
生成器网络优化模块用于将生成器判别损失和分类损失相结合，基于训练集利用梯度下降法更新生成器网络模型参数，获得优化后的生成器网络模型。
[0132]
改进acgan模型优化模块用于迭代以使得生成器和判别器达到纳什平衡，改进acgan模型收敛到最佳，保存模型参数，获得优化后的改进acgan模型。
[0133]
测试模块将测试集数据输入至优化后的改进acgan模型，实现带钢表面缺陷检测。
[0134]
下面，结合具体实施例对本发明的技术方案做进一步说明。
[0135]
步骤s1：从公开数据集获取带钢表面缺陷样本，对所有样本图像进行分割并统一尺寸，并为每个样本制作相应类别one
‑
hot类型标签，具体方法可以参考现有的方法，本技术不再赘述。将所有样本按照一定的比例分为训练集与测试集。
[0136]
步骤s2：搭建改进acgan网络模型：
[0137]
(1)构建生成器网络，生成器网络包含1个全连接层、5个上采样残差块和一个3
×
3卷积层组成，具体如模型图2的生成器所示。生成器的上采样残差块包含三个子模块，结构如图3所示：res1由批归一化、激活函数relu、上采样层及3
×
3卷积层组成；res2由批归一化、激活函数relu和3
×
3卷积层组成；short
‑
cut子模块包含上采样层和1
×
1卷积层。
[0138]
(2)构建判别器网络，判别器网络由6个下采样残差块、2个全连接层和2个输出层组成，具体如模型图2的判别器所示。判别器的下采样残差块结构如图4所示：res1由3
×
3卷积层和leaky relu激活函数组成；res2包括3
×
3卷积层、leaky relu激活函数和下采样层；short
‑
cut子模块包含下采样层和1
×
1卷积层。2个全连接层与基础acgan网络一致，分别对应于判别层和分类层，2个输出层对应于判别打分输出和预测类别概率输出。
[0139]
(3)分别初始化生成器和判别器的网络参数θ
g
和θ
d
。
[0140]
步骤s3：以不同的比例训练改进acgan的判别器和生成器网络，具体训练流程如图4所示，并引入生成对抗机制，分别得到判别器和生成器的判别损失和分类损失。
[0141]
(1)随机采样满足均匀分布的噪声向量与随机采样的one
‑
hot类别标签向量联合组成输入生成器网络生成128
×
128的新样本，其样本分布为p
g
。将生成新样本和真实训练样本输入判别器得到相应的判别打分和预测类别概率。
[0142]
(2)依据生成样本质量改进判别器的判别对象，改进判别器的判别损失，基于生成对抗机制将判别器的真假判别变为生成样本的质量判别，即判别器的判别损失为：
[0143][0144]
其中d(x)为判别器的判别打分，参数π＝0.3为生成样本质量高低的比例，即生成样本分布为p
g
＝πp
gr
+(1
‑
π)p
gf
，p
gr
表示高质量生成样本分布，p
gf
表示低质量生成样本分布。依据生成对抗机制，判别器的目标为当样本为高质量生成样本时，最大化判别器打分d(x)；当样本为低质量生成样本时，最小化判别器打分d(x)，即最大化(1
‑
d(x))。通过最大化判别器的判别损失l
a
d
dv
评估生成样本，提高判别器的判别能力并反馈给生成器调整生成样本的低质量部分。当迭代一定周期时，高质量样本分布p
gr
可等同于真实样本分布p
d
，低质量样本分布p
gf
可以由所述生成样本和高质量样本之差表示：
[0145][0146]
改进后的判别器网络的判别损失通过生成样本和真实样本计算：
[0147][0148]
为避免损失为负而引起的模型不稳定和过拟合现象，进一步改进判别器的判别损失为：
[0149][0150]
(3)依据生成对抗网络的对抗机制，对应所述生成器的判别损失为：
[0151][0152]
对生成器而言，其目标为生成尽可能高质量的生成样本，使得判别器无法区分，即生成样本的判别打分d(x)最大化，通过最大化生成器的判别损失来提高生成样本的质量。
[0153]
(4)生成器和判别器网络的分类损失，根据交叉熵函数计算为：
[0154][0155]
其中，h是样本序数，b为生成样本总数或真实样本总数，为对应数据判别器所输出的预测类别概率，y
h
为输入样本的真实标签。
[0156]
步骤s4：在判别器中引入梯度惩罚机制，并与改进判别损失和分类损失相结合通过梯度下降法优化判别器网络模型参数。
[0157]
(1)原始acgan模型在训练过程中易发生梯度爆炸现象，引入梯度惩罚机制，通过在真实样本附近添加梯度约束，缓解判别器过大的梯度变化，梯度惩罚项为：
[0158][0159]
其中δ取自服从与真实样本标准差的均匀分布，通过在真实样本周围插入干扰样本(x+δ)，来限制判别器在真实样本分布中的梯度，以避免局部平衡带来的模式崩塌现象，进而实现稳定可靠的训练。
[0160]
(2)判别器网络的总损失为：
[0161][0162]
其中λ＝3，γ＝10分别表示分类损失与梯度惩罚对于判别器模型的重要程度。通过反向传播，利用梯度下降法迭代更新模型参数，优化判别器的损失。在每次迭代过程中，判别器的参数θ
d
通过判别器学习率α
d
＝0.0002进行更新：
[0163][0164]
步骤s5：将生成器判别损失和分类损失相结合，利用梯度下降法更新生成器网络模型参数网络模型。生成器网络的损失为：
[0165]
[0166]
其中λ＝3表示分类损失对于生成器模型的重要程度。结合生成器学习率α
g
＝0.0002优化分布差异与分类损失，更新生成器参数θ
g
：
[0167][0168]
步骤s6：重复步骤s3至s5，大约迭代次数达到30000次时，生成器和判别器达到纳什平衡，模型收敛到最佳，保存模型参数。输入测试集数据，实现带钢表面缺陷检测。
[0169]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0170]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0171]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0172]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0173]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。