一种基于多尺度编织融合网络的工业产品表面缺陷检测方法

本发明涉及一种工业产品表面缺陷检测方法，具体涉及一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，属于表面缺陷检测。

背景技术：

1、现代工业生产中，产品缺陷检测是一个至关重要的环节，它对于确保产品质量、提高生产效率和降低成本具有重要意义。在工业领域如导光板、轴承、磁瓦等产品的缺陷检测过程中，通常面临着诸多挑战，例如检测目标尺寸较小、对比度低、类内差异显著以及类间差异不明显等问题。

2、工业生产中的许多缺陷往往具有细小、微弱的特征，因此需要进行缺陷检测的网络模型具备更强的感知能力和鲁棒性，能够应对低对比度和小缺陷等复杂情况。而常规的采用目标检测模型的缺陷检测方法往往无法满足这些要求，因为常规的目标检测模型在在构建时通常假设了较高的对比度和较大的目标尺寸，忽略了对细微特征的敏感性。此外，因为针对不同类型的工业产品，缺陷的形态和特征不尽相同，简单地更换数据集可能无法覆盖所有情况，且缺乏针对性。

3、综上所述，为了在工业产品表面缺陷检测领域取得更好的缺陷检测效果，需要一种高效准确的工业产品表面缺陷检测方法提升缺陷检测的性能和效果。

技术实现思路

1、基于以上背景，本发明的目的在于提供一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，应对现有技术中对工业产品表面缺陷检测的局限性，提高表面缺陷检测模型在缺陷检测任务中的性能。

2、为了实现上述发明目的，本发明提供以下技术方案：

3、一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，该方法包括以下步骤：

4、将工业产品表面缺陷分类，根据缺陷分类采集数据集，将数据集划分为训练集、验证集和测试集；

5、基于yolov7的主干网络构建多尺度编织融合网络模型的主干网络单元；

6、在主干网络单元后设置多分支膨胀卷积模块，并使所述多分支膨胀卷积模块与颈部网络单元连接；

7、采用上下文并行融合编织网络构建多尺度编织融合网络模型的颈部网络单元，所述上下文并行融合编织网络具有三个提取自不同特征层且包含不同尺度特征信息的并行分支，每个并行分支均包括特征融合模块，所述特征融合模块用于将提取自不同特征层且具有不同尺度特征信息和不同语义信息的特征图进行融合；

8、通过训练集和验证集对所述多尺度编织融合网络模型进行模型训练，模型训练采用的损失函数包括分类损失函数、定位损失函数和置信度损失函数，在所述置信度损失函数中引入损失排名模块，所述损失排名模块用于通过损失等级挖掘处理损失值以过滤掉模型预测的置信度低的预测框；

9、通过测试集对训练完成的多尺度编织融合网络模型测试；

10、部署多尺度编织融合网络模型，对工业产品进行表面缺陷检测。

11、作为优选，所述主干网络单元包括cbs模块、elan模块、mp模块和sppcspc模块，三个cbs模块依次连接第一个elan模块和第一个mp模块，之后依次连接第二个elan模块和第二个mp模块以及第三个elan模块和第三个mp模块，再连接第四个elan模块和一个sppcspc模块。

12、作为优选，所述多分支膨胀卷积模块连接sppcspc模块，所述多分支膨胀卷积模块通过不同尺寸的卷积核构成多分支结构，并引入空洞卷积层，且用不同空洞率的值表示空洞卷积层的参数。

13、作为优选，多分支膨胀卷积模块的输出特征通过以下方法获得：

14、输入特征通过具有三个不同空洞率的空洞卷积形成具有不同感受野的特征图，其中，三个空洞卷积的空洞率分别为1、2、3，卷积核大小均为3×3；

15、将具有不同感受野的特征图进行连接融合；

16、通过卷积核大小为1×1的普通卷积恢复通道数；

17、通过relu激活函数获得输出特征。

18、作为优选，所述上下文并行融合编织网络具有前瞻性机制，所述前瞻性机制用于融合当前分支的当前层输出特征与相邻分支的未来层输出特征，从而捕捉在未来层可能出现的有用特征修正和增强当前层的特征表达。

19、作为优选，所述特征融合模块的输出特征通过以下方法获得：

20、接收来自不同层的多个输入特征，经过尺度对齐和连接融合，形成一个综合特征；

21、综合特征经过两个并行分支处理后连接融合，在第一个并行分支进行卷积、批量归一化和激活函数处理，在第二个并行分支进行卷积、批量归一化、激活函数和残差处理；

22、对连接融合后的特征进行卷积、批量归一化和激活函数处理，获得输出特征。

23、作为优选，所述置信度损失函数获得置信度损失值的方法包括以下步骤：

24、在每个小批次的训练过程中，对每个单元格应用平衡的focal loss函数，从而获得检测结果的损失值；

25、将三维单元格结构展平，将每个图像样本的损失值分别连接到不同的权重向量中；

26、对每个图像的损失值进行排序；

27、从排序后的损失向量中，选择每个图像样本的前b个单元格的数量比例，其中，b的数量由损失排名模块的lrm_ignore参数所决定；

28、分别计算每个选定损失的均值；

29、将均值相加，得到置信度损失值。

30、作为优选，所述工业产品为导光板，所述将工业产品表面缺陷分类包括：

31、将导光板表面缺陷分为亮线缺陷、暗线缺陷、面缺陷和白点缺陷。

32、作为优选，所述模型训练采用的训练参数为，batch size：16；dynamicparameters：0.937；initial learning rate：0.01；final learning rate：0.001；lrm_ignore：0.65；input image size：448×448；epochs：300。

33、与现有技术相比，本发明具有以下优点：

34、本发明的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，采用具有强大的上下文感知能力和并行特征融合特点的ec-pfn多尺度编织融合网络模型，显著提高特征融合的性能和效果，实现更准确的缺陷检测，优化目标检测任务中的目标性损失，通过忽略置信度低的预测框设来减少负样本的影响，提高模型的性能，提高目标检测的精度和速度。

技术特征：

1.一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述主干网络单元包括cbs模块、elan模块、mp模块和sppcspc模块，三个cbs模块依次连接第一个elan模块和第一个mp模块，之后依次连接第二个elan模块和第二个mp模块以及第三个elan模块和第三个mp模块，再连接第四个elan模块和一个sppcspc模块。

3.根据权利要求2所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述多分支膨胀卷积模块连接sppcspc模块，所述多分支膨胀卷积模块通过不同尺寸的卷积核构成多分支结构，并引入空洞卷积层，且用不同空洞率的值表示空洞卷积层的参数。

4.根据权利要求3所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述多分支膨胀卷积模块的输出特征通过以下方法获得：

5.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述上下文并行融合编织网络具有前瞻性机制，所述前瞻性机制用于融合当前分支的当前层输出特征与相邻分支的未来层输出特征，从而捕捉在未来层可能出现的有用特征修正和增强当前层的特征表达。

6.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述特征融合模块的输出特征通过以下方法获得：

7.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述置信度损失函数获得置信度损失值的方法包括以下步骤：

8.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述工业产品为导光板，所述将工业产品表面缺陷分类包括：

9.根据权利要求1所述的一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，其特征在于：所述模型训练采用的训练参数为，batch size：16；dynamic parameters：0.937；initial learning rate：0.01；final learning rate：0.001；lrm_ignore：0.65；input image size：448×448；epochs：300。

技术总结
本发明提供一种基于多尺度编织融合网络的工业产品表面缺陷检测方法，该方法包括以下步骤：将工业产品表面缺陷分类；构建多尺度编织融合网络模型的主干网络单元；在主干网络单元后设置多分支膨胀卷积模块；采用上下文并行融合编织网络构建多尺度编织融合网络模型的颈部网络单元，上下文并行融合编织网络具有三个并行分支，每个并行分支均包括特征融合模块，特征融合模块用于将提取自不同特征层且具有不同尺度特征信息和不同语义信息的特征图进行融合；对多尺度编织融合网络模型进行模型训练；对训练完成的多尺度编织融合网络模型测试；部署模型，对工业产品进行表面缺陷检测。本发明提高表面缺陷检测模型在缺陷检测任务中的性能。

技术研发人员：李俊峰,刘双宁,刘存淩
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/3/11