基于YOLOV5m的汽车零部件缺陷检测方法、装置及存储介质与流程

本发明涉及缺陷检测，具体涉及一种基于yolo v5m的汽车零部件缺陷检测方法、装置及存储介质。

背景技术：

1、先进的工业系统需要不断提高产品性能，同时也提出了越来越需严苛的质量要求。然而，产品表面的划痕、斑点或孔洞等缺陷不仅会影响产品的美观和使用的舒适度，还会影响其性能。

2、缺陷检测是减少产品缺陷不利影响的有效方法。人工目视检查是对工业产品进行质量控制的传统方法。尽管在某些情况下，人工目视检查可能更优越，但效率低且易疲劳。对于某些发生故障时会产生危险后果的应用来说，人工目视检查是不可行的。其次，人工视觉检测由于其采样率低、实时性差、检测置信度等缺点，无法满足现代工业生产线的效率和质量要求。因此，需要开发更高效、更可靠的视觉检测技术。

3、机器视觉通过光学设备和非接触式传感器自动接收和处理真实物体图像，是实现智能制造的关键技术之一，并且成为了替代人工视觉检测的有效手段。

4、例如cn113421252a公开了一种基于改进的卷积神经网络的车身焊接缺陷实际检测方法，其通过高清相机采集含缺陷处的图像并借助yolo v3(you only look once)提取存在焊接缺陷的区域，并对各焊接缺陷进行分类并制作相应的标签后作为训练样本，基于改进的卷积神经网络进行训练，并以训练完成的改进的卷积神经网络对输入的车身图像进行焊接缺陷检测。

5、上述检测方法中，实现了全面抓取特征图中所含特征以实现检测精度的提升；而汽车零部件的生产或加工过程中，易受到刀具磨损、加工热变形等因素的影响，使其发生整体外形上的变化，特别是整体外形上细微的变化相较于零件表面上的焊接缺陷等往往更难以分辨；显而易见的，上述方法并不适于对汽车零部件整体外形缺陷进行有效检测。

6、因此，亟需提供一种可针对汽车零部件整体外形缺陷进行有效检测的方法，以解决前述问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于yolo v5m的汽车零部件缺陷检测方法、装置及存储介质，解决了现有技术中无法有效检测汽车零部件整体外形缺陷的弊端的技术问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明的一个方面，提供了一种基于yolo v5m的汽车零部件缺陷检测方法，该方法包括：

4、获取目标数量的训练图像；所述训练图像包括标签，所述标签包括外形缺陷；

5、基于所有所述训练图像构建训练集；

6、基于所述训练集训练改进型yolo v5m模型，获得训练完成的改进型yolo v5m模型；所述改进型yolo v5m模型为backbone层中第二csp模块、第三csp模块和第四csp模块前分别拼接有一个transformer编码器的yolo v5m模型；

7、获取待检测图像并输入训练完成的改进型yolo v5m模型，输出预测结果。

8、进一步，所述训练图像均由配准后的rgb图像、红外图像和x射线图像组成；其中，所述训练图像对应的rgb图像、红外图像和x射线图像均含有标签；

9、所述基于所述训练集训练改进型yolo v5m模型包括：

10、选取训练数据集中样本对应rgb图像、红外图像和x射线图像中的至少一种作为预处理数据；

11、判断预处理数据中任一通道对应特征图的尺寸是否大于设定尺寸：

12、若任一通道对应特征图的尺寸大于设定尺寸，则将各通道对应特征图均调整至设定尺寸后切片，若任一通道对应特征图的尺寸等于设定尺寸，则将各通道对应特征图直接切片；对切片所得所有特征图进行通道拼接，基于拼接结果构建w×h×(5×m)的输入特征图，作为神经网络输入特征；其中，w×h为切片所得特征图的尺寸，5×m为输入特征图的通道总数，m为一个通道对应特征图切片后所得特征图的总数；

13、若任一通道对应特征图的尺寸小于设定尺寸，则将各通道对应特征图的尺寸调整至w×h，并对调整结果进行通道拼接，基于通道拼接结果构建w×h×(5×m)的输入特征图，作为神经网络输入特征；

14、其中，当输入特征图中存在通道为空时，采用通道均值克隆法对为空通道进行通道填充；

15、将神经网络输入特征输入改进型yolo v5m模型进行模型训练。

16、进一步，所述将神经网络输入特征输入改进型yolo v5m模型进行模型训练，包括计算损失函数losstotal；

17、losstotal＝a*lossrect+b*lossobj+c*lossclc；

18、其中，a、b、c分别为lossrect、lossobj和lossclc对应的权重；

19、lossrect为矩形框损失，lossobj为置信度损失，lossclc为分类损失；

20、lossrect＝1-ciou；

21、ciou为相似度评价指标；

22、ρ为预测框和真实框的中心点距离；

23、c为可同时包围预测框和真实框的最小矩形的对角线长度；

24、v为预测框的高宽比和真实框的高宽比间的相似度；

25、α为v的影响因子；

26、s1为预测框和真实框的交集面积；

27、s2为预测框和真实框的并集面积；

28、lossobj＝-l*logp-(1-l)*log(1-p)

29、l为置信度标签矩阵，p为预测置信度矩阵；

30、l和p均为1×n×n矩阵，n为划分网格的行数；

31、l中每个元素为对应网格中预测框与真实框的ciou；

32、p中每个元素为0或者1，为o时表示对应网格中不存在目标，而为1时表示对应网格中存在目标；

33、

34、n为划分网格总数并等于n×n，i为网格序号，m为缺陷类别数量，yic为符号函数，若网格i中对象的缺陷类别等于c则取1，否则取0；pic为网格i中对象的缺陷类别为c的预测概率。

35、进一步，所述待检图像为配准后的待测汽车零部件对应rgb图像、红外图像和x射线图像中的至少一种；

36、所述获取待检测图像并输入训练完成的改进型yolo v5m模型，输出预测结果，包括：

37、选取待检测图像作为待检测数据；

38、判断待检测数据中任一通道对应特征图的尺寸是否大于设定尺寸：

39、若任一通道对应特征图的尺寸大于设定尺寸，则将各通道对应特征图均调整至设定尺寸后切片，若任一通道对应特征图的尺寸等于设定尺寸，则将各通道对应特征图直接切片；对切片所得所有特征图进行通道拼接，基于拼接结果构建w×h×(5×m)的输入特征图，作为待检测神经网络输入特征；其中，w×h为切片所得特征图的尺寸，5×m为输入特征图的通道总数，m为一个通道对应特征图切片后所得特征图的总数；

40、若任一通道对应特征图的尺寸小于设定尺寸，则将各通道对应特征图的尺寸调整至w×h，并对调整结果进行通道拼接，基于通道拼接结果构建w×h×(5×m)的输入特征图，作为待检测神经网络输入特征；

41、其中，当输入特征图中存在通道为空时，采用通道均值克隆法对为空通道进行通道填充；

42、将待检测神经网络输入特征输入训练完成的改进型yolo v5m模型，输出预测结果。

43、本发明的第二方面，还提供一种基于yolo v5m的汽车零部件缺陷检测装置，包括：

44、数据获取模块，用于执行获取目标数量的训练图像，所述训练图像包括标签，所述标签包括外形缺陷；

45、数据扩增模块，用于执行基于所有所述训练图像构建训练数据集；

46、模型训练模块，用于执行基于所述训练数据集训练改进型yolo v5m模型，获得训练完成的改进型yolo v5m模型；所述改进型yolo v5m模型为backbone层中第二csp模块、第三csp模块和第四csp模块前分别拼接有一个transformer编码器的yolo v5m模型；

47、目标检测模块，用于执行获取待检测图像并输入训练完成的改进型yolo v5m模型，输出预测结果。

48、进一步，所述训练图像均由配准后的rgb图像、红外图像和x射线图像组成；其中，所述训练图像对应的rgb图像、红外图像和x射线图像中分别含有标签；

49、所述模型训练模块还包括自适应多模态数据处理模块a和训练模块；

50、自适应多模态数据处理模块a，用于执行选取训练数据集中样本对应rgb图像、红外图像和x射线图像中的至少一种作为预处理数据；

51、判断预处理数据中任一通道对应特征图的尺寸是否大于设定尺寸：

52、若任一通道对应特征图的尺寸大于设定尺寸，则将各通道对应特征图均调整至设定尺寸后切片，若任一通道对应特征图的尺寸等于设定尺寸，则将各通道对应特征图直接切片；对切片所得所有特征图进行通道拼接，基于拼接结果构建w×h×(5×m)的输入特征图，作为神经网络输入特征；其中，w×h为切片所得特征图的尺寸，5×m为输入特征图的通道总数，m为一个通道对应特征图切片后所得特征图的总数；

53、若任一通道对应特征图的尺寸小于设定尺寸，则将各通道对应特征图的尺寸调整至w×h，并对调整结果进行通道拼接，基于通道拼接结果构建w×h×(5×m)的输入特征图，作为神经网络输入特征；

54、其中，当输入特征图中存在通道为空时，采用通道均值克隆法对为空通道进行通道填充；

55、训练模块，用于执行将神经网络输入特征输入改进型yolo v5m模型进行模型训练。

56、进一步，所述训练模块还包括损失函数计算模块；

57、所述损失函数计算模块，用于执行计算损失函数losstotal；

58、losstotal＝a*lossrect+b*lossobj+c*lossclc；

59、其中，a、b、c分别为lossrect、lossobj和lossclc对应的权重；

60、lossrect为矩形框损失，lossobj为置信度损失，lossclc为分类损失；

61、lossrect＝1-ciou；

62、ciou为相似度评价指标；

63、ρ为预测框和真实框的中心点距离；

64、c为可同时包围预测框和真实框的最小矩形的对角线长度；

65、v为预测框的高宽比和真实框的高宽比间的相似度；

66、α为v的影响因子；

67、s1为预测框和真实框的交集面积；

68、s2为预测框和真实框的并集面积；

69、lossobj＝-l*logp-(1-l)*log(1-p)

70、l为置信度标签矩阵，p为预测置信度矩阵；

71、l和p均为1×n×n矩阵，n为划分网格的行数；

72、l中每个元素为对应网格中预测框与真实框的ciou；

73、p中每个元素为0或者1，为o时表示对应网格中不存在目标，而为1时表示对应网格中存在目标；

74、

75、n为划分网格总数并等于n×n，i为网格序号，m为缺陷类别数量，yic为符号函数，若网格i中对象的缺陷类别等于c则取1，否则取0；pic为网格i中对象的缺陷类别为c的预测概率。

76、进一步，所述待检图像为配准后的待测汽车零部件对应rgb图像、红外图像和x射线图像中的至少一种；

77、所述目标检测模块还包括自适应多模态数据处理模块b和预测模块；

78、所述自适应多模态数据处理模块b，用于执行选取待检测图像作为待检测数据，判断待检测数据中任一通道对应特征图的尺寸是否大于设定尺寸：

79、若任一通道对应特征图的尺寸大于设定尺寸，则将各通道对应特征图均调整至设定尺寸后切片，若任一通道对应特征图的尺寸等于设定尺寸，则将各通道对应特征图直接切片；对切片所得所有特征图进行通道拼接，基于拼接结果构建w×h×(5×m)的输入特征图，作为待检测神经网络输入特征；其中，w×h为切片所得特征图的尺寸，5×m为输入特征图的通道总数，m为一个通道对应特征图切片后所得特征图的总数；

80、若任一通道对应特征图的尺寸小于设定尺寸，则将各通道对应特征图的尺寸调整至w×h，并对调整结果进行通道拼接，基于通道拼接结果构建w×h×(5×m)的输入特征图，作为待检测神经网络输入特征；

81、其中，当输入特征图中存在通道为空时，采用通道均值克隆法对为空通道进行通道填充；

82、所述预测模块，用于执行将待检测神经网络输入特征输入训练完成的改进型yolov5m模型，输出预测结果。

83、本发明的第三方面，还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时实现上述的一种基于yolo v5m的汽车零部件缺陷检测方法。

84、本发明的第四方面，还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

85、存储器，用于存放计算机程序；

86、处理器，用于执行存储器上所存放的程序时，实现上述的一种基于yolo v5m的汽车零部件缺陷检测方法。

87、本发明提供的一种基于yolo v5m的汽车零部件缺陷检测方法、装置及存储介质，与现有技术相比，具备以下有益效果：

88、本发明通过在backbone层中第二csp模块、第三csp模块和第四csp模块前均拼接有transformer编码器的yolo v5m模型，获得了改进型yolo v5m模型，该改进的模型借助transformer编码器，有助于提高网络对图像中零部件的整体外形信息的提取能力，从而有助于提高网络对零部件整体外形缺陷的诊断能力，从而避免现有技术中仅局限于局部缺陷的弊端。