一种基于机器学习的汽车零部件生产检测方法及系统与流程

本发明属于汽车零部件检测，具体是指一种基于机器学习的汽车零部件生产检测方法及系统。

背景技术：

1、汽车零部件生产检测是汽车零部件生产过程的一项重要环节，它旨在及时排除零部件的缺陷，提高生产效率，降低生产成本，确保零部件的质量符合技术标准和规范要求，保证汽车的安全性和可靠性，减少事故风险。

2、但在现有的汽车零部件生产检测过程中，传统检测方法存在误报、漏报的问题，导致检测的准确性和鲁棒性弱的技术问题；存在因汽车零部件种类繁多，缺陷类型多样化，在适应零部件多样性和复杂性方面较弱的技术问题；存在零部件生产过程产生的数据量庞大，缺乏一种高效地处理大规模数据的检测方法的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于机器学习的汽车零部件生产检测方法及系统，针对在已有的汽车零部件生产检测过程中，传统检测方法存在误报、漏报的问题，导致检测的准确性和鲁棒性弱的技术问题，本方案采用傅里叶变换对图像进行操作，有助于图像进一步处理，使得图像更加清晰可靠，提高了检测算法的准确性；针对在已有的汽车零部件生产检测过程中，存在因汽车零部件种类繁多，缺陷类型多样化，在适应零部件多样性和复杂性方面较弱的技术问题，本方案采用跨层特征融合，获取更丰富的特征信息，提升了生产检测模型的性能；针对在现有的汽车零部件生产检测过程中，存在零部件生产过程产生的数据量庞大，缺乏一种高效地处理大规模数据的检测方法的技术问题，本方案采用基于长短期神经网络的汽车零部件生产检测算法，分析和处理特征矩阵并进行汽车零部件生产检测，优化了汽车零部件生产检测的效率。

2、本发明采取的技术方案如下：本发明提供的一种基于机器学习的汽车零部件生产检测方法，应用于汽车零部件生产检测系统，该方法包括以下步骤：

3、步骤s1：采集汽车零部件静态图像autoi；

4、步骤s2：图像预处理，采用傅里叶变换将静态图像autoi从空间域变换到频域，得到复数矩阵mo，对汽车零部件静态图像autoi进行傅里叶变换和小波变换，得到降噪后的图像autoi'；

5、步骤s3：特征融合，采用深度残差网络从图像autoi'中提取多尺度特征d，采用邻接交互算法，对多尺度特征d中的相邻层特征进行聚合，采用多级特征融合算法，对多尺度特征d中的连续特征进行融合，最后将相同分辨率的特征融合成深度融合特征；

6、步骤s4：特征提取，通过矩阵降维对深度融合特征进行重塑，通过矩阵乘法和softmax函数，生成特征交互矩阵，通过矩阵乘法和重塑操作，生成语义特征矩阵，采用基于信道关注的特征细化，优化语义特征，得到优化后的语义特征矩阵ds；

7、步骤s5：生产检测模型构建，通过线性变换，将优化后的语义特征矩阵ds变换为适合机器学习的特征向量，采用基于长短期神经网络的汽车零部件生产检测算法，建立生产检测模型，通过设置隐藏门、输入门和输出门，得到零部件生产检测模型modelcodf；

8、步骤s6：汽车零部件生产检测。

9、作为本方案的进一步改进，在步骤s1中，所述汽车零部件静态图像autoi包括汽车零部件的正面视图、背面视图、侧面视图、上方视图和下方视图。

10、作为本方案的进一步改进，在步骤s2中，所述图像预处理，包括以下步骤：

11、步骤s21：采用傅里叶变换将静态图像autoi从空间域变换到频域，得到复数矩阵mo，计算公式为：

12、；

13、式中，f（x，y）是对应于位置（x，y）的频谱分量的复数值，x是频率分量在水平方向上的索引，y是频率分量在垂直方向上的索引，n是输入图像的宽度，m是输入图像的高度，f（a，b）是输入图像中位置为（a，b）的复数值，j是虚数单位，是频谱分量的复指数项；

14、步骤s22：采用小波变换，对复数矩阵mo进行处理，得到小波系数矩阵mo'；

15、步骤s23：对小波系数矩阵mo'进行阈值处理并进行小波逆变换，得到降噪后的图像autoi'。

16、作为本方案的进一步改进，在步骤s3中，所述特征融合具体指跨层特征融合，包括以下步骤：

17、步骤s31：采用深度残差网络提取图像autoi'的多尺度特征d，用于特征融合；

18、步骤s32：采用邻接交互算法，对多尺度特征d中的相邻层特征进行聚合，包括以下步骤：

19、步骤s321：对多尺度特征d中相邻的两层特征进行聚合，计算公式为：

20、；

21、式中，是第i层特征的平方，d3×3是3×3的卷积操作，cat是对2个张量进行连接操作，di是第i层的特征，u是上采样操作；

22、步骤s322：对多尺度特征d中相邻的三层特征进行聚合，计算公式为：

23、；

24、式中，是第i层特征矩阵的立方；

25、步骤s33：采用多级特征融合算法，对多尺度特征d中的连续特征进行融合，包括以下步骤：

26、步骤s331：对多尺度特征d中连续的四层特征进行融合，计算公式为：

27、；

28、式中，是第i层特征的四次方；

29、步骤s332：对多尺度特征d中连续的五层特征进行融合，计算公式为：

30、；

31、式中，是第i层特征的五次方；

32、步骤s34：将相同分辨率的特征融合成深度融合特征、、、、。

33、作为本方案的进一步改进，在步骤s4中，所述特征提取，具体指语义感知特征提取，包括以下步骤：

34、步骤s41：生成特征交互矩阵，包括以下步骤：

35、步骤s411：通过矩阵降维，对深度融合特征进行重塑操作，计算公式为：

36、；

37、式中，是重塑后的第3层特征矩阵，满足，reshape（）是重塑操作，reshape函数是编程语言操作，是第3层的深度融合特征，r是特征矩阵的样本数，c是通道数，h是特征矩阵的高度，w是特征矩阵的宽度；

38、步骤s412：通过矩阵降维，对深度融合特征进行重塑操作，计算公式为：

39、；

40、式中，是重塑后的第4层特征矩阵，满足，是第4层的深度融合特征；

41、步骤s413：通过矩阵乘法和softmax函数，构造交互矩阵，计算公式为：

42、；

43、式中，v1是特征交互矩阵，σ（）是softmax函数，是矩阵乘法操作，t是转置操作，m1是权重矩阵；

44、步骤s42：生成语义特征矩阵，包括以下步骤：

45、步骤s421：通过矩阵乘法和重塑操作，生成左分支语义特征矩阵，计算公式为：

46、；

47、式中，是左分支语义特征矩阵；

48、步骤s422：生成右分支的语义特征矩阵，包括以下步骤：

49、步骤s4221：通过softmax函数和矩阵乘法，生成特征相似矩阵，计算公式为：

50、；

51、式中，v2是特征相似矩阵；

52、步骤s4222：通过矩阵乘法和重塑操作，生成右分支语义特征矩阵，计算公式为：

53、；

54、式中，是右分支语义特征矩阵；

55、步骤s43：采用基于信道关注的特征细化，优化语义特征，包括以下步骤：

56、步骤s431：将左分支语义特征矩阵和右分支语义特征矩阵拼接，生成新的语义特征矩阵，计算公式为：

57、；

58、式中，c是语义特征矩阵；

59、步骤s432：采用平均池化操作，将语义特征矩阵压缩成一个通道注意力向量，计算公式为：

60、；

61、式中，a是通道注意力向量，δ（）是sigmoid激活函数，d1×1，2是2个1×1的卷积层，g（）是平均池化操作；

62、步骤s433：通过卷积操作，优化语义特征矩阵，计算公式为：

63、；

64、式中，ds是优化后的语义特征矩阵，⊙是逐元素相乘操作，是逐元素求和操作。

65、作为本方案的进一步改进，在步骤s5中，所述生产检测模型构建，包括以下步骤：

66、步骤s51：通过线性变换，将优化后的语义特征矩阵ds变换为适合机器学习的特征向量，计算公式为：

67、；

68、式中，ht是经过线性变换的特征向量，t是时间步，kh是线性变换的权重矩阵，wh是线性变换的偏置项；

69、步骤s52：采用基于长短期神经网络的汽车零部件生产检测算法，建立生产检测模型，包括以下步骤：

70、步骤s521：设置遗忘门来控制记忆的更新，计算公式为：

71、；

72、式中，pt是遗忘门输出的特征向量，kp是遗忘门的权重矩阵，ut-1是前一时间步输出的隐藏状态，ht'是当前时间步的输入特征向量，wp是遗忘门的偏置项；

73、步骤s522：设置输入门来确定需要更新的信息，包括以下步骤：

74、步骤s5221：通过sigmoid激活函数来判断需要更新的内容，计算公式为：

75、；

76、式中，lt是输入门输出的特征向量，kl是输入门的权重矩阵，wl是输入门的偏置项；

77、步骤s5222：通过tanh函数更新候选细胞状态，计算候选记忆状态，计算公式为：

78、；

79、式中，是候选记忆状态，tanh（）是tanh函数，kb是权重矩阵，wc是偏置项；

80、步骤s5223：通过线性组合，生成新的细胞状态，计算公式为：

81、；

82、式中，bt是更新后的细胞状态，pt是遗忘门输出的特征向量，bt-1是前一时间步的细胞状态；

83、步骤s523：设置输出门确定最终输出，包括以下步骤：

84、步骤s5231：通过sigmoid激活函数来确定输出内容，计算公式为：

85、；

86、式中，vt是当前时间步的信息流出比例，kv是输出门的权重矩阵，wv是输出门的偏置项；

87、步骤s5232：通过tanh函数提出单元状态并获得输出门的最终输出，计算公式为：

88、；

89、式中，ut是当前时间步的隐藏状态；

90、步骤s53：通过设置隐藏门、输入门和输出门，得到零部件生产检测模型modelcodf。

91、作为本方案的进一步改进，在步骤s6中，所述汽车零部件生产检测，具体为通过零部件生产检测模型modelcodf，检测并将汽车零部件分为有缺陷零部件和无缺陷零部件两类。

92、本发明提供的一种基于机器学习的汽车零部件生产检测系统，包括：图像采集模块、图像预处理模块、特征融合模块、特征提取模块、生产检测模型构建模块和汽车零部件生产检测模块；

93、所述图像采集模块采集汽车零部件静态图像autoi，并将所述汽车零部件静态图像autoi发送至图像预处理模块；

94、所述图像预处理模块接收来自图像采集模块的汽车零部件静态图像autoi，对所述汽车零部件静态图像autoi进行傅里叶变换和小波变换的操作，得到降噪后的图像autoi'，并将所述图像autoi'发送至特征融合模块；

95、所述特征融合模块接收来自图像预处理模块的图像autoi'，从所述图像autoi'中提取多尺度特征d进行跨层特征融合，计算得到深度融合特征、、、、，并将所述深度融合特征、、、、发送至特征提取模块；

96、所述特征提取模块接收来自特征融合模块的深度融合特征、、、、，对所述深度融合特征、、、、进行语义感知特征提取，得到优化后的语义特征矩阵ds，并将所述语义特征矩阵ds发送至生产检测模型构建模块；

97、所述生产检测模型构建模块接收来自特征提取模块的优化后的语义特征矩阵ds，从所述优化后的语义特征矩阵ds中获取数据并进行生产检测模型构建，得到零部件生产检测模型modelcodf，并将所述零部件生产检测模型modelcodf发送至汽车零部件生产检测模块；

98、所述汽车零部件生产检测模块接收来自生产检测模型构建模块的零部件生产检测模型modelcodf，使用所述零部件生产检测模型modelcodf进行汽车零部件生产检测，得到汽车零部件检测报告。

99、采用上述方案本发明取得的有益效果如下：

100、（1）针对在已有的汽车零部件生产检测过程中，存在着传统检测方法容易误报、漏报，检测的准确性和鲁棒性有待提高的技术问题，本方案采用傅里叶变换对图像进行操作，有助于图像进一步处理，使得图像更加清晰可靠，提高了检测算法的准确性。

101、（2）针对在已有的汽车零部件生产检测过程中，存在着汽车零部件的类型繁多，缺乏一种能够适应零部件多样性和复杂性的检测方法的技术问题，本方案采用跨层特征融合，获取更丰富的特征信息，提升了生产检测模型的性能。

102、（3）针对在现有的汽车零部件生产检测过程中，存在着汽车零部件生产过程中产生的数据量庞大，缺乏一种高效地处理和管理大规模数据的检测方法的技术问题，本方案采用基于长短期神经网络的汽车零部件生产检测算法，分析和处理特征矩阵并进行汽车零部件生产检测，优化了汽车零部件生产检测的效率。