基于深度学习的选择波峰焊预警方法、装置及存储介质与流程

1.本发明涉及焊接技术领域，尤其涉及一种基于深度学习的选择波峰焊预警方法、装置及存储介质。


背景技术：

2.选择性波峰焊，在电子行业广泛应用，选择焊的各种焊接缺陷也成为业界关注的问题。选择焊喷涂量、焊接波峰值、表面流动性等参数，均对焊接效果存在着较大的影响。目前选择波峰焊的监控维护是靠人员定期去监测维护，对焊接质量缺陷的发现存在漏检及延迟，费时费力，且难以观测，具体难点如下：
3.《1》.选择性波峰焊的维护过程中，由于各种因素往往存在流动性差、氧化、波峰过高等问题，而人员维护不及时将使得焊接产品的不良率过大，生产效率过低；
4.《2》.生产过程中产品换型多，且背景和产品变化大，因此传统视觉难以适应这些参数的改变，进行有效的兼容和监测；
5.《3》.机器视觉处理系统的光源设备为单向光，在取图时会喷嘴区域出现极明显的反光区域(白色区域)，严重干扰了喷嘴区域的筛选与测定；
6.《4》.焊接过程中设置助焊剂喷涂量、焊接时间、焊接波峰高度不精确，从而出现各种焊接缺陷的现象，影响装配质量。


技术实现要素：

7.本发明提供一种基于深度学习的选择波峰焊预警方法、装置及存储介质，解决了现有的焊接过程控制依赖于人工或机械视觉监测过于僵化，无法及时反馈焊接缺陷，导致焊接产品的不良率过高、生产效率过低的技术问题。
8.为解决以上技术问题，本发明提供一种基于深度学习的选择波峰焊预警方法，包括步骤：
9.s1、采集选择焊监控过程中的历史图像数据，并根据预设处理规则对所述历史图像数据进行分类划分预处理，得到训练集和验证集；
10.s2、根据所述训练集和所述验证集训练深度神经网络模型；
11.s3、将所述深度神经网络模型部署到选择焊监控系统，并根据当前场景进行场景自适应调节；
12.s4、获取实时监控图像并输入所述深度神经网络模型，确定对应的状态类别和实时置信度，并根据对应的置信度参数判断是否执行异常预警。
13.本基础方案以实际焊接环境中的图像数据(即采集选择焊监控过程中的历史图像数据)为训练素材训练深度神经网络模型，可提高深度神经网络模型对焊接过程中焊接异常的识别准确率；而根据预设处理规则对历史图像数据进行分类划分预处理，得到训练集和验证集分别输入到深度神经网络模型进行训练、验证，结合在将深度神经网络模型部署到选择焊监控系统后再次根据现场场景执行场景自适应调节，可进一步提高识别准确率，
从而实现焊接缺陷的及时反馈，降低焊接产品的不良率，提高生产效率。
14.在进一步的实施方案中，所述步骤s1包括步骤：
15.s11、获取选择焊监控过程中的历史图像数据；
16.s12、根据选择焊工艺缺陷中图像的特征、特点，预定义每一种缺陷的图像特征，得到缺陷特征集；
17.s13、将所述缺陷特征集，对所述历史图像数据中的每一焊接图像进行图像识别，确定其对应的状态类别，并从所述焊接图像中获取对应缺陷区域的目标图像；
18.s14、根据预设比例将每一状态类别的所述目标图像等比例划分为训练集和验证集。
19.在进一步的实施方案中，在所述步骤s12中，所述缺陷特征集至少包括喷嘴反光、波峰异常、流动性异常、氧化中的一种或多种状态类别；
20.当所述状态类别为喷嘴反光时，所述从所述焊接图像中获取对应缺陷区域的目标图像具体为：在所述焊接图像中框出每一个包含喷嘴的矩形区域，并标注上喷嘴反光的标签。
21.本方案根据选择焊工艺缺陷中图像的特征、特点，预定义每一种缺陷的图像特征，从而将工艺缺陷过程特征转化成图像的图形特征，并且通过精细化的状态类别划分可实现针对性的识别预警、预警效率大幅度提升；针对性对喷嘴反光在缺陷特征集中新增对应的状态类别，避免了单向光在取图时导致喷嘴区域出现反光区域对喷嘴区域的筛选与测定的干扰。
22.在进一步的实施方案中，所述步骤s2包括步骤：
23.s21、按照每一状态类别，将所述训练集中的所述目标图像输入到深度神经网络模型中训练，进而调整所述深度神经网络模型的网络模型参数；
24.s22、按照每一状态类别，将所述验证集中的所述目标图像输入到训练后的所述深度神经网络模型中，计算所述深度神经网络模型的综合准确率；
25.s23、判断所述综合准确率是否达到预设标准，若否重复步骤s21～s22，若是则将所述深度神经网络模型部署到对应的选择焊监控系统上。
26.本方案通过训练集对深度神经网络模型的网络模型参数进行调整，通过验证集对调整后深度神经网络模型的网络模型参数综合准确率优化，使得深度神经网络模型的模型判断更为准确可靠。
27.在进一步的实施方案中，所述步骤s3包括步骤：
28.s31、将所述深度神经网络模型部署到选择焊监控系统；
29.s32、控制所述选择焊监控系统采集当前场景的焊接测试图像，并根据预设处理规则对所述焊接测试图像进行分类划分预处理，得到测试训练集和测试验证集；
30.s33、根据所述测试训练集和所述测试验证集输入所述深度神经网络模型，获取模型判断的每一帧所述焊接测试图像的状态类别和测试置信度；
31.s34、根据每一状态类别的所有测试置信度，调整每一状态类别的置信度参数。
32.本方案在将深度神经网络模型部署到选择焊监控系统后，采集当前场景的焊接测试图像，对选择焊监控系统中深度神经网络模型进行场景自适应调节，从而提高深度神经网络模型的适配性以及缺陷预警的准确率。
33.在进一步的实施方案中，所述步骤s4具体为：控制所述选择焊监控系统获取实时监控图像，将所述实时监控图像中的每一帧实时帧图像输入所述深度神经网络模型，确定对应的状态类别、实时置信度和置信度参数，判断所述实时置信度是否在所述置信度参数范围内，若是则进入下一步执行异常预警，若否则判断未出现焊接异常。
34.本方案根据对每一帧实时帧图像实时置信度与对应置信度参数范围的匹配，利用置信度的特性，即可快速地确定当前焊接是否异常，亦可保证异常识别的准确率。
35.在进一步的实施方案中，所述网络模型参数至少包括基础学习率、权重、训练总轮次中的一种或多种。
36.本发明还提供一种基于深度学习的选择波峰焊预警装置包括：
37.采集分类模块，用于采集选择焊监控过程中的历史图像数据，并根据预设处理规则对所述历史图像数据进行分类划分预处理，得到训练集和验证集；
38.训练模块，用于根据所述训练集和所述验证集训练深度神经网络模型；
39.部署模块，用于将所述深度神经网络模型部署到选择焊监控系统，并根据当前场景进行场景自适应调节；
40.监控预警模块，用于获取实时监控图像并输入所述深度神经网络模型，确定对应的状态类别和实时置信度，并根据对应的置信度参数判断是否执行异常预警。
41.本发明还提供一种基于深度学习的选择波峰焊预警装置，包括：
42.存储有可执行程序代码的存储器；
43.与所述存储器耦合的处理器；
44.所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述的一种基于深度学习的选择波峰焊预警方法。
45.本发明还提供一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行上述的一种基于深度学习的选择波峰焊预警方法。
46.其中，存储介质可以是磁碟、光盘、只读存储器(read onlymemory，rom)或者随机存取器(random access memory，ram)等。
附图说明
47.图1是本发明实施例提供的一种基于深度学习的选择波峰焊预警方法的工作流程图；
48.图2是本发明实施例提供的现有技术中选择焊监控系统的检测结果示意图；
49.图3是本发明实施例提供的选择焊监控系统检测结果示意图；
50.图4是本发明实施例提供的图2中右上角图片的放大图；
51.图5是本发明实施例提供的图3中右上角图片的放大图。
52.图6是本发明实施例2提供的一种基于深度学习的选择波峰焊预警装置的系统框架图。
具体实施方式
53.下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护
范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
54.实施例1
55.本发明实施例提供的一种基于深度学习的选择波峰焊预警方法，如图1所示，在本实施例中，包括步骤s1～s5：
56.s1、采集选择焊监控过程中的历史图像数据，并根据预设处理规则对历史图像数据进行分类划分预处理，得到训练集和验证集，包括步骤s11～s14：
57.s11、获取选择焊监控过程中的历史图像数据；
58.s12、根据选择焊工艺缺陷中图像的特征、特点，预定义每一种缺陷的图像特征，得到缺陷特征集；
59.在本实施例中，缺陷特征集至少包括喷嘴反光、波峰异常、流动性异常、氧化中的一种或多种状态类别；
60.s13、将缺陷特征集，对历史图像数据中的每一焊接图像进行图像识别，确定其对应的状态类别，并从焊接图像中获取对应缺陷区域的目标图像；
61.在本实施例中，当状态类别为喷嘴反光时，从焊接图像中获取对应缺陷区域的目标图像具体为：在焊接图像中框出每一个包含喷嘴的矩形区域，并标注上喷嘴反光的标签。
62.s14、根据预设比例将每一状态类别的目标图像等比例划分为训练集和验证集。
63.在本实施例中，预设比例可根据实际训练效果进行设置，例如8：2、7：3、6：4。
64.本实施例根据选择焊工艺缺陷中图像的特征、特点，预定义每一种缺陷的图像特征，从而将工艺缺陷过程特征转化成图像的图形特征，并且通过精细化的状态类别划分可实现针对性的识别预警、预警效率大幅度提升；针对性对喷嘴反光在缺陷特征集中新增对应的状态类别，避免了单向光在取图时导致喷嘴区域出现反光区域对喷嘴区域的筛选与测定的干扰。
65.s2、根据训练集和验证集训练深度神经网络模型，包括步骤s21～s23：
66.s21、按照每一状态类别，将训练集中的目标图像输入到深度神经网络模型中训练，进而调整深度神经网络模型的网络模型参数，使其精确率提高并趋近于稳定、损失函数降低并趋近于稳定；
67.在本实施例中，网络模型参数至少包括基础学习率、权重、训练总轮次中的一种或多种。
68.s22、按照每一状态类别，将验证集中的目标图像输入到训练后的深度神经网络模型中，计算深度神经网络模型的综合准确率；
69.s23、判断综合准确率是否达到预设标准，若否重复步骤s21～s22，若是则将深度神经网络模型部署到对应的选择焊监控系统上。
70.本实施例通过训练集对深度神经网络模型的网络模型参数进行调整，通过验证集对调整后深度神经网络模型的网络模型参数综合准确率优化，使得深度神经网络模型的模型判断更为准确可靠。
71.s3、将深度神经网络模型部署到选择焊监控系统，并根据当前场景进行场景自适应调节，包括步骤s31～s34：
72.s31、将深度神经网络模型部署到选择焊监控系统；
73.s32、控制选择焊监控系统采集当前场景的焊接测试图像，并根据预设处理规则对
焊接测试图像进行分类划分预处理，得到测试训练集和测试验证集；
74.s33、根据测试训练集和测试验证集输入深度神经网络模型，获取模型判断的每一帧焊接测试图像的状态类别和测试置信度；
75.s34、根据每一状态类别的所有测试置信度，调整每一状态类别的置信度参数。
76.在生产过程中，若是出现产品换型、背景变化等场景变化时，可重新执行步骤s31～s34进行场景自适应调节或产品自适应调节。
77.本实施例在将深度神经网络模型部署到选择焊监控系统后，采集当前场景的焊接测试图像，对选择焊监控系统中深度神经网络模型进行场景自适应调节，从而提高深度神经网络模型的适配性以及缺陷预警的准确率。
78.s4、获取实时监控图像并输入深度神经网络模型，确定对应的状态类别和实时置信度，并根据对应的置信度参数判断是否执行异常预警。具体为：
79.控制选择焊监控系统获取实时监控图像，将实时监控图像中的每一帧实时帧图像输入深度神经网络模型，确定对应的状态类别、实时置信度和置信度参数，判断实时置信度是否在置信度参数范围内，若是则进入下一步执行异常预警，若否则判断未出现焊接异常。
80.例如：当实时帧图像对应的置信度参数为80％～100％时，若其实时置信度为70％则判断为未出现焊接异常，其实时置信度为82％则判断出现焊接异常并进入下一步执行异常预警。
81.本方案根据对每一帧实时帧图像实时置信度与对应置信度参数范围的匹配，利用置信度的特性，即可快速地确定当前焊接是否异常，亦可保证异常识别的准确率。
82.s5、输出报警信号通知工作人员对选择波峰焊系统现场进行维护。
83.在本实施例中，报警信号的输出包括但不限于声光报警、远程报警。
84.参见图2～图5，对比可知，本实施例中选择焊监控系统的检测结果中，喷嘴图像更为清晰，更容易识别判断。
85.本发明实施例以实际焊接环境中的图像数据(即采集选择焊监控过程中的历史图像数据)为训练素材训练深度神经网络模型，可提高深度神经网络模型对焊接过程中焊接异常的识别准确率；而根据预设处理规则对历史图像数据进行分类划分预处理，得到训练集和验证集分别输入到深度神经网络模型进行训练、验证，结合在将深度神经网络模型部署到选择焊监控系统后再次根据现场场景执行场景自适应调节，可进一步提高识别准确率，从而实现焊接缺陷的及时反馈，降低焊接产品的不良率，提高生产效率。
86.实施例2
87.本发明实施例附图中的附图标记包括：采集分类模块1，训练模块2，部署模块3，监控预警模块4。
88.本发明实施例还提供一种基于深度学习的选择波峰焊预警装置，参见图6，包括：
89.采集分类模块1，用于采集选择焊监控过程中的历史图像数据，并根据预设处理规则对所述历史图像数据进行分类划分预处理，得到训练集和验证集；
90.训练模块2，用于根据所述训练集和所述验证集训练深度神经网络模型；
91.部署模块3，用于将所述深度神经网络模型部署到选择焊监控系统，并根据当前场景进行场景自适应调节；
92.监控预警模块4，用于获取实时监控图像并输入所述深度神经网络模型，确定对应
的状态类别和实时置信度，并根据对应的置信度参数判断是否执行异常预警。
93.其中，监控预警模块包括ccd摄像头，用于采集选择焊现场的实时监控图像；还包括但声光报警器，用于输出报警信号通知工作人员对选择波峰焊系统现场进行维护。
94.本实施例所提供的预警装置采用各个模块实现预警方法中的各个步骤，为预警方法提供硬件基础，便于方法实施。
95.实施例3
96.本发明实施例提供一种基于深度学习的选择波峰焊预警装置，包括：
97.存储有可执行程序代码的存储器；
98.与所述存储器耦合的处理器；
99.所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述实施例1中的一种基于深度学习的选择波峰焊预警方法。
100.实施例4
101.本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行上述实施例1中的一种基于深度学习的选择波峰焊预警方法。
102.其中，存储介质可以是磁碟、光盘、只读存储器(read onlymemory，rom)或者随机存取器(random access memory，ram)等。
103.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。