基于Res-LSTM的焊缝成形质量实时预测方法与流程

本发明涉及焊接，具体涉及一种基于res-lstm的焊缝成形质量实时预测方法。

背景技术：

1、在工业生产中，焊接是连接材料最常见的方法。使用自动设备可以非常有效地完成各种焊接过程，如工业机器人。在工业机器人进行焊接作业的过程中开展在线焊接检测不仅能使焊缝质量更加可靠和稳定，而且能提高生产效率，降低生产成本。然而，高温、飞溅、高强度电弧光和复杂的焊接环境使得在线焊接检测困难。

2、在智能焊接领域，将实际焊接过程中的焊接特征及质量信息进行提取，利用深度学习算法对提取的信息进行学习，可以实现焊接质量的在线预测，通过深度学习算法，可以使系统智能识别图像中的焊接缺陷，降低误判率，提高检测精度和速度。

3、在焊接工艺中，焊缝成形质量对于焊接连接的强度和稳定性具有重要影响。传统的焊缝成形质量评估方法通常依赖于专家的主观判断，且存在评估效率低、结果不稳定等问题。

4、为了克服传统焊缝成形质量评估方法评估效率低、结果不稳定的问题，近年来，本领域技术人员开发研究出了利用神经网络对焊缝成形质量进行实时评估预测的方法，例如：

5、广东省焊接技术研究所公开的发明专利《一种基于深度学习的弧焊焊缝成形精准预测方法》(201911358046.x)，提供了一种基于深度学习的弧焊焊缝成形精准预测方法，构建以工艺参数作为输入，焊缝成形尺寸和焊缝截面轮廓作为输出的深度神经网络，利用子数据库的数据对深度神经网络进行训练和评估，得到焊缝成形评估模型；采集并输入焊缝成形过程中的实时工艺参数至焊缝成形评估模型，输出对应的焊缝成形尺寸和焊缝截面轮廓，实现弧焊焊缝成形的精准预测，通过预设的工艺参数模型对定量参数数据进行处理，获取焊接工艺参数。由于弧焊是一个高度动态和非线性的过程，该方案中的焊缝成形评估模型需要捕捉到这些复杂的动态变化才能准确预测，因此该方案过于依赖子数据库，导致焊缝成形预测的精度下降。

6、昆山宝锦激光拼焊有限公司公开的发明专利《一种基于双优化的bp神经网络激光焊接焊缝成形评估方法》(202111389993.2)，通过主成分分析和遗传算法双优化的bp神经网络方法预测焊缝成形。由于主成分分析是通过保留数据的主要成分来减少维度，这可能会导致一些重要信息的损失，尤其是那些对于焊缝成形质量预测来说重要的细微信息，比如微小的裂纹。对于包含时间序列信息的焊接数据，该方法可能会减弱不同时间点之间的相关性，这些相关性对理解焊接过程中的动态变化非常重要。因此，该方案仍无法准确预测焊缝成形状态。

技术实现思路

1、为了解决现有利用神经网络对焊缝成形质量进行评估预测的方法存在的预测精度较低的技术问题，本发明提出了一种基于res-lstm的焊缝成形质量实时预测方法。

2、本发明所采用的技术方案是：

3、基于res-lstm的焊缝成形质量实时预测方法，其特殊之处在于，包括以下步骤：

4、步骤1：收集数据

5、从公共数据集中收集与焊缝成形相关且具有缺陷标记的熔池图像数据，清洗后构成源域数据；从企业数据库中提取与焊接质量预测相关的熔池图像数据及对应的历史焊接过程数据，对与焊接质量预测相关的熔池图像数据标记缺陷后构成目标域数据；所述历史焊接过程数据包括焊接电流、焊接电压和送丝速度；

6、步骤2：构建模型

7、步骤2.1：基于cnn构建焊缝成形迁移学习模型并采用所述源域数据进行训练；

8、步骤2.2：基于resnet构建焊缝成形诊断模型，将训练好的所述焊缝成形迁移学习模型的最后一层卷积层的权重和偏置作为所述焊缝成形诊断模型的卷积层参数的初始值，并采用所述目标域数据对所述焊缝成形诊断模型的卷积层参数进行修正，得到训练好的焊缝成形诊断模型；

9、步骤2.3：基于lstm构建焊缝成形质量预测模型并采用所述历史焊接过程数据和所述焊缝成形诊断模型输出的一维特征向量进行训练；

10、步骤3：实时预测

11、步骤3.1：实时采集当前焊接任务的熔池图像数据和焊接过程数据，并进行数据清洗；

12、步骤3.2：将步骤3.1的熔池图像数据输入步骤2.2训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将所述图像特征转化为一维特征向量后，将所述一维特征向量与步骤3.1的焊接过程数据拼接后输入步骤2.3训练好的焊缝成形质量预测模型中，得到下一时刻的焊缝时序特征向量；

13、步骤3.3：将所述下一时刻的焊缝时序特征向量输入步骤2.2训练好的焊缝成形诊断模型的全连接层中，得到下一时刻的焊缝成形预测结果。

14、进一步地，步骤1中所述的公共数据集为github和/或kaggle公开的焊接图像公共数据集。

15、进一步地，步骤2.1中所述焊缝成形迁移学习模型包括两层卷积层和两层池化层，两层卷积层的输入均为所述源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强；所述简单特征包括熔池的边缘、角度和曲线；所述组合特征包括熔池的弧度和形状；训练时是采用所述源域数据对所述两层卷积层进行训练。

16、进一步地，步骤2.2中：所述焊缝成形诊断模型包括依次设置的卷积层、全局平均池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，全局平均池化层的输入为卷积层输出的图像特征，全局平均池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签。

17、进一步地，步骤2.3中对所述焊缝成形质量预测模型的训练方法是：将所述焊缝成形诊断模型训练好时其全局平均池化层输出的一维特征向量与历史焊接过程数据拼接并按时间顺序排列形成时间序列并进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练，得到训练好的焊缝成形质量预测模型。

18、进一步地，所述焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块；遗忘门模块用于丢弃上一时刻的焊接参数中对当前焊接质量影响较小的历史数据；输入门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出，从而对细胞状态进行更新；输出门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出。

19、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序被运行时用于执行上述的预测方法中的步骤2-3。

20、本发明还提供了一种电子设备，包括处理器和计算机程序；其特征在于：所述计算机程序被处理器运行时用于执行上述的预测方法中的步骤2-3。

21、与现有技术相比，本发明的优点是：

22、1.本发明通过收集数据构建源域数据和目标域数据，利用基于cnn的焊缝成形迁移学习模型对源域数据进行特征提取，根据目标域数据对基于resnet的焊缝成形诊断模型进行卷积层参数修正，利用基于lstm构建焊缝成形质量预测模型预测下一焊接时刻的焊缝时序特征向量并输入到训练好的焊缝成形诊断模型的全连接层中，进而由焊缝成形诊断模型的全连接层输出焊接标签，从而预测出下一焊接时刻的焊缝成形状态，实现了焊缝成形质量的在线精确预测。

23、2.本发明使用迁移学习方法根据目标域数据对源域数据进行学习，用于焊缝成形诊断模型的特征提取，提高了焊缝成形诊断模型的图像特征提取性能和泛化能力，减少了模型训练对大规模焊接数据的依赖，从而使用相对较少的焊接数据来训练和改进焊缝成形诊断模型，解决了企业中收集到的异常数据不足造成焊接数据不平衡的问题，同时提高了模型训练精度，为后续准确在线预测提供了良好的基础。

24、3.本发明提出的焊缝成形诊断模型不同于传统针对图像分类识别的算法，本发明针对焊接全过程在线识别，采用了resnet-lstm的混合算法，resnet可以有效提取复杂焊缝图像中的高级特征并且保留其时序特征，lstm可以捕获焊缝成形过程中随时间变化的动态特征，为焊缝成形质量预测提供充足的时序分析能力，融合焊接过程中的时间序列信息，提高焊缝质量预测的精度和鲁棒性。通过resnet和lstm相互协作，将从图像数据中提取的空间特征与时间序列数据中的动态信息相结合，保证了实时识别焊接过程中的质量问题。

25、4.本发明利用多源数据综合不同类型的信息来解决焊缝成形实时预测问题，多源数据包括传感器收集的焊接图像数据、实时过程数据、公共图像数据和企业历史数据；传感器数据可以实现实时监控和预测，有助于实时识别潜在的焊接问题，减少可能的缺陷产生，满足了预测的实时性要求。焊接图像数据提供了视觉信息，而焊接过程中传感器收集到的实时过程数据可以提供关于焊接过程的物理信息，如送丝速度、焊接电流和焊接电压等。由于多源数据能够提供更多的特征和信息，可以用于训练更复杂的深度学习模型，这有助于提高焊缝成形诊断模型和焊缝成形质量预测模型的性能和准确性，同时多个数据源让焊缝成形质量预测模型更具鲁棒性，能够应对噪声和不确定性。如果某一数据源出现问题或噪声，其他数据源可能有助于提供更稳定的预测。

26、5.焊接工艺环境复杂、参数多。传统的焊接预测模型训练方法是通过预设网络结构和训练参数遍历数据集，以确定合适参数，这样会显著增加模型的训练时间和复杂度。而本发明结合多源数据，焊缝成形诊断模型和焊缝成形质量预测模型能够直接从数据中学习焊接过程的复杂关系，降低对专家知识或先验假设的依赖，同时焊缝成形质量预测模型能够实时处理工艺参数，并给出相应的焊缝成形状态预测结果，有助于及时调整焊接工艺。