基于多模态融合感知的电弧增材制造熔覆层偏移监测方法与流程

本发明属于电弧增材制造质量检测领域，尤其涉及一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法。

背景技术：

1、增材制造是采用材料逐层累加的方法制造实体零件的技术，主要包括激光增材制造、电子束增材制造、电弧增材制造等，增材制造的过程较为复杂，随着熔覆层层数的增加，热累积逐渐严重，最终会对成形件的结构尺寸及性能产生影响，因此实现增材制造过程的在线监测就显得尤为重要。在电弧增材制造过程中，一旦机器人的运动轨迹偏移正常设定轨迹，就会导致熔覆层的位置发生变化，然而熔覆层的位置与最终的增材制造工件质量密切相关，因此亟需研究熔覆层偏移在线监测技术。

2、伴随电弧增材制造过程而产生的视觉、声音、光谱、温度等多模态信息与增材制造成形质量密切相关，很多学者研究了视觉等单一模态特征与增材制造成形质量的关系，并且尝试通过在线识别模态特征从而实现增材制造成形质量的实时监测。考虑到电弧增材制造是一个多变量的强耦合过程，具有高度的非线性特点，当前时刻的熔池视觉等单一模态特征并不能完全反应增材制造成形质量，基于单一模态感知的电弧增材制造成形质量监测技术存在监测精度较低、鲁棒性较差的缺点。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法包括：

3、s100，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：

4、s200，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；

5、s300，在所述焊件侧壁温度场图像中选取roi区域，并提取所述roi区域的温度场分布特征；

6、s400，将所述几何特征以及所述温度场分布特征进行特征融合得到融合特征；

7、s500，将所述融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度。

8、本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取roi区域并提取温度场分布特征；将几何特征以及温度场分布特征进行特征融合得到融合特征；将融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度以实现熔覆层偏移的在线监测。由于本发明将电弧增材制造过程中的熔池视觉、焊件温度等多模态信号进行协同感知，后续将提取得到的多模态信号特征进行融合后输入到神经网络模型，用于增材制造成形质量的监测，将有助于提高增材制造成形质量监测的精度和鲁棒性。

9、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，s100包括：

3.根据权利要求2所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，在电弧增材制造过程开始后，所述黑白ccd和所述红外热像仪受频率为50hz的方波信号触发开始工作，所述黑白ccd采集熔池图像，所述红外热像仪采集焊件侧壁温度场图像。

4.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，s200中的几何特征包括：熔池面积、熔池长度和熔池宽度；

5.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，s300包括：

6.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，s320包括：

7.根据权利要求6所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，梯度方向直方图的统计公式表示为：

8.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，所述熔池轮廓提取模型使用深度学习网络unet构建，所述熔池轮廓提取模型的训练通过采集弧光影响下的熔池图像并组成训练样本，利用训练样本迭代训练所述熔池轮廓提取模型，并利用反向传播算法调整所述熔池轮廓提取模型的参数直至达到迭代次数。

9.根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，所述熔覆层偏移预测模型使用bp神经网络构建，所述融合特征为11维特征向量，所述熔覆层偏移预测模型包括输入层、隐含层以及输出层，所述隐含层的层数为两层，每层设置有25个神经元。

10.根据权利要求9所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，所述熔覆层偏移预测模型的训练通过将所述熔池的几何特征与对应的所述roi区域的温度场分布特征融合得到融合特征并组成特征样本，利用特征样本迭代训练所述熔覆层偏移预测模型，并利用反向传播算法调整所述熔覆层偏移预测模型的参数直至达到迭代次数。

技术总结
本发明提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取ROI区域并提取温度场分布特征；将几何特征以及温度场分布特征进行特征融合得到融合特征；通过熔覆层偏移预测模型对融合特征进行处理，从而输出熔覆层偏移程度以实现熔覆层偏移的在线监测。本发明将电弧增材制造过程中的熔池视觉、焊件温度等多模态信号进行协同感知，后续将提取得到的多模态信号特征进行融合后输入到预测模型，用于增材制造成形质量的监测，有助于提高增材制造成形质量监测的精度和鲁棒性。

技术研发人员：余荣伟,王克鸿,周琦,彭勇,朱敏凤,罗茜
受保护的技术使用者：江苏烁石焊接科技有限公司
技术研发日：
技术公布日：2024/1/16