基于穿孔熔池图像和深度学习的VPPAW熔透原位实时监测系统的制作方法

基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统
技术领域
1.本发明属于焊接过程监测和深度学习交叉技术领域，涉及一种基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统。


背景技术：

2.铝合金变极性等离子弧焊接(vppaw)能量密度高、电弧穿透力强、焊后无气孔缺陷等优势，已成为航空航天领域关键构件的重要焊接方式之一。然而，等离子弧复杂独特的物理特性，装配间隙/错边和工件散热不可避免的波动难以保证穿孔熔池稳定性和全熔透均匀焊缝，并容易形成未熔透、咬边及烧穿等焊接缺陷。鉴于视觉传感技术能够模拟熟练焊工观测焊接熔池的视觉特性，为此，采用视觉传感实现对焊接熔透状态在线检测和焊接质量控制，是进一步提升焊接智能制造水平的关键。
3.由于vppaw过程强弧光、喷嘴遮挡及金属飞溅等干扰因素，难以获得完整清晰的正面穿孔熔池边缘，而传统图像处理算法和特征工程比较复杂，鲁棒性差，极大限制了在不同焊接工况下的推广应用。随着人工智能技术的蓬勃发展，深度学习算法在图像分类、目标检测等领域的广泛应用，其中卷积神经网络能够直接采用原始图像作为输入，直接提取视觉图像的深层抽象特征，无需人工处理，完成对焊接熔透状态的自动识别。然而，如何在复杂干扰vppaw工况下，构建一个高效准确的面向焊接过程监测的深度学习模型，并快速实现工业级部署是目前亟待解决的焊接工程应用问题。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统，其目的主要是通过输入原始的视觉图像数据集，来实现对等离子弧焊接熔透状态的实时检测和准确识别。
5.为达到上述目的，本发明采用的方案如下：
6.一种基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统，构建基于离线学习
‑
在线检测的运行模式，主要由三个独立线程构成：主线程
‑
视觉图像采集及预处理、分线程1
‑
深度学习模型训练及调试和分线程2
‑
工业部署及熔透实时预测；
7.所述主线程
‑
视觉图像采集及预处理包括如下步骤：
8.a1：搭建主要由高分辨率工业焊接相机和复合滤光技术集成的正面穿孔熔池视觉传感系统；
9.a2：开展一系列不同焊接参数下的铝合金vppaw立焊工艺试验，并采集能够反映穿孔熔池形态的视觉图像，以背面焊缝宽度w
b
为定量评价指标，标记穿孔熔池图像对应的焊接熔透状态，以获取不同熔透状态下的穿孔熔池原始图像数据集；所述焊接熔透状态包括：未熔透，部分熔透，完全熔透和过熔透；
10.a3：对原始图像数据集中的原始图像进行roi区域裁剪和数据增强；
11.a4：根据穿孔熔池形态和焊接熔透状态对步骤a3处理后的图像进行标签，得到预处理后的图像数据集；
12.所述子线程1
‑
深度学习模型训练及调试在高性能计算机配置的gpu环境下，利用python编写的tensorflow开源框架完成，具体包括如下步骤：
13.b1：将预处理后的图像数据集中的穿孔熔池图像直接作为输入，标签作为输出，以经典alexnet网络为架构，构建包含1个输入层、4个卷积层、4个池化层、2个全连接层和1个softmax输出层的卷积神经网络cnn，用于预测焊接熔透状态；
14.b2：将预处理后的图像数据集按7：3随机分为训练集和测试集，对卷积神经网络cnn分别进行训练和测试，并调试得到优化后的cnn权重系数和网络结构参数；具体过程为：
15.b2.1：初始化网络结构参数，即卷积层的卷积核尺寸(4个卷积层共用1个卷积核)，其他训练参数(超参数)保持不变，并输入训练集中的穿孔熔池图像；
16.b2.2：连续进行4次卷积
‑
池化层操作，采用relu激活函数和最大池化max
‑
pooling下采样，得到输出特征图，并提取反映穿孔熔池形态的深度抽象特征；
17.b2.3：将生成的输出特征图转换为一维向量，然后依次输入到2个全连接层和softmax输出层，并利用交叉熵损失函数评判预测值与真实值的偏差程度；
18.b2.4：通过动量随机梯度下降优化算法sgdm不断更新cnn权重系数，从而最小化损失函数值，最终完成cnn模型训练过程并保存训练模型；
19.b2.5：将测试集输入训练好的cnn模型，并计算测试集中的熔透状态识别准确率，当准确率超过95％时，符合测试要求，则将cnn模型参数及网络结构保存至协议缓冲pb文件；当准确率不超过95％时，则返回步骤b2.1，重新修改卷积核尺寸，重复进行b2.2～b2.4的训练步骤，再采用测试集进行测试，直至满足准确率超过95％的条件为止，完成pb文件保存；
20.所述分线程2
‑
工业部署及熔透实时预测的过程包括：先按照主线程
‑
视觉图像采集及预处理中的铝合金vppaw立焊工艺试验进行穿孔熔池状态的图像采集；再将实时采集的每一帧图像输入基于c#winform界面框架的实时预测上位机中对vppaw焊接质量的原位实时监测；所述实时预测上位机包括深度学习配置区、相机实时显示窗口区、roi显示窗口区和质量实时预测窗口区；在工控机配置的cpu环境下，实时预测上位机中的深度学习配置区利用tensorflow.net库完成子线程1
‑
深度学习模型训练及调试中保存的pb文件的读取调用。
21.作为优选的技术方案：
22.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，高分辨率工业焊接相机拍摄的穿孔熔池图像的分辨率为1280像素
×
1024像素，高分辨率工业焊接相机为cmos黑白工业相机。
23.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，所述一系列不同焊接参数下的铝合金vppaw立焊工艺试验是指在线性增加正负极焊接电流值和等离子气流量，且保持其他参数不变的情况下进行的工艺试验，用于获得单道焊缝上连续变化的熔透状态。
24.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，以背面焊缝宽度w
b
为定量评价指标，标记穿孔熔池图像相应焊接熔透状态是指：w
b
＝0
标记为未熔透，0<w
b
<4mm标记为部分熔透，4mm≤w
b
<6mm标记为完全熔透，w
b
≥6mm标记为过熔透。
25.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，roi区域裁剪得到穿孔熔池视觉图像，大小为100
×
100像素。
26.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，数据增强是对roi区域裁剪后图像采用旋转、镜像、加噪声及对比度变换进行数据扩增。
27.如上所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，所述熔透状态与所述标签的对应关系为：未熔透记为1，部分熔透记为2，完全熔透记为3，过熔透记为4。
28.有益效果
29.与现有技术相比，本发明实现了离线学习
‑
在线检测的运行模式，将耗费大量时间和资源的深度学习模型训练放在高性能服务器上进行完成，而仅将训练好的模型实现工业部署，提供给性能较弱的工控机调用，从而节省大量计算时间和资源，达到焊接过程快速在线检测的目的。
附图说明
30.图1为基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统的工作流程图；
31.图2为正面穿孔熔池视觉传感系统的结构示意图；
32.图3为不同熔透状态下的穿孔熔池原始图像数据集不同熔透状态对应的穿孔熔池视觉图像；
33.图4为深度学习模型训练及调试流程图；
34.图5为实时预测上位机的软件界面图；
35.其中，1
‑
工业相机，2
‑
送丝机构，3
‑
等离子弧焊枪，4
‑
行走机构，5
‑
铝合金工件，6
‑
poe供电模块，7
‑
以太网，8
‑
夹具，9
‑
实时预测上位机。
具体实施方式
36.下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
37.一种基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统，构建基于离线学习
‑
在线检测的运行模式，如图1所示，主要由三个独立线程构成：主线程
‑
视觉图像采集及预处理；分线程1
‑
深度学习模型训练及调试；分线程2
‑
工业部署及熔透实时预测；
38.(1)视觉图像采集及预处理
39.如图2所示，本发明构建了面向vppaw过程的正面穿孔熔池视觉传感系统，包括数字化高动态cmos黑白工业相机1(型号为xiris xvc
‑
1000)及其配套的poe供电模块6、中心波长660nm和透射率90％的复合滤光减光片、30mm相机镜头及千兆以太网7、送丝机构2、等
离子弧焊枪3、夹具8、行走机构4和实时预测上位机9。其中，相机图像的动态范围超过140db，可以同时观察到明亮的穿孔熔池细节以及周围较暗的背景，另外采用的复合滤光减光片能够滤除大部分干扰电弧光。送丝机构2将铝合金焊丝以送丝速度1100mm/min送入到vppaw焊接熔池，用于填充金属。为了模拟焊工观测焊接熔池的视觉特性，相机通过夹具8与等离子弧焊枪3固定并呈60度夹角，工业相机1与待观测熔池距离约305mm。此外，行走机构4同时移动等离子弧焊枪3和工业相机1，铝合金工件5保持不变，从而确保工业相机1能够一直获取高质量清晰的正面视觉图像。该视觉系统采集到的原始图像分辨率为1280
×
1024像素，采集频率为55帧/秒。实时预测上位机9与配套的poe供电模块6连接，且用于实现采集图像的实时显示和焊接质量预测。
40.为了获得不同焊接熔透状态下对应的穿孔熔池图像数据集，本实验同时线性增加正负极焊接电流和等离子气流量来实现单道焊缝上不同熔透状态的连续变化，其他参数保持不变，具体见表1所示。
41.表1vppaw焊接工艺参数
[0042][0043][0044]
以背面焊缝宽度w
b
为定量评价指标，分为未熔透(w
b
＝0)，部分熔透(0<w
b
<4mm)，完全熔透(4mm≤w
b
<6mm)，过熔透(w
b
≧6mm)。不同熔透状态对应的穿孔熔池视觉图像如图3中的(a)～(d)所示，可以看出随着焊接电流和气流量的逐渐增大，电弧穿透力和对工件的热输入也随之增加，从一开始未熔透状态到最后过熔透状态的连续转变，穿孔熔池形态也发生明显变化。
[0045]
为了去除图像中无效的背景像素并减少深度模型的训练时间，首先对原始图像进行roi(region of interest)区域裁剪，得到反映穿孔熔池形态的视觉图像，大小为100像素
×
100像素；其次，为了进一步提高预测模型的泛化能力，通过旋转、镜像、加噪声及对比度变换等数据增强方式，对裁剪后图像进行数据扩充，并依据穿孔熔池形态和熔透状态对视觉图像进行手工分类并标签。表2为预处理后的3500组图像数据集包括图像输入和标签
输出，并按照7：3比例随机分为训练集和测试集，从而对提出的卷积神经网络进行训练和调试。
[0046]
表2穿孔熔池图像数据集
[0047]
熔透类别训练集测试集总计标签未熔透5602408001部分熔透6652859502完全熔透6302709003过熔透5952558504
[0048]
(2)深度学习模型训练及调试
[0049]
本发明以经典alexnet卷积神经网络架构为基础，鉴于图像数据量不是太大，为了减少模型训练和在线检测时间，通过tensorflow开源框架构建1个输入层、4个卷积层、4个池化层、2个全连接层和1个softmax输出层的卷积神经网络cnn(convolutional neural network)，用于预测不同的焊接熔透状态。
[0050]
将预处理后的训练集图像首选转换成一个三维矩阵直接输入到预测模型，矩阵的前两个维度代表图像的大小，为100
×
100，第三个维度代表通道数，由于图像为灰度图，因此通道数为1。由于卷积层的卷积核尺寸主要决定cnn模型的最终预测性能，本发明在其他结构参数保持不变的情况下，通过调试卷积层的卷积核尺寸，使得预测准确率超过95％，满足训练精度要求。
[0051]
在本发明构建的cnn模型中，首先对输入灰度图像进行第一层conv1卷积操作，得到输出特征图，为了使cnn网络具有非线性映射能力，采用relu激活函数来提取非线性特征。随之，为了进一步减少计算复杂度，在卷积层后采用最大池化max
‑
pooling下采样提取关键视觉特征，第一池化层pool1采用步长2、尺寸为3
×
3的滤波器。同样，接下来的卷积层conv2，conv3，conv4共用相同卷积核尺寸的卷积滤波器，然后每个卷积层后紧接着每个池化层pool2，pool3和pool4，池化滤波器尺寸均为3
×
3，步长为2。通过一系列卷积
‑
池化层操作，进一步提取穿孔熔池图像的深度抽象特征，得到输出特征图。然后送入到全连接层fc1、fc2和softmax分类层来计算不同样本属于标签的概率，得到预测准确率。同时利用动量随机梯度下降优化算法sgdm不断更新cnn模型的权重系数，使得交叉损失函数值最小化，从而完成整个cnn模型训练并保存训练模型到ckpt格式文件中。
[0052]
最终加载训练好的cnn模型送入测试数据集，并计算测试集中的熔透识别准确率，当准确率超过95％时，符合训练测试要求，同时将cnn模型参数及网络结构保存至协议缓冲pb二进制文件；当准确率低于95％时，重新改变卷积层的卷积核尺寸，重复进行上述的模型训练步骤，对测试集进行熔透状态识别，直至满足准确率超过95％为止，从而完成对cnn模型的离线训练及优化调试，整个cnn模型训练及调试流程如图4所示，表3为经过训练调试后的cnn模型结构参数。
[0053]
表3 cnn模型结构参数
[0054]
层数网络层输出尺寸操作滤波器尺寸步长滤波器数量1输入层100
×
100
×1‑‑‑‑
2conv1100
×
100
×
8卷积5
×
51
×
183pool150
×
50
×
8最大池化3
×
32
×2‑
4conv250
×
50
×
16卷积5
×
51
×
1165pool225
×
25
×
16最大池化3
×
32
×2‑
6conv325
×
25
×
32卷积5
×
51
×
1327pool313
×
13
×
32最大池化3
×
32
×2‑
8conv413
×
13
×
64卷积5
×
51
×
1649pool47
×7×
64最大池化3
×
32
×2‑
10fc11
×
3136全连接
‑‑‑
11fc21
×
384全连接
‑‑‑
12输出层1
×
4softmax
‑‑‑
[0055]
进一步地，本发明选用准确率作为cnn模型分类结果的评价指标，其准确率越大，表明模型分类结果越好。表4为随机抽取了十次计算的准确率以及平均值，可以发现，本文构建的cnn模型能够准确地对识别不同的熔透状态，其整体识别率可达96％，表明该cnn网络具备可靠的熔透状态识别能力，能够应用于实际焊接过程的熔透在线检测。
[0056]
表4深度模型预测结果
[0057][0058][0059]
(3)工业部署及熔透实时预测
[0060]
在上述深度模型离线训练基础上，本发明进一步开发如图5所示的基于c#winform界面框架的焊接过程的实时预测上位机，包括深度学习配置区、相机实时显示窗口区、roi显示窗口区、质量实时预测窗口区和相机基础配置区应用模块。具体工作流程如下：
[0061]
焊接开始前，首先在深度学习配置区利用tensorflow.net库完成对pb文件的读取调用，构建默认的模型计算图，并通过dll引用快速部署工业级深度学习系统，并设置输入图像数据的长、宽及通道数；焊接开始后，首先打开实时预测上位机软件，启动工业相机，设置快门模式和帧率等相机参数，实现穿孔熔池图像的采集，并同步显示在实时显示窗口区；
进一步利用opencv计算机视觉技术对穿孔熔池图像进行roi预处理，处理结果随之显示在roi显示窗口区；当开始预测后，实时预测上位机将经过roi预处理后图像送入到模型计算图，将图像文件转换成tensor类库，并作为模型计算图的输入节点，同时运行计算图获取输出节点结果，利用utils.quantized函数将输出节点结果转换成每一类的概率值，并将熔透状态、置信度和预测时间等结果同步显示在焊接质量预测区，从而最终实现对vppaw焊接质量的原位实时监测。
[0062]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。