基于深度神经网络的熔池轮廓检测方法与流程

本发明机器视觉领域，具体涉及一种基于深度神经网络的熔池轮廓检测方法。

背景技术：

自动焊接极大的解放了人工，在智能生产方面得到了广泛的应用。利用计算机视觉提取、分析熔池轮廓，有利于实时检测与控制自动焊接过程，保证焊接产品的质量。传统方法采用canny算子、cv活动轮廓等进行边缘检测，然而，现实情况中熔池图像受到焊接工艺与材料的影响，容易出现灰度分布不均且被弧光干扰的情况，此时传统方法难以提取出准确且完整封闭的熔池轮廓。

技术实现要素：

本发明的目的在于提供一种基于深度神经网络的熔池轮廓检测方法。

实现本发明目的的技术解决方案为：一种基于深度神经网络的熔池轮廓检测方法，包括如下步骤：

步骤1、建立熔池视觉传感系统，采集焊接时的熔池图像，裁去冗余背景，得到原始熔池图像集；

步骤2、基于步骤1得到的熔池图像制作其对应的分割标记样本，与原始熔池图像集构成熔池图片标记数据集；

步骤3、基于步骤2得到的熔池图片标记数据集，利用生成对抗网络dcgan进行训练，生成与原始熔池图像相似的图像，与熔池图片标记数据集构成扩充的熔池图片标记数据集；

步骤4、对扩充的熔池图像标记数据集进行色彩学和形态学上的数据增广，放入语义分割网络中进行训练；

步骤5、利用步骤4中所述训练得到的语义网络网络模型提取熔池轮廓。

本发明与现有技术相比，其显著优点为：1)利用生成对抗网络生成相似图像与随机数控制数据增广强度的方法，在数据集体量不足够达到分割任务精度的情况下，在节省人力与时间的同时，使网络模型具备了更好的泛化能力；2)将残差网络的不同尺度的特征进行融合，更好地提升了对熔池弱边缘区域的分割精度。

附图说明

图1为本发明建立的熔池视觉传感系统的示意图。

图2为本发明窗口裁切后的熔池图像。

图3为本发明熔池图像及对应的标记样本示意图。

图4为本发明dcgan训练过程中的生成图像，其中(a)为epoch＝10的生成图像，(b)为epoch＝120的生成图像，(c)epoch＝300的生成图像。

图5为本发明分割筛选后的生成图像。

图6为本发明生成图像及原图对应的标记样本示意图。

图7为本发明res-seg网络的结构示意图。

图8为本发明数据增广的流程图。

图9为本发明方法流程图

图10本发明测试结果的示意图，其中(a)为canny的测试结果，(b)为cv的测试结果，(c)为enet的测试结果，(d)为resnet50的测试结果，(e)为本发明算法的测试结果。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明方案。

一种基于深度神经网络的熔池轮廓检测方法，包括如下步骤：

步骤1、建立熔池视觉传感系统，采集焊接时的熔池图像，裁去冗余背景，得到原始熔池图像集；

建立的熔池视觉传感系统如图1所示，由于tig焊接工艺下焊枪与工件接触处存在较大的弧光，为了抑制弧光对轮廓检测产生的不良影响，在相机镜头前布置了660nm的滤光片，以获取清晰的高质量图像。由于本发明关心的只有熔池周围区域的图像信息，所以背景信息是冗余的，背景信息成分越少越好，为此以熔池区域为重点对采集到的熔池彩色图像(原图)进行窗口裁切。采集1920*1200的熔池图像后，根据熔池区域进行400*400大小窗口裁切，裁切之后的图像如图2所示。

步骤2、基于步骤1得到的熔池图像制作其对应的分割标记样本，与原始熔池图像集构成熔池图片标记数据集；

制作其对应的分割标记样本时，将需要分割的熔池区域用灰度为255的像素填充，背景区域用灰度为0的像素填充，如图3所示。

步骤3、基于步骤2得到的熔池图片标记数据集，利用生成对抗网络dcgan进行训练，生成与原始熔池图像相似的图像，与熔池图片标记数据集构成扩充的熔池图片标记数据集；

首先将原始熔池图像集的图像按照设置的批量尺寸(如batchsize＝4)拼接成一张图像，依次送入生成对抗网络dcgan中。每经过100次batchsize大小的训练，对原数据集中图片进行测试，测试结果如图4所示，可以看出训练过程中，随着训练轮数(epoch)的增加，生成图片逐渐清晰且越来越接近于原始熔池图像。然后在训练完毕后，利用生成的网络模型对原始熔池图像集的图像进行测试，生成设置数量(如100张)的以batchsize大小拼接而成的生成图。接着将生成图剪裁成单张熔池图片，经过筛选之后保留质量较好的生成图片，如图5所示。最后，如图6所示，基于新生成的熔池图像搜索对应的原图以及分割标记样本(label)，共同构成扩充的熔池图像标记数据集。这种数据补充的方式以一种节省人力与时间(不需要再制作多余标记)的方式增大了数据集的样本容量。

步骤4、对扩充的熔池图像标记数据集进行色彩学和形态学上的数据增广，放入语义分割网络中进行训练；

设计的语义分割网络res-seg如图7所示，该网络基于残差网络resnet-50演变而来，首先利用resnet-50网络对输入进行层层递进的卷积操作，获得不同尺度的特征图，若要得到与输入图片尺寸大小相同的分割结果，需要将卷积得到的特征图上采样到原图尺寸大小，与标记样本计算损失函数；

如图7中所示，基于原图1/32尺寸的特征f1/32进行上采样操作之后，还原的图片仅仅是最后一个尺度卷积层中的卷积核中的特征，只利用这一层特征去决定分割的结果是比较片面的。因此，本发明采用向前迭代，先将f1/32向上采样还原为原图1/16尺度大小的特征f1/16，将其与卷积过程中输出的f1/16进行相加融合。融合之后的特征进行同样的操作与卷积过程中1/8原图尺度的特征f1/8进行相加融合，得到的特征向上采样到原图尺寸，以上操作如式(1)中所示，这样做，将低层和高层的特征充分融合输出，有效地提高了目标分割的精；

其中d代表上采样操作。

此外，网络损失函数设计如式(2)所示：

其中e为softmax函数，i和j决定了像素是位于待分割前景区域fg中还是背景区域bg中，yij表示像素的二进制预测值，a为背景占图像的像素数比，b为前景占图像的像素数比。

在将数据集放入res-seg网络进行训练之前，对熔池图像及其对应标记样本进行数据增广，步骤如图8所示，此部分对熔池图片引入旋转、裁切等形态变化以及色彩调整等操作。模型泛化能力的要求使得这些操作需要具备可调整强度的能力(图片旋转的角度、亮度调整的大小等)，在此引入随机数控制的概念，在每次图片传入网络中进行训练之前，根据生成的随机数调整前文提到操作的强度，再传入网络中。这样能够使得训练得到的网络模型更具有鲁棒性。增广步骤如下：

a、设置最大旋转角度、最大缩放比例值(scale)以及最大裁切长宽值；

b、生成0到1之间的随机浮点数m，以m为基准与最大旋转角度、最大scale值以及最大裁切长宽值进行相乘操作，生成控制形态变化的随机浮点数，控制旋转、缩放、裁切操作；以2*m-1为基准与scale进行相乘操作，生成控制色彩变化的随机浮点数，控制亮度、饱和度、对比度、锐度、高斯模糊操作；

c、载入扩充的熔池图像标记数据集的熔池图像及其对应label，执行旋转以及缩放操作，根据步骤b控制色彩变化的随机浮点数的正负判断是否进行裁切以及色彩转换操作，若为负，则不进行裁切和色彩转换操作，否则对图像以及标记样本进行裁切和色彩转换。

步骤5、利用步骤4中所述训练得到的语义网络网络模型提取熔池轮廓。

实施例

为了验证本发明方案的有效性，利用训练得到的网络模型测试测试集中的熔池图像，分割结果取轮廓后叠加到原彩色图像上与传统算法的对比结果如图9所示。可以看出本发明提取的轮廓线比传统的轮廓线提取方法或传统语义分割网络提取的轮廓线更平滑，更接近真实的熔池边界。

根据公式(3)计算目标和背景的分割精度，pii表示被正确分类的像素，pij(i≠j)表示被错误分类的像素，k表示类别总数：

本发明方法与传统方法的分割精度如表1所示。由表中可知，本发明方法的分割精度较传统方法有所提高，可以说明本发明这种基于生成对抗网络对数据集进行补充以及对残差网络多层特征进行融合的方式有利于提高分割任务精度。

表1目标和背景的分割精度对比表

为了验证网络模型的鲁棒性，在测试集以外的数据上也做了测试，测试结果如表2所示。本发明准确率可以达到92％，在原resnet-50基础网络上提升了大约2个百分点的准确率，而在原resnet-101基础网络上提升了7个百分点左右，其中一个重要原因是：resnet-101网络层数过深，结构复杂，参数过多，导致网络在训练数据上出现过拟合，从而训练模型无法在训练数据以外的未知数据上表现出好的效果。

表2轮廓提取精度的对比表