一种基于深度学习的焊接机器人的焊缝识别方法与流程

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的焊接机器人的焊缝识别方法。

背景技术：

目前，针对船舶、集装箱和海洋装备等大型设备的生产制造需要巨大的焊接作业量，组成这些焊接构件的结构往往比较复杂，且焊接材料的厚度、大小和长短不一，从而造成了不同大小、不同尺寸、不同形状和空间位置不同的焊缝。在识别的过程中，环境复杂、恶劣和多变，这给焊缝识别带来一定的挑战。

在进行焊接的过程中，不同的焊缝类型对应的焊接参数设置也不同，错误的焊接参数设置易使得焊接缺陷的出现，从而影响整个生产。传统的焊接工艺大多是由人工来完成的；近年来，由于工业自动化技术不断提高，机器人被大量用于焊接领域。与此同时，现有的焊缝识别技术，多采用结构光和激光进行辅助检测，或者对焊缝板材的纹理区分度要求较高，在复杂的工业环境下识别率和识别速度不高，

因此，在智能焊接领域，为机器人开发出一套能精准、高效识别焊缝并能获取焊缝位置信息的算法，是该行业热点研究方向之一。

技术实现要素：

本发明的目的是提供一种基于深度学习的焊接机器人的焊缝识别方法，能够极大提高焊缝识别的精度和效率，进而提高焊接机器人的焊接速度和质量。

为实现上述目的，本发明提供一种基于深度学习的焊接机器人的焊缝识别方法，包括：

获取焊缝的样本图像集；

建立卷积-反卷积神经网络的模型；所述模型包括卷积神经网络和反卷积神经网络，通过所述卷积神经网络提取待识别焊缝的图像特征，通过所述反卷积神经网络获取待识别焊缝的语义表达式；所述卷积神经网络包括具有卷积核的卷积层，所述卷积核的采样点位置均设置偏移变量，以实现所述卷积核采样点根据待识别焊缝的特征自适应变化；

利用所述样本图像集训练所述模型，得到所述卷积-反卷积神经网络；

将获取的待识别焊缝的图像输入所述卷积-反卷积神经网络，得到待识别焊缝的分割图片和所述分割图片所对应的焊缝类型。

可选地，全部所述偏移变量形成偏移层，所述卷积神经网络还包括激活层和池化层，所述反卷积神经网络包括所述偏移层、所述激活层和所述卷积层。

可选地，所述通过反卷积神经网络获取待识别焊缝的语义表达式，包括：

利用所述反卷积神经网络的四组上采样层进行信息还原，将由所述池化层所池化的信息按照索引记录进行位置回归，并将索引之外的参数设置为0。

可选地，所述通过反卷积神经网络获取待识别焊缝的语义表达式，还包括：

利用四个所述池化层产生的四个不同特征图，通过权重进行融合，得到四个所述分割图片。

可选地，

所述利用样本图像集训练所述模型，得到所述卷积-反卷积神经网络，包括：

将所述样本图像集的图片像素进行标注，焊缝像素点记为1，焊缝背景像素点记为0；

所述将获取的待识别焊缝的图像输入所述卷积-反卷积神经网络，得到待识别焊缝的分割图片和所述分割图片所对应的焊缝类型，包括：

在所述待识别焊缝的图像上的焊缝感兴趣区域利用矩形框进行标注，且所述矩形框内包含焊缝特征信息。

可选地，还包括：

利用公式m＝mc+mf+ms对所述卷积-反卷积神经网络进行误差分析，其中，mc为焊缝分类误差，mf为焊缝感兴趣区域误差，ms为焊缝和背景像素点的分类误差。

可选地，所述反卷积神经网络还包括用以对待识别焊缝进行类型分类的softmax回归层。

相对于上述背景技术，本申请提供的基于深度学习的焊接机器人的焊缝识别方法，采用深度学习中的语义分割方法并融入分类方法，对不同工业环境的焊缝数据集进行联合训练，可以端到端的获取焊缝上下文信息，建立结构化的焊缝网络模型，进而对焊缝进行快速语义分割并判断焊缝类型，极大提高焊缝识别的精度和效率，进而提高焊接机器人的焊接速度和质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的焊缝识别方法的流程图；

图2为本发明实施例所提供的卷积-反卷积神经网络的结构图；

图3(a)为现有技术中的卷积核的示意图；

图3(b)为本发明实施例所提供的具有偏移变量的卷积核的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本技术领域的技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

本申请中，深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。

卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。通常来说，卷积神经网络由卷积层、池化层和全连接层组成，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

具体来说，卷积核就是图像处理时，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核。

本发明提供的一种基于深度学习的焊接机器人的焊缝识别方法，如说明书附图1所示，包括：

s1、获取焊缝的样本图像集；

s2、建立卷积-反卷积神经网络的模型；模型包括卷积神经网络和反卷积神经网络，通过卷积神经网络提取待识别焊缝的图像特征，通过反卷积神经网络获取待识别焊缝的语义表达式；卷积神经网络包括具有卷积核的卷积层，卷积核的采样点位置均设置偏移变量，以实现卷积核采样点根据待识别焊缝的特征自适应变化；

s3、利用样本图像集训练模型，得到卷积-反卷积神经网络；

s4、将获取的待识别焊缝的图像输入卷积-反卷积神经网络，得到待识别焊缝的分割图片和分割图片所对应的焊缝类型。

本申请的核心包括两部分，一部分是对待识别焊缝进行分割；另一部分是在分割的过程中判断焊缝的类型。本申请的卷积-反卷积神经网络是在vgg网络模型的基础上进行修改而得到的，是在vgg网络之后增添反卷积网络，形成卷积-反卷积神经网络。

由于标准卷积中的规格点采样导致网络难以适应有形状改变的焊缝图像，在进行焊缝识别的网络中采用可变形的卷积核，对卷积核中每个采样点的位置都增多了一个偏移的变量。这样一来，卷积核就可以在当前位置临近随意的采样，而不再局限于以前的规整格点。可变形卷积单元中增多的偏移量是网络结构的一部分，通过另外一个平行的规整卷积单元计算获取，进而也可以通过梯度反向传播进行端到端的学习。加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的焊缝图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同种类焊缝的形状、大小等几何形变。正常卷积核以及具有偏移变量的卷积核如附图3(a)和附图3(b)所示。

通过上述可知，本申请的核心在于步骤s2，至于步骤s1和步骤s3均可参考现有技术，本文并未作出实质改进。

针对上述卷积-反卷积神经网络，全部偏移变量形成偏移层，卷积神经网络还包括激活层和池化层，反卷积神经网络包括偏移层、激活层和卷积层。

如说明书附图2所示，卷积层、偏离层和激活层记为a，池化层记为b，卷积神经网络则包括a和b，利用卷积神经网络实现下采样等功能；在反卷积神经网络中，上采样也即上采样层，记为c，softmax回归层记为d，且反卷积神经网络还包括a。可以看出，本申请的卷积-反卷积神经网络，是在vgg网络模型的基础上增加偏离层、激活层和softmax回归层，搭成最终的深层可偏移的网络结构模型。

在进行焊缝识别的过程中，首先可通过四次卷积组的操作获得焊缝特征。具体地，通过输入焊缝图片，采用降采样对焊缝特征信息进行编码，通过卷积-反卷积神经网络提取焊缝属性信息。通过偏离层学习焊缝特征点的偏离信息，使可变形卷积核(也即具有偏移变量的卷积核)在焊缝图像上根据焊缝特征进行自适应调整，增强卷积-反卷积神经网络对焊缝的识别能力，提高焊缝识别的速度和准确率。

然后，可通过四次反卷积组的操作获得最终的焊缝语义表达式。通过四组上采样网络(上述c)进行信息还原，把池化的信息按照索引记录进行位置回归；与此同时，把索引外的参数都设置为0，焊缝识别神经网络计算时降低过拟合的方式采用稀疏编码，也就是在训练的过程中随机将一部分神经元的权重数值设置为0，使该神经元失效，这样，在降低过拟合的同时减少了参数的数量，加快了训练过程。经过反卷积后产生稀疏特征图，下采样的四个解码器产生四个不同的特征图，含有不同分辨率下的焊缝特征信息底层的解码器产生的特征图含有的焊缝位置信息较多，高层的解码器产生的特征图含有的焊缝像素点类别比较多。将不同的解码器的焊缝特征，通过不同的权重进行融合(权重可有学习的到)，通过四个解码器融合之后可以得到结构化焊缝予以分割图。

接着，进行焊缝识别网络误差分析。针对焊接实时性的要求，需要运行速度快且准确率可靠，卷积-反卷积神经网络通过共享焊缝识别网络的中的信息进行焊缝识别和焊缝分类同时进行训练学习，可以提高焊缝识别系统运行速度。该焊缝识别网络中损失函数有三类：焊缝类别，焊缝感兴趣区域和图像像素点类别。

本申请可以对图片像素进行标注，把焊缝图像像素点分为两类：焊缝像素点(标签1)和焊缝背景像素点(标签为0)，输入图像中的焊缝感兴趣区域用矩形框进行标注，矩形框内包含焊缝特征信息，可以快速定位焊缝特征区域，提高运行效率。该焊缝识别神经网络的多任务损失函数包括焊缝分类误差、焊缝感兴趣区域误差和像素误差，表示为m＝mc+mf+ms，利用该公式对卷积-反卷积神经网络进行误差分析，其中，mc为焊缝分类误差，mf为焊缝感兴趣区域误差，ms为焊缝和背景像素点的分类误差。

而后，通过softmax回归层进行焊缝类型分类。本申请对焊缝图片感兴趣区域的每个像素点使用sigmoid回归，其损失函数ms掩模上的一个二值化焊缝像素点的交叉商，不同位置的像素点误差权重不同，同一类焊缝中心像素点最高。

最后输出焊缝分割图片和对应的焊缝类型。

综上，本申请提供的焊缝识别方法，针对焊缝现场检测环境复杂，提出了一种基于深度学习的新型焊缝检测和分类方法。通过可变形卷积神经网络提取焊缝特征，然后对不同环境下的焊缝数据进行训练，端到端的获取焊缝上下文信息。建立结构化的焊缝网路模型，进而判断焊缝类型。该模型预测焊缝像素所属的场景语义类别，实现焊缝的实时检测。

以上对本发明所提供的基于深度学习的焊接机器人的焊缝识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。