一种焊接机器人视觉组件及其测量方法与流程

本发明属于焊接机器人技术领域，具体涉及一种焊接机器人视觉组件及其测量方法。

背景技术：

焊接机器人系统已在工业现场大量应用，相比于人工焊接具有焊接质量稳定可靠、一致性好，可连续工作，节省人力等优点。但是目前焊接机器人普遍需人工示教，严重制约焊接效率，甚至低于人工焊接效率，当工件有下料偏差、加工偏差、组对偏差及装夹偏差等工况出现时会出现无法准确可靠地焊接，造成焊接机器人无法使用。另外，目前焊接机器人主要集成成熟的激光焊缝传感器，但是焊缝传感器工作的前提是基于先验信息(如焊缝形状、焊缝起点大致位置等)，工作过程需要人工参与，且焊缝传感器的视场有限。上述方式使得柔性化焊接程度不高，在焊接过程中需人工在线示教焊接路径且示教耗时较长，无法解决工件下料偏差大、组对位置偏差大以及装夹位置偏差大等工况下的柔性焊接需求。

因此，研制能够使焊接机器人高度自动化，高度柔性化，精准定位引导焊接机器人到达焊缝，解决工件下料偏差、组对位置偏差以及装夹位置偏差等问题的一种焊接机器人视觉组件及其测量方法意义重大。

技术实现要素：

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种焊接机器人视觉组件及其测量方法，该发明可使焊接机器人具有免示教、高焊接效率、高系统容差、高柔性的特点。

本发明是通过下述技术方案来实现的。

一种基于焊接机器人视觉组件的测量方法，包括如下步骤：

步骤1，机器人复位原点，将工件三维模型或实测标准模型导入工控机，工控机控制全局定位视觉组件采集工件图像信息，将所述工件图像信息上传至工控机，工控机对所述工件图像信息进行处理，解算工件焊缝位置信息，根据工件焊缝位置信息解算工件精定位测量位置，将工件精定位测量位置转换到焊接机器人坐标系下，将工件精定位测量位置信息发送至焊接机器人控制系统；

步骤2，焊接机器人控制系统根据工件精定位测量位置信息，控制焊接机器人焊枪运动将焊枪顶点移动至精定位测量点；

步骤3，工控机控制精定位视觉组件采集工件焊缝图像，并上传图像至工控机，工控机对工件焊缝图像处理，获得工件的三维点云数据，从三维点云数据中提取并解算出工件焊缝的起始点和终止点坐标，将焊缝坐标转换到焊接机器人坐标系下，并自动生成工件焊缝的焊接路径；

步骤4，工控机控制焊接机器人根据焊接路径，引导焊枪运动至焊缝起始点进行起弧开始焊接，沿焊接路径运动到终点位置进行灭弧，完成该焊缝焊接；

步骤5，焊接结束后，焊接机器人向工控机上传结束信息，并启动下一个焊缝焊接过程。

对于上述技术方案，本发明还有进一步优选的方案：

优选的，所述步骤1中，解算工件焊缝位置信息算法，包括如下步骤：

1a)全局定位视觉组件对获取的工件工作环境图像信息进行预处理，采用滤波算法去除环境干扰；

1b)对预处理后的图像进行工件特征识别与提取，获得提取特征的像素坐标；

1c)根据提取特征的像素坐标，利用全局定位视觉组件的内外参数，通过双目交汇测距方法计算所提取像素坐标在全局定位视觉组件坐标系下的三维坐标；

1d)在工控机中预先标定好全局视觉组件坐标系和焊接机器人坐标系之间的关系，通过坐标转换将在全局定位视觉组件三维坐标系下的提取特征转换到焊接机器人坐标系下。

优选的，所述步骤1b)对工件特征识别提取的算法步骤如下：

1b-1)通过背景差法去除背景干扰，并结合大津阈值分割方法提取出工件在图像中的位置；

1b-2)对提取出的工件感兴趣区域进行边缘提取，并去除部分伪目标；

1b-3)对剩余的边缘特征进行分析，并结合先验工件边缘参数信息，利用归一化平方差匹配法提取有效的特征点。

优选的，所述步骤1c)全局定位视觉组件的内外参数包括全局定位视觉组件中的双目相机的焦距、主点坐标、倾斜参数、畸变参数内参参数和旋转矩阵、平移向量的外参参数。

优选的，所述步骤3中，工控机解算工件焊缝精确位置，采用精定位视觉组件采集图像，步骤如下：

3a)精定位视觉组件采集工件的图像信息进行滤波处理，去除干扰点；

3b)根据精定位视觉组件的内外参数对图像进行畸变校正；

3c)利用sgbm方法对双目相机获取的图像进行立体匹配，获取视差图；

3d)对视差图进行优化处理；

3e)利用视差图生成工件的三维点云数据；

3f)对三维点云进行处理，提取焊缝的起始点和终止点；

3g)将焊接路径坐标转换至焊接机器人坐标系下。

优选的，所述步骤3d)中对视差图进行优化处理具体步骤如下：

3d-1)对视差图进行空洞填充，对匹配不成功的区域利用周围匹配成功区域的信息进行拟合，用周边视差值逼近中心视差值；

3d-2)对视差图用浮点型视差值进行拟合替换原有离散视差值；

3d-3)去除视差图边缘产生的马赛克区域，通过空洞填充、降采样方法进行边缘拟合处理；

3d-4)对视差图进行孤立斑点去除，去除离群孤立点。

优选的，所述步骤3f)中从三维点云数据中提取焊缝的起始点和终止点,采用基于深度学习卷积神经网络实现，具体如下：

3f-1)构建神经网路模型：采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个softmax层，在caff框架下实现；

3f-2)制作训练数据集和测试数据集：待焊接工件焊缝的类型有搭接焊缝、直角焊缝、深v型焊缝和对接焊缝，根据焊缝类型对三维点云数据进行特征标记和分类；

3f-3)利用制作的数据集进行监督学习，训练神经网路模型的参数，使用随机梯度下降法更新权值；

3f-4)将三维点云数据送入神经网络，提取出焊缝；

3f-5)对提取出的焊缝进行拟合处理，计算出焊缝的起始点和终止点。

优选的，所述步骤3中，解算工件焊缝精确位置算法，采用线结构光或激光线扫主动视觉组件采集图像，算法步骤如下：

31)线结构光组件采集到的工件的图像信息进行滤波处理，并设置感兴趣区域；

32)对感兴趣区域去除弧光、飞溅干扰；

33)对激光线进行细化并使用海森矩阵提取激光线像素坐标；

34)利用相机坐标系(x，y，z)下激光投射面方程：ax+by+cz+d＝0和激光中心线像素坐标，计算出激光线的三维坐标点；其中，a、b、c、d分别为激光投射面方程的拟合参数；

35)对激光线上的无效点进行插补，并对插补点进行标记；

36)控制焊机机器人进行推扫，生成工件的三维点云数据；

37)对三维点云进行处理，从中提取出焊缝的起始点和终止点；

38)坐标转换，将焊缝的坐标转换至焊接机器人坐标系下。

相应地，本发明给出了一种焊接机器人视觉组件，包括：

全局定位视觉组件，获取工件图像信息，将工件图像信息发送给工控机，进而通过工控机从焊接工作台中提取工件，并识别工件大致焊缝位置，引导焊接机器人单元进行精定位识别；

精定位视觉组件，获取工件焊缝位置图像信息，进而通过工控机分析图像，经图像处理后精确识别焊缝位置，引导焊接机器人焊接；

工控机，执行图像处理、数据通信以及焊接机器人的运动控制；

焊接机器人单元，其焊枪上安装有精定位视觉组件，焊接机器人控制系统接受工控机的运动位置信息并引导焊枪运动至焊缝位置处，执行焊接任务；

供电单元，为全局定位视觉组件及精定位视觉组件供电。

优选的，所述全局定位视觉组件包括ccd或cmos相机和摄像头，全局定位视觉组件至少为2个相机或摄像头；

所述精定位视觉组件为双目、多目或单目多位置ccd或cmos相机，包括固定安装架、图像采集单元、滤光片、镜头保护罩和防飞溅挡板；所述精定位视觉组件通过转接件固定安装于焊接机器人焊枪上；

所述图像采集单元为被动视觉检测组件、结构光主动视觉检测组件或两者的结合；所述被动视觉检测组件包括ccd/cmos图像采集单元和光学镜头；所述结构光主动视觉组件包括ccd/cmos图像采集单元、结构光光源或激光光源、光学镜头和滤光片。

本发明由于采取以上技术方案，其具有以下有益效果：

1.本发明通过采用全局视觉组件，可动态识别焊接工件位置并引导焊接机器人运动至焊缝位置，此过程无需人工示教，免去因工件摆放位置差异而引起的多次人工标校问题，解决工件装夹位置适应性问题。

2.本发明中采用安装于焊接机器人焊枪上精定位视觉组件，可多位置采集工件焊缝信息，并进行三维重构，得到完整的工件三维点云，基于三维点云精确解算焊缝位置，并引导焊接机器人焊枪定位至焊缝起点，该方式无需人工示教焊缝焊接路径，不受工件下料偏差、组对位置偏差以及装夹位置偏差影响，具有柔性化高的特点。

3.本发明采用全局视觉组件和精定位视觉组件有效结合的方式，可实现整个从工件上料至焊接结束的柔性化和自动化焊接作业。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为本发明一种焊接机器人视觉组件的模块连接示意图。

图2为本发明一种焊接机器人视觉组件的组成框图。

图3为本发明一种焊接机器人视觉组件测量方法的工作流程框图。

图4为全局定位视觉组件检测方法流程图。

图5(a)-(c)为精定位视觉组件检测方法流程图。

图中：1、全局定位视觉组件；2、全局定位视觉组件固定支架；3、精定位视觉组件；4、精定位视觉组件安装支架；5、机器人焊枪；6、机器人系统；7、工控机；8、供电单元；9、镜头a；10、镜头b；11、相机a；12、相机b；13、镜头保护罩；14、防飞溅挡板；15、滤光片；16、镜头c；17、相机c；18、镜头d；19、相机d；20、结构光光源。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1、图2所示，本发明一种焊接机器人视觉组件，包括全局定位视觉组件1、全局定位视觉组件固定支架2、精定位视觉组件3、精定位视觉组件安装支架4、机器人焊枪5、焊接机器人系统6、工控机7和供电单元8。

全局定位视觉组件1，获取工件图像信息，将工件图像信息发送给工控机，进而通过工控机从焊接工作台背景中提取工件，并识别工件大致焊缝位置，引导焊接机器人单元进行精定位识别；

精定位视觉组件3，获取工件焊缝位置图像信息，进而通过工控机分析图像，经图像处理算法后精确识别焊缝位置，引导焊接机器人焊接；

工控机7，为焊接机器人系统的控制中心，执行图像处理、数据通信以及焊接机器人的运动控制。

焊接机器人单元6，其前端焊枪5上安装有精定位视觉组件安装支架4，精定位视觉组件安装支架4上安装精定位视觉组件3，焊接机器人6接受工控机7的运动位置信息并引导焊枪5运动至焊缝位置处，执行焊接任务。

供电单元8，为全局定位视觉组件1及精定位视觉组件3供电。

如图2所示，其中，全局定位视觉组件1包括镜头a9、镜头b10、ccd或cmos相机a11、ccd或cmos相机b12，或两个摄像机代替相机a11、相机b12和全局定位视觉组件固定支架2，在全局定位视觉组件固定支架2固定全局定位视觉组件1，全局定位视觉组件1识别工件图像信息并定位工件位置，将识别的工件图像信息采集并传递至工控机7。工控机7得到全局定位视觉组件1采集的工件图像信息，从焊接工作台背景中提取工件，并识别工件±10mm误差以内焊缝位置，引导焊接机器人6附带精定位视觉组件3运动到工件焊缝位置进行精定位识别。

精定位视觉组件3，为双目、多目或单目多位置ccd或cmos相机，包括镜头保护罩13、防飞溅挡板14、滤光片15、镜头c16、相机c17、镜头d18、相机d19、结构光光源20和精定位视觉组件安装架4，精定位视觉组件安装架4通过安装定位孔固定安装于转接件上，转接件固定安装于所述焊接机器人焊枪5上。

精定位视觉组件3运动到待焊接工件±10mm以内焊缝处，采集焊缝图像，并将获取的图像信息上传至工控机7，由工控机7处理焊缝图像信息，得到工件焊缝的三维测量模型点云数据，通过与导入的设计文件比对，提取焊缝特征并解算焊缝或组对工件焊缝的精确位置，包括焊接起始点，终止点，工控机根据解算的焊缝信息，规划焊接路径，将结果下发至焊接机器人控制系统。

如图3所示，本发明相应的给出了一种基于焊接机器人视觉组件的测量方法，步骤如下：

步骤1，将直径为2～4米的待焊接工件固定在工作台上，启动设备将工件三维模型或实测标准模型导入工控机，根据工件待焊接面是平放还是立方，全局视觉组件安装在工件上方或侧方5米距离采集工件全局图像，全局视觉组件将获取的图像信息上传至工控机，由工控机对图像进行处理，解算工件位置信息，根据工件焊缝位置信息解算工件精定位测量位置，将工件精定位测量位置转换到焊接机器人坐标系下，将工件精定位测量位置信息发送至焊接机器人控制系统；

步骤1中，解算工件位置信息算法，如图4所示，包括如下步骤：

1a)全局视觉组件对采集到的工作环境的图像信息进行滤波、去除环境干扰光等预处理；

1b)对预处理后的图像进行工件识别与提取，获得提取特征的像素坐标；

其中，对工件特征识别提取的算法步骤如下：

1b-1)通过背景差法去除背景干扰，并结合大津阈值分割方法提取出工件在图像中的位置；

1b-2)在提取工件roi中进行边缘提取，并对提取的边缘进行去除部分伪目标；

1b-3)对剩余的边缘特征进行分析，并结合提取出工件边缘参数，利用归一化平方差匹配法提取有效的特征点。

1c)根据提取特征的像素坐标，利用全局视觉组件的内外参数，通过双目交汇测距原理解算特征的三维坐标(全局视觉组件坐标系下)；

其中，全局视觉组件的内外参数包括：双目相机的内参(焦距、主点坐标、倾斜参数、畸变参数)和外参(旋转矩阵、平移向量)。

1d)提前标定好全局视觉组件坐标系、焊接机器人坐标系之间的关系，通过坐标转换将提取特征在全局视觉坐标系下的三维坐标转换到焊接机器人坐标系下。

步骤2，焊接机器人控制系统根据接收的工件位置信息，通过引导焊枪运动将精定位视觉组件移动至焊缝±10mm位置；

步骤3，启动精定位视觉组件工作，采集焊缝图像，并将获取的图像信息上传至工控机，由工控机处理焊缝图像信息，计算获得工件的三维点云数据，通过对三维点云的处理，从三维点云中提取出焊缝，并解算出焊缝的起始点和终止点坐标，并通过坐标转换将焊缝的坐标转换到焊接机器人坐标系下；

其中，在一个实施例中，工控机解算工件焊缝精确位置算法，如图5(a)所示，采用被动光立体视觉组件采集图像，算法步骤如下：

3a)精定位视觉组件采集到的工件的图像信息进行滤波处理，增强细节信息，去除干扰点；

3b)根据精定位视觉系统的内外参数对图像进行畸变校正；

3c)利用sgbm方法对双目图像进行立体匹配，获取视差图；

3d)对视差图进行优化处理，具体算法如下：

3d-1)对视差图进行空洞填充，对匹配不成功的区域利用周围匹配成功区域的信息进行拟合，用周边视差值逼近中心视差值；

3d-2)对视差图进行亚像素求精，用浮点型视差值进行拟合替换原有离散视差值提高视差处理精度；

3d-3)去除视差图边缘产生的马赛克区域，通过空洞填充、降采样等方法进行边缘拟合处理；

3d-4)对视差图进行孤立斑点去除，去除离群孤立点，减少过程中的计算误差。

3e)利用视差图生成工件的三维点云数据；

3f)对三维点云进行处理，提取焊缝的起始点和终止点；

如图5(b)所示，从三维点云数据中提取焊缝特征的算法采用基于深度学习卷积神经网络实现，具体如下：

3f-1)构建神经网路模型：本专利采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个softmax层，在caff框架下实现；

3f-2)制作训练数据集和测试数据集：待焊接工件焊缝的类型有搭接焊缝、直角焊缝、深v型焊缝和对接焊缝等，根据焊缝类型对三维点云数据进行特征标记和分类，数据集大小不小于1000个；

3f-3)利用制作的数据集进行监督学习，训练神经网路模型的参数，训练次数为10000次，权重衰减系数为0.0005，确定的权值参数的学习率为10^-12，使用随机梯度下降法更新权值；

3f-4)将三维点云数据送入神经网络，可以提取出焊缝；

3f-5)对提取出的焊缝进行拟合处理，计算出焊缝的起始点和终止点。

3g)将焊接路径坐标转换至焊接机器人坐标系下。

其中，步骤3中，解算工件焊缝精确位置算法，如图5(c)所示，采用线结构光或激光线扫主动视觉组件采集图像，算法步骤如下：

31)线结构光组件采集到的工件的图像信息进行滤波处理，并设置感兴趣区域；

32)对感兴趣区域去除弧光、飞溅干扰；

33)对激光线进行细化，并使用海森矩阵提取激光线像素坐标；

34)利用相机坐标系下激光投射面方程：ax+by+cz+d＝0和激光中心线像素坐标，计算出激光线的三维坐标点；

35)对激光线上的无效点进行插补，并对插补点进行特殊标记；

36)控制焊机机器人进行推扫，生成工件的三维点云数据；

37)对三维点云进行处理，从中提取出焊缝的起始点和终止点；

38)坐标转换，将焊缝的坐标转换至焊接机器人坐标系下。

步骤4，焊接机器人控制系统根据计算焊缝位置坐标，引导焊枪运动至焊缝起始点进行起弧，控制焊枪沿焊接路径运动到终点位置进行灭弧完成该焊缝的焊接任务；

步骤5，焊接结束后，向工控机上传焊接结束信息，并启动下一个焊缝的焊接任务。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。