用于挖掘机动臂的多角度辅助焊接方法与流程

1.本发明涉及图像数据处理技术领域，具体涉及用于挖掘机动臂的多角度辅助焊接方法。


背景技术：

2.挖掘机动臂的自动化生产过程中，需要将挖掘机动臂组件进行焊接，在焊接过程中容易出现一些焊接缺陷，例如焊道偏离、焊接引导误差和焊缝表面焊接缺陷等，因此需要对焊接处进行实时观察，减少焊接缺陷。目前常用的观察方法为在焊枪上安装摄像机获取焊接处的图像，由于摄像机位置在焊枪上，导致只能观察到焊接过程的部分图像。但是通过摄像头进行辅助焊接时，需要实现视觉引导、焊接形变监测等功能，故获取焊接处的全景图像更有利于动臂的焊接。
3.然而现有的全景成像方法，是通过多个摄像头得到多个图像，将多个图像进行拼接，得到全景图像。在通过多角度的焊接处拍摄时，由于图像拼接必定会产生一定畸变和拼接误差，可能会影响最终的焊接处的全景图像质量，不能够对焊枪实现准确地视觉引导等作用，导致焊接缺陷增加。


技术实现要素：

4.为了解决上述通过多角度的焊接处拍摄时，由于图像拼接必定会产生一定畸变和拼接误差，可能会影响最终的焊接处的全景图像质量，不能够对焊枪实现准确地视觉引导等作用，导致焊接缺陷增加的技术问题，本发明的目的在于提供一种用于挖掘机动臂的多角度辅助焊接方法，所采用的技术方案具体如下：采集至少两个角度的焊接图像与对应的点云数据，获得焊接图像任意像素点对应的点云数据与预设焊枪轨道点云数据集中所有采集点的欧式距离，根据欧式距离的最小值获得对应焊接图像像素点的焊缝概率值；获取焊接图像中的特征点匹配对，获得两张待拼接焊接图像的所有特征点匹配对的投影误差值，通过预设投影误差阈值对特征点匹配对筛选，获得低误差特征点匹配对；根据低误差特征点匹配对中特征点的焊缝概率值与投影误差值获得焊接图像配准特征点概率值，通过焊接图像配准特征点概率值最高的低误差特征点匹配对进行图像拼接，获得焊接过程的全景图像；利用所述全景图像进行多角度辅助焊接。
5.进一步地，所述焊接图像像素点的焊缝概率值的获取步骤包括：将焊接图像像素点的欧式距离的最小值进行负相关归一化，获得焊接图像像素点的焊缝概率值。
6.进一步地，所述焊接图像配准特征点概率值的获取步骤包括：将低误差特征点匹配对的投影误差值进行负相关归一化，根据低误差特征点匹配对中特征点的焊缝概率值的最小值与负相关归一化的低误差特征点匹配对的投影误差值的乘积，获得焊接图像配准特征点概率值。
7.进一步地，所述焊接图像中的特征点匹配对通过sift算法获得。
8.进一步地，所述投影误差值通过单应性矩阵计算获得。
9.进一步地，所述低误差特征点匹配对的获取步骤包括：根据预设投影误差阈值，筛选投影误差值小于预设投影误差阈值的特征点匹配对，获得低误差特征点匹配对。
10.本发明具有如下有益效果：在本发明实施例中，根据欧式距离的最小值获得对应焊接图像像素点的焊缝概率值是因为需要保证焊接图像拼接过程中焊缝处的拼接误差最小，所以需要根据焊缝概率值确定焊接图像中像素点的位置属于焊缝处的概率；获得低误差特征点匹配对的目的是保证整体焊接拼接误差较低的情况下进一步选取焊缝处拼接误差最小时所需要的特征点匹配对；通过焊接图像配准特征点概率值最高的低误差特征点匹配对进行图像拼接目的是确定使焊缝处拼接误差最少时的特征点匹配对，减少焊缝处的拼接误差，最终通过焊缝处拼接误差最小的全景图像能够更精确地辅助完成挖掘机动臂的焊接。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1为本发明一个实施例所提供的一种用于挖掘机动臂的多角度辅助焊接方法流程图。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于挖掘机动臂的多角度辅助焊接方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.下面结合附图具体的说明本发明所提供的一种用于挖掘机动臂的多角度辅助焊接方法的具体方案。
16.请参阅图1，其示出了本发明一个实施例提供的用于挖掘机动臂的多角度辅助焊接方法流程图，该方法包括以下步骤：步骤s1，采集至少两个角度的焊接图像与对应的点云数据，获得焊接图像任意像素点对应的点云数据与预设焊枪轨道点云数据集中所有采集点的欧式距离，根据欧式距离的最小值获得对应焊接图像像素点的焊缝概率值。
17.为了获得焊接处的全景图像，需要获得至少两个角度的焊接图像进行拼接。在本发明实施例中，在自动化焊接设备上安装4个摄像头，可以采集焊接设备在焊接时不同角度
下的焊接处图像。需要说明的是，4个摄像头采用rgb-d摄像头，rgb-d摄像头能够在采集rgb图像的同时采集深度数据，并将深度数据转化为3d点云数据，各摄像头通过有线连接的方式，将数据传输到自动化焊接系统的数据处理中心；实施者在实施过程中可根据实施场景自行确定摄像头的安装数量。4个摄像头采集的图像称为焊接图像。
18.为了保证在焊接处进行图像拼接时，使最终焊接处的拼接误差最小，所以需要确定焊接图像中的焊接部分的位置。其中在具有焊缝的焊接图像中，属于焊缝区域的必定为焊接处的位置，所以只需要保证焊缝处的拼接误差达到最小即可，即在图像拼接中选择特征点时，尽量选择属于焊缝处的特征点。由于在焊接过程中，只有焊接后的位置才会有焊缝，所以4个摄像头在进行焊接处的焊接图像采集时，存在部分相机无法采集到焊缝图像，无焊缝的焊接图像可能存在即将焊接的焊缝。因此为了减少此类焊接图像的拼接误差，需要对焊接图像进行分析，判断焊接图像中存在焊缝的概率，存在焊缝概率高的焊接图像需要寻找焊缝特征点，目的是减少图像拼接过程中焊缝处的拼接误差。
19.由于挖掘机动臂的焊接是自动化过程，自动化焊枪的焊接轨道是固定已知的，对同类型动臂焊接时的焊缝位置固定，所以可以对没有焊缝的焊接图像进行对比，判断焊接图像是否存在即将被焊缝覆盖的位置。自动化焊枪的焊枪轨道通常是以3d点云数据进行保存的，所以通过焊枪轨道数据，可以得到当前自动化焊枪的焊接轨道的点云数据，将自动化焊枪的焊接轨道点云数据称为预设焊枪轨道点云数据集。同时获取全景图像的摄像头为rgb-d相机，在采集rgb图像的同时采集深度数据，并将深度数据转化为3d点云数据，因此可以得到焊接图像的任意像素点对应的点云数据。需要说明的是，通过rgb-d相机获取图像点云数据的方法属于公开技术，具体获取方法不再赘述。
20.得到焊接图像的任意像素点对应的点云数据之后，需要判断像素点存在焊缝的概率，判断存在焊缝概率的具体步骤包括：计算焊接图像任意像素点对应的点云数据与预设焊枪轨道点云数据集中所有采集点的欧式距离，根据欧式距离的最小值获得对应焊接图像像素点的焊缝概率值。欧式距离能够表示焊接图像的任意像素点的点云数据与预设焊枪轨道点云数据集中所有采集点的最短距离，当欧式距离越小，可以认为焊接图像的对应像素点距离即将成为焊缝的位置越近，则像素点成为焊缝处的特征点的概率值越大；当欧式距离越大，可以认为焊接图像的对应像素点距离即将成为焊缝的位置越远，则像素点成为焊缝处的特征点的概率值越小。需要说明的是，点云数据中两点之间的欧式距离的计算方法属于公开技术，具体计算步骤不再赘述。
21.例如，设第个焊接图像中，第个像素点对应的深度值为，对应转化为点云数据后的坐标为，预设焊枪轨道点云数据集为，表示集合中不同的采集点。计算第个像素点的点云坐标与预设焊枪轨道点云数据集所有采集点的欧式距离集合，选择集合中的最小值作为第个焊接图像中，第个像素点位置为焊缝处的焊缝概率值。因为欧式距离值越大，则对应像素点位置为焊缝处的概率越小，所以将焊接图像像素点的欧式距离的最小值进行负相关归一化，获得焊接图像像素点的焊缝概率值，获取焊缝概率值的具体公式包括：
式中，为第个像素点的焊缝概率值，为第个像素点的点云坐标与预设焊枪轨道点云数据集所有采集点的欧式距离集合中的最小值，表示预设焊枪轨道点云数据集中不同的采集点，为最小值；为以自然常数为底的指数函数，目的是将欧式距离的最小值的负数进行归一化。至此，当值越大，则意味着对应像素点位置为焊缝处的概率越大。
22.得到焊接图像像素点的焊缝概率值之后，需要对焊接图像进行拼接，拼接过程中需要选择匹配度高的特征点匹配对进行图像拼接。
23.步骤s2，获取焊接图像中的特征点匹配对，获得两张待拼接焊接图像的所有特征点匹配对的投影误差值，通过预设投影误差阈值对特征点匹配对筛选，获得低误差特征点匹配对。
24.在获取到焊接图像后，对焊接图像拼接需要获取各焊接图像中的特征点匹配对，通过特征点配准完成图像拼接，在本发明实施例中，通过sift算法获取各焊接图像的特征点匹配对。需要说明的是，sift算法获取特征点匹配对属于公开技术，具体获取方法不再赘述。现有的常用图像拼接方法是通过对各采集图像利用sift算法进行匹配，得到采集图像与待拼接图像之间所有的特征点匹配对。进而对采集图像和待拼接图像之间的特征点匹配对利用ransac算法，获得具有高匹配度的特征点匹配对，从高匹配度的特征点匹配对中随机选取4个特征点匹配对，利用挑选出的4个特征点匹配对计算透视矩阵，通过透视矩阵将采集图像与待拼接图像变换至同一坐标系下，进而将采集图像与待拼接图像通过运算实现图像拼接。
25.然而现有通过ransac算法进行图像选取高匹配度的特征点匹配对时，往往是全局随机选取4个特征点匹配对，计算投影误差，将投影误差大的特征点匹配对进行剔除，这样仅能够保证图像拼接时的全局匹配误差最小，不能够保证焊缝处的匹配误差最小，有可能拼接后的图像在焊缝处出现畸变等情况。
26.因此在进行焊接图像的拼接过程中，考虑到需要保证焊接处的匹配误差最小，需要对计算透视矩阵所用到的特征点匹配对的选取方法进行改进。在本发明实施例中，因安装了四个摄像头，将四个摄像头采集的图像分别称为、、和，以焊接图像和待拼接的焊接图像进行举例说明，在通过sift算法得到焊接图像和待拼接的焊接图像的特征点匹配对时，仍然随机选取4个特征点匹配对通过单应性矩阵计算得到所有特征点匹配对的投影误差值，将所有投影误差进行归一化，根据预设投影误差阈值，筛选投影误差值小于预设投影误差阈值的特征点匹配对，获得低误差特征点匹配对，低误差特征点匹配对指在拼接过程中误差较小的特征点匹配对。需要说明的是，通过单应性矩阵计算投影误差值属于公开技术，具体计算步骤不再赘述；在本发明实施例中，预设投影误差阈值为0.7，实施者可以根据实施场景自行确定预设投影误差阈值。
27.得到低误差特征点匹配对后，在低误差特征点匹配对的基础上对参与对计算透视矩阵所用到的特征点匹配对的选取进行分析，能够首先在保证整体拼接图像误差较低的情况下进一步减少焊接处的拼接误差。
28.步骤s3，根据低误差特征点匹配对中特征点的焊缝概率值与投影误差值获得焊接
图像配准特征点概率值，通过焊接图像配准特征点概率值最高的低误差特征点匹配对进行图像拼接，获得焊接过程的全景图像；利用全景图像进行多角度辅助焊接。
29.得到焊接图像和待拼接的焊接图像的低误差特征点匹配对以及对应的投影误差值之后，将低误差特征点匹配对所对应的投影误差值通过最大值最小值归一化方法进行归一化。通过步骤s1获取焊接图像和待拼接的焊接图像所有低误差特征点匹配对中特征点所对应像素点处的焊缝概率值，作为特征点的焊缝概率值；对焊接图像中所有特征点的焊缝概率值通过最大值最小值归一化方法进行归一化，对待拼接的焊接图像中所有特征点的焊缝概率值通过最大值最小值归一化方法进行归一化，归一化的目的是消除数据的量纲。需要说明的是，最大值最小值归一化方法属于公开技术，具体计算步骤不再赘述。然后可以通过归一化后的投影误差值与焊缝概率值获得焊接图像配准特征点概率值。
30.根据低误差特征点匹配对中特征点的焊缝概率值与投影误差值获得焊接图像配准特征点概率值的具体步骤包括：将低误差特征点匹配对的投影误差值进行负相关归一化，根据低误差特征点匹配对中特征点的焊缝概率值的最小值与负相关归一化的低误差特征点匹配对的投影误差值的乘积，获得焊接图像配准特征点概率值，焊接图像配准特征点概率值的具体获取公式包括：式中，为焊接图像中第个低误差特征点匹配对中的特征点，为待拼接的焊接图像中第个低误差特征点匹配对中的特征点，为和组成的低误差特征点匹配对的焊接图像配准特征点概率值；为特征点的归一化后的焊缝概率值，为特征点的归一化后的焊缝概率值，目的是取括号中的最小值。为和组成的低误差特征点匹配对的归一化后的投影误差值，为以自然常数为底的指数函数，目的是将投影误差值的负数进行归一化。
31.值越大，意味着和组成的低误差特征点匹配对作为图像配准特征点对时的投影误差越大，为了挑选出投影误差值小的低误差特征点匹配对，需要将值进行负相关映射，所以在公式中通过函数将投影误差值的负数进行归一化。当值越大，意味着和组成的低误差特征点匹配对作为图像配准特征点的概率越高。
32.为特征点所对应像素点位置的焊缝概率值，当值越大，则意味着特征点所对应像素点位置为焊缝处的概率越高。因此在公式中选择和中的最小值当作和组成的低误差特征点匹配对的位置属于焊缝处的概率值，目的是表示此低误差特征点匹配对位置属于焊缝处的概率值的下限，所以当值越大，则和组成的低误差特征点匹配对作为图像配准特征点的概率越高。
33.计算出焊接图像和待拼接的焊接图像的所有低误差特征点匹配对的焊接图像配准特征点概率值后，选择4个焊接图像配准特征点概率值最高的作为计算透视矩阵所用到的特征点匹配对，进而将待拼接的焊接图像变换到与焊接图像同一坐标系下，完成焊接图像的拼接，同理可将、变换到与同一个坐标系下，进而得到焊接的整个全景图像。
因为在图像拼接过程中选取的特征点匹配对位置属于焊缝处的概率最高，所以能够保证拼接过程中焊接处的拼接误差最小，能够更精确地辅助完成挖掘机动臂的焊接。
34.综上所述，本发明实施例提供了一种用于挖掘机动臂的多角度辅助焊接方法，在挖掘机动臂的自动化焊接过程中，需要对焊接过程进行实时观察以减少焊接缺陷。在焊枪上安装至少两个摄像头获取焊接处的全景拼接图像。为了减少焊接处图像的拼接误差，通过获取的焊接图像的点云数据与预设焊枪轨道点云数据获得焊接图像像素点的焊缝概率值；通过焊接图像中的特征点匹配对的投影误差值筛选低误差特征点匹配对。选取焊接图像配准特征点概率值最高的特征点匹配对完成焊接图像拼接，减少了焊接处的拼接误差，能够更精确地辅助完成挖掘机动臂的焊接。
35.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
36.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。