一种基于线结构光感知的焊接机器人3D曲线焊缝自主示教方法与流程

本发明涉及工业机器人焊接应用等先进制造产业技术领域，特别是涉及一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法。

背景技术：

工业机器人焊接应用作为工业机器人应用的重要组成部分之一，要求能够在软硬件协同的条件下，运用相关的算法，实现对焊缝的提取并生成机器人运动路径形成机器人系统控制指令进行焊接工作。其中，机器人焊接作业实现方法的有效性、通用性、可扩展性是工业机器人焊接应用的重要评价指标。

传统的焊接作业实现方法可分为人工示教实现和离线编程实现两种，当针对小批量、多品种、非标准工件焊接作业时，这两种实现方法存在以下问题：①焊缝类型多样，人工示教实现和离线编程实现工作量大，代价高；②离线编程方式严重依赖于机器人3维模型

随着对工业机器人焊接应用的安全性、精度、速度要求越来越高，让机器人焊接具有感知能力成为了研究热点。其中，基于线结构光感知的机器人焊接作业实现得到广泛研究，并引起机器人界的关注。线结构光感知可实现对焊件工件的精确3维建模，但常用的基于线结构光感知的机器人焊接作业方法存在以下问题：1)现有传感器扫描焊件方式多用人工示教扫描，对于扫描路径复杂的焊件扫描，人工示教扫描的工作量过大，代价高；2)现有的焊缝提取算法大多是用图像的方法来提取，过程复杂，提取速度与精度低；3)现在的焊件点云模型处理方法大多是处理无序点云，速度慢且丧失了线结构光感知相对于面结构光感知的优势。

技术实现要素：

发明目的：为了克服已有的技术缺陷，解决基于线结构光感知的机器人焊缝提取的速度较低、精度不高问题，特别是针对小批量、多品种、非标准工件焊接作业中示教较多的问题，提供一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法，实现工业机器人焊接作业的有效性、高精度、高速度。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法，包括以下步骤：

(1)确定扫描相关参数，并扫描生成焊件的有序点云模型；

(2)对焊件的有序点云模型进行预处理滤波；

(3)根据预处理后的有序点云模型，在焊缝横截面的进行特征提取和定位，得到相应的焊缝点位姿坐标系，组成焊缝点位姿坐标系序列；

(4)根据焊缝点位姿坐标系序列结合焊接作业工艺参数要求形成焊枪位姿坐标系序列；

(5)根据焊枪位姿坐标系序列生成机器人焊接作业运动路径。

进一步的，所述步骤(1)具体为：

(11)设置扫描的起始位姿、扫描间距、扫描方向和扫描次数；

(12)在当前扫描路径点触发线结构光传感器进行一次扫描，得到传感器坐标系下的扫描数据；

(13)将步骤(12)中得到的由传感器坐标系s表示的扫描数据变换到机器人基坐标系b中，变换关系为：

其中，^bp表示在机器人基坐标系b中表示的扫描数据，表示机器人法兰盘坐标系e到机器人基坐标系b的变换，表示传感器坐标系s到机器人法兰盘坐标系e的变换，^sp表示在传感器坐标系s中表示的扫描数据；

(14)若当前扫描路径点非最后一个扫描路径点，则移动到下一扫描路径点，并将该点作为当前扫描路径点，返回步骤(12)；若当前扫描路径点为最后一个扫描路径点，则进入步骤(15)；

(15)所有经坐标变换后的扫描数据组成焊件的有序点云模型。

进一步的，步骤(2)具体为：

(21)设定快速近邻搜索k的值；

(22)将有序点云模型中的第一行点云作为当前行点云p，并且搜索点云p中的每一个点云pi最近邻nn(pi)，计算点pi与它k个近邻pij的平均距离di如下式所示：

(23)计算点云p的平均距离u与标准差σ如下式所示：

其中，n表示点云p中点的个数；

(24)根据判断标准判断点pi是否是离群点；

判断标准为：

px＝{pi∈p|di≤(u-σ·m)||di≥(u+σ·m)}；

如果点pi满足上式，则确定这一点pi是离群点，反之则为内点；

其中，m为标准差倍数，px表示被判定为离群点的pi；

(25)若这一点pi是离群点，则将该点pi移除；

(26)若当前行点云p不是有序点云模型的最后一行，则取有序点云模型的下一行，返回步骤(22)，直到搜索完有序点云模型的最后一行，得到预处理后的有序点云模型。

进一步的，步骤(3)中焊缝点提取包括以下步骤：

(31)设定ransac拟合的距离阈值t，迭代次数n；

(32)对滤波后的焊件有序点云模型的当前行点云p，进行ransac直线拟合，得到本次拟合的直线方程l1、内点、外点，将内点投影到l1上；

(33)对步骤(32)中得到的外点进行ransac直线拟合，得到本次拟合的直线方程l2、内点、外点，将内点投影到l2上；

(34)l1与l2的交点就是该焊缝横截面的焊缝点；

(35)判断当前行点云是否为有序点云模型的最后一行，若是，则进入步骤(36)；若否，则输入下一行点云作为当前行点云，返回步骤(32)执行；

(36)得到焊缝点序列。

进一步的，步骤(3)中焊缝点位姿坐标系提取包括以下步骤：

(310)输入预处理后的有序点云模型第一行；

(311)当前行的焊缝点为焊缝点坐标系原点；

(312)判断当前行点云是否为有序点云模型的最后一行，若是，则执行步骤(313)；若否，则执行步骤(314)；

(313)焊缝点坐标系的x轴为上一行焊缝点位姿坐标系的x轴，进入步骤(315)。

(314)焊缝点指向下一焊缝点的单位向量为焊缝点位姿坐标系的x轴；

(315)焊缝点与分别以焊缝点为起点沿l1和l2指向内点投影点的射线组成的角的角平线，将该角平分线投影在与x轴垂直的平面上的单位向量为焊缝点位姿坐标系的z轴；

(316)根据右手定则判断焊缝点位姿坐标系的y轴；

(317)判断当前行点云是否为预处理后的有序点云模型的最后一行，若是，进入步骤(318)；若否，则输入下一行作为当前行，返回步骤(311)；

(318)得到焊缝点位姿坐标系序列。

进一步的，步骤(4)具体为：由焊接行走角α、焊接工作角β、焊接自旋角γ的阈值，并结合焊缝位姿坐标系序列，通过刚体位姿变换确定焊枪位姿坐标系序列；其中，焊接行走角α是焊枪xh轴在焊缝点位姿坐标系xoyj平面上的投影与x轴的夹角，|α|≤90°；焊接工作角β是焊枪xh轴与焊缝点位姿坐标系xoyj平面之间的夹角，|β|≤90°；焊接自旋角γ为焊接冗余自由度，|γ|≤180°。

进一步的，步骤(5)具体为：根据焊枪位姿坐标系序列、焊枪坐标系与机器人法兰盘坐标系之间的标定以及机器人运动的最大速度、最大加速度约束条件确定机器人运动的路径。

有益效果：与现有技术相比，本发明基于线结构光感知，解决于机器人焊接工件3维模型与实际偏差较大的问题，采用通过确定扫描相关参数，在确定了扫描起始点后，由上位机发出相关指令进行扫描解决了在复杂焊缝进行扫描时人工示教过多的问题；直接从3维点云模型中开发焊缝提取算法提取焊缝，降低了焊缝提取的复杂度，提高了速度与精度；采用有序点云模型来提取焊缝、提高了速度适合于线结构光扫描。此方法简单高效，能够满足工业机器人在焊缝应用中安全性，高精度、高速度的需求，提高机器人焊接应用的有效性、通用性，具有广阔的应用前景和良好的经济效益。

附图说明

图1是焊接作业实现方法总体流程图；

图2是焊件solidworks三维图；

图3是坐标系的变换示意图；

图4是焊件有序点云模型图；

图5是滤波中点的k邻域示意图；

图6是焊缝点提取流程图；

图7是焊缝点位姿坐标系提取流程图；

图8是焊缝点位姿坐标系示意图；

图9是焊枪位姿示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步说明。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

如图1所示，本发明的一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法，包括以下步骤：

1、确定扫描相关参数，并扫描生成焊件的有序点云模型

其中，相关参数包括扫描的起始位姿、扫描间距、扫描方向和扫描次数，扫描生成焊件的有序点云模型；焊件结构示意图如图2所示。

设置扫描的起始位姿、扫描间距、扫描方向和扫描次数，每到一个扫描路径点，并触发线结构光传感器进行一次扫描，再对线结构光传感器坐标系的扫描数据进行变换到机器人基坐标系中，最终扫描生成焊件的有序点云模型。具体步骤包括：

第一步：设置扫描的起始位姿、扫描间距、扫描方向和扫描次数。

第二步：在当前扫描路径点触发线结构光传感器进行一次扫描，得到传感器坐标系下的扫描数据。

第三步：将第二步中得到的由传感器坐标系s表示的扫描数据变换到机器人基坐标系b中，坐标系的变换示意图如图3所示，变换关系如式(1)所示：

其中，^bp表示机器人基坐标系b中表示的扫描数据，表示机器人法兰盘坐标系e到机器人基坐标系b的变换，表示传感器坐标系s到机器人法兰盘坐标系e的变换，^sp表示在传感器坐标系s中表示的扫描数据；

第四步：若当前扫描路径点非最后一个扫描路径点，则移动到下一扫描路径点，并将该点作为当前扫描路径点，返回第二步；若当前扫描路径点为最后一个扫描路径点，则进入第五步。

第五步：所有经坐标变换后的扫描数据组成焊件的有序点云模型，焊件有序点云模型如图4所示。

2、对得到的焊件有序点云模型进行预处理滤波

设定快速近邻搜索k的值，对有序点云模型中的每一行点云p，搜索点云p中的每一个点pi最近邻nn(pi)，计算点pi与它k个近邻pij的平均距离d，计算点云p的平均距离μ与标准差σ，根据判断标准判断pi是否为离群点，若为离群点，则将其视为噪声点，将其移除。具体步骤包括：

第一步：设定快速近邻搜索k的值。

第二步：将有序点云模型中的第一行点云作为当前行点云p，设定快速近邻搜索k的值，并且搜索点云p中的每一个点pi最近邻nn(pi)，计算点pi与它k个近邻pij的平均距离di如式(2)所示：

第三步：计算点云p的平均距离u与标准差σ如式(3)所示：

其中，n表示点云p中点的个数；

第四步：根据判断标准判断点pi是否是离群点；

判断标准如式(4)所示：

px＝{pi∈p|di≤(u-σ·m)||di≥(u+σ·m)}(4)；

如果点pi满足公式(4)就可以确定这一点pi是离群点，反之则不是离群点，称之为内点。

其中，m为标准差倍数，px表示被判定为离群点的pi，如果一个点的距离与它k个近邻pij的平均距离超出点云的平均距离u在m倍以上，则可看作是噪声点，将其移除。滤波中点的k邻域示意图如图5所示，图5中三角形代表pi，圆形代表pi的k邻域的邻域点。

第五步：若这一点pi是离群点，则将该点pi移除。

第六步：若当前行点云p不是有序点云模型的最后一行，则取有序点云模型的下一行，返回第二步，直到搜索完有序点云模型的最后一行，得到预处理后的有序点云模型。

3、根据得到的预处理后的有序点云模型，对焊缝横截面的特征提取和定位，进行相应的焊缝点位姿坐标系的提取，组成焊缝点位姿坐标系序列；

对滤波后的焊件有序点云模型的每一行点云p，对点云p进行ransac直线拟合，得到本次拟合的直线方程l1、内点、外点，将内点投影到l1上，再对外点进行ransac直线拟合，得到本次拟合的直线方程l2、内点、外点，将内点投影到l2上，l1与l2的交点就是该焊缝横截面的焊缝点。再进行焊缝点位姿坐标系提取，得到焊缝点位姿坐标系序列。其中，焊缝点提取流程如图6所示，包括以下步骤：

第一步：设定ransac拟合的距离阈值t，迭代次数n。

第二步：对滤波后的焊件有序点云模型的当前行点云p，进行ransac直线拟合，得到本次拟合的直线方程l1、内点、外点，将内点投影到l1上。

第三步：对第二步中得到的外点进行ransac直线拟合，得到本次拟合的直线方程l2、内点、外点，将内点投影到l2上。

第四步：l1与l2的交点就是该焊缝横截面的焊缝点。

第五步：判断当前行点云是否为有序点云模型的最后一行，若是，则进入第六步；若否，则输入下一行点云作为当前行点云，返回第二步执行；

第六步：得到焊缝点序列。

焊缝点位姿坐标系提取流程如图7所示，包括以下步骤：

第一步：输入预处理后的有序点云模型第一行。

第二步：当前行的焊缝点为焊缝点坐标系原点。

第三步：判断当前行点云是否为有序点云模型的最后一行，若是，则执行第四步；若否，则执行进入第五步。

第四步：焊缝点坐标系的x轴为上一行焊缝点位姿坐标系的x轴，进入第六步。

第五步：焊缝点指向下一焊缝点的单位向量为焊缝点位姿坐标系的x轴。

第六步：焊缝点与分别以焊缝点为起点沿l1和l2指向内点投影点的射线组成的角的角平线，将该角平分线投影在与x轴垂直的平面上的单位向量为焊缝点位姿坐标系的z轴。

第七步：根据右手定则判断焊缝点坐标系的y轴。

第八步：判断当前行点云是否为有序点云模型的最后一行，若是，进入第八步；若否，则输入下一行作为当前行，返回第二步。

第九步：得到焊缝点位姿坐标系序列，焊缝点位姿坐标系序列如图8所示。

4、根据焊缝点位姿坐标系序列结合焊接作业工艺参数要求形成焊枪位姿坐标系序列；

由焊接行走角α、焊接工作角β、焊接自旋角γ的阈值，并结合焊缝点位姿坐标系序列，通过刚体位姿变换确定焊枪位姿坐标系序列，焊枪位姿示意图如图9所示，其中，焊枪位姿坐标系的三个坐标轴分别为xh、yh和zh，焊缝坐标系xoyj的三个坐标轴分别为xj、yj和zj，坐标原点为jo。

具体步骤包括：

焊接行走角α是焊枪xh轴在焊缝坐标系xoyj平面上的投影与焊缝坐标系xoyj的x轴的夹角，定义中|α|≤90°，实际值应当小一些，一般小于45°，并且焊枪前倾取正值，焊枪后倾取负值。焊接工作角β是焊枪xh轴与焊缝坐标系xoyj平面之间的夹角，定义中|β|≤90°，实际值应当小一些，一般小于90°。焊接自旋角γ为焊接冗余自由度，|γ|≤180°。

5、根据焊枪位姿坐标系序列生成机器人焊接作业运动路径

首先根据焊枪位姿坐标系序列以及机器人运动的最大速度、最大加速度等约束条件经位姿插补后确定机器人运动的路径。

总之，本发明的一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法，首先确定扫描的起始位姿，扫描间距、扫描方向、扫描次数，扫描生成焊件的有序点云模型，然后对点云模型进行预处理滤波，再根据有序点云模型，对焊缝横截面的特征提取和定位，进行相应的焊缝位姿坐标系的提取，组成焊缝位姿坐标系序列，再根据焊缝位姿坐标系序列结合焊接作业工艺参数要求形成焊枪位姿坐标系序列，最后根据焊枪坐标系序列生成机器人焊接作业运动路径。本发明方法具有3d焊缝特征提取和建模能力，实现对复杂空间曲线焊缝的精确3d定位，由此自动生成焊接机器人的优化焊接路径，可解决小批量、多品种、非标准工件焊接的去示教智能化编程，提高焊接精度和质量对于焊接机器人应用领域而言具有非常重要的经济价值和应用前景。