基于点云和图像匹配的自动化喷涂系统坐标变换方法与流程

本发明涉及一种喷涂系统控制方法，尤其涉及一种基于点云和图像匹配的自动化喷涂系统坐标变换方法。

背景技术：

喷涂机器人是目前应用最广泛的工业机器人之一，在生产线上利用喷涂机器人进行作业有许多明显的优势，，如环境适应能力更强、安全可靠、效率高、更加环保等等，在产品制造领域中，绝大部分的重复性的喷涂工作都被喷涂机器人所取代。伴随着当前个性化产品定制的需求不断增加，产品的单一重复性将降低，对喷涂机器人提出了更高的自动化要求。

目前，针对喷涂机器人自动化的研究主要有机器人的离线自动编程和“在线标定”；离线编程是在离线的情况下根据产品的三维数字模型对机器人的运动轨迹进行规划，其能减少机器人停机时间，但是在喷涂对象快速变换的情况下，喷涂对象在机器人坐标系的位置标定过程将花费大量的时间；“在线标定”是通过将摄像机安装在机器人末端实时获取工作对象的位置和几何信息，但是“在线标定”需要的工作空间比较大，所需的时间很长、效率低。

因此，需要提出一种新的方法，能够有效减少计算量，缩短喷涂机器人的轨迹规划过程中所耗费的时间，提高效率，有效减少喷涂机器人的停机时间，保证生产率。

技术实现要素：

有鉴于此，本发明的目的是提供一种基于点云和图像匹配的自动化喷涂系统坐标变换方法，能够有效减少计算量，缩短喷涂机器人的轨迹规划过程中所耗费的时间，提高效率，有效减少喷涂机器人的停机时间，保证生产率。

本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法，包括：

S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V，且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行；

S2.采集喷涂对象在喷涂平台的上的图像Q，并获取喷涂对象在机器人坐标系R中的描述：^RQ＝^RT_U^UQ；其中，^RQ为图像Q在机器人坐标系R中的描述，^UQ为图像Q在图像坐标系U中的描述，^RT_U为图像坐标系U到机器人坐标系的变换；

S3.获取图像Q的闭合图像边缘的几何属性；

S4.将喷涂对象的点云模型进行平面投影，并获取点云模型的投影的边缘的几何属性；

S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配，确定最佳匹配点，并建立点云坐标系V与图像坐标系U的变换关系：^UQ＝^UT_V^VP，其中，^UQ为图像Q在图像坐标系中的描述，^VP为点云模型在点云坐标系V中的描述，^UT_V为点云坐标系V到图像坐标系U的变换；

S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系：^RT_V＝^RT_U^UT_V。

进一步，步骤S3中和步骤S4中，图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率。

进一步，步骤S3中，根据如下步骤获取图像Q的闭合图像边缘：

S31.对图像Q进行降噪和增强对比处理；

S32.采用Canny算法得出单像素的边缘Q1；

S33.在边缘Q1上任取一点作为起点，并记录该起点为q；

S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记，直到找到开口点，如果该开口点是起点q，则表明边缘Q1为一闭合图像边缘，结束窗口搜索；否则，进入到步骤S34；

S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记，直到找到另一开口点；

S35.在边缘Q1未标记的区域中任取一点o，以该点作为起点并采用窗口搜索进行正向和反向搜索，直到找到两个开口点，并对搜索的点进行标记并连接，从而形成闭合图像边缘Q2。

进一步，步骤S4中，通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘：

S41.将点云模型按照投影变换T_H投影到点云坐标系V的x-y平面得到点云模型的投影：^VP_H＝T_H^VP，其中，

S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分，将包含有数据点的栅格数值记为1，不包含数据点的栅格数值记为0，将点云模型的投影转化为二值化图像，并采用Canny算法得到点云模型投影图像的边缘^VP_H1；

S43.将点云模型投影图像的边缘^VP_H1平均划分为n各区域，且：

其中，

以的各区域的中心点作为插值位置，得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘^VP_H2，其中，n为图像Q的边缘像素点和点云模型投影图像边缘^VP_H1的像素点差值。

进一步，步骤S3中和步骤S4中，根据如下方法计算边缘曲率：

在闭合边缘上任取一点p_i＝(x_i,y_i)；

以p_i为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s]；

定义矢量u＝(|p_x-q_x|,|p_y-q_y|)，v＝(|p_x-s_x|,|p_y-s_y|)，且矢量u和v作为tf和t_b的切线，其中，tf为距离直线段DDS[p,q]的中心点最近的栅格点，t_b为距离直线段DDS[p,s]的中心点最近的栅格点；

计算u和v与图像坐标系U的x轴的夹角：

由u和v与图像坐标系U的x轴的夹角确定p_i的切线；

定义切线上的角度均值为切线上的角度差值为：δ_b＝|θ_b-θ|，δ_f＝|θ_f-θ|；

通过如下公式计算p_i＝(x_i,y_i)的边缘曲率：

其中，d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。

进一步，根据如下方法进行链码匹配：

S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘^VP_H2中的任一点作为起始点q₁，在八领域内搜索相邻边缘点q₂，并将起始点q₁进行标记，然后以q₂作为起始点在八领域内搜索下一个相邻的边缘点，并将起始点q₂进行标记，依次类推，直至全部边缘点都被标记，分别得到图像Q的闭合边缘Q2的曲率链码κ_Q和点云模型投影图像的闭合边缘^VP_H2的n个曲率链码的集合K_p，其中：

K_p＝{κ_w1,κ_w1,…,κ_wn,…}^T；

S52.计算闭合边缘^VP_H2和闭合边缘Q2的各点曲率的偏差：

E＝|K_w-κ_Q|²＝{|κ_w1-κ_Q|²,|κ_w2-κ_Q|²,…,|κ_wn-κ_Q|²,…}^T，其中，i＝1,2，…，n；

S53.将E＝|K_w-κ_Q|²进行由大到小排序，找出偏差最小值作为最佳匹配位置，从而得到匹配关系：

^UQ₂＝^UR_VH^VP_H2+^UL_VH，其中，^UR_VH为点云坐标系V与图像坐标系U在x-y平面的旋转变换，^UL_VH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。

S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为：

^UT_VH＝[^UR_VH,^UL_VH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系：

其中，Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。

本发明的有益效果：通过本发明，能够有效减少计算量，缩短喷涂机器人的轨迹规划过程中所耗费的时间，匹配效率高，从而提高喷涂机器人的轨迹规划准确率以及效率，有效减少喷涂机器人的停机时间，保证生产率。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

图2为本发明确定图像Q的闭合图像边缘的流程图。

图3为本发明的链码匹配流程图。

图4为本发明的实例的喷涂对象的图像。

图5为图4的图像通过Canny算法得出的边缘。

图6为图5中经过补全后的闭合边缘。

图7为图6中的闭合边缘的曲率分布图。

图8为本发明的实例的喷涂对象的点云模型。

图9为图8的投影图像。

图10为投影图像的闭合投影边缘。

图11为图10中闭合投影边缘的曲率分布图。

图12为图6的闭合边缘的曲率和图10中的闭合投影边缘的曲率偏差分布图。

具体实施方式

图1为本发明的流程图，如图所示，本发明提供的一种基于点云和图像匹配的自动化喷涂系统坐标变换方法，包括：

S1.构建机器人坐标系R、图像坐标系U以及点云坐标系V，且机器人坐标系R、图像坐标系U以及点云坐标系V的X-Y平互相平行；

S2.采集喷涂对象在喷涂平台的上的图像Q，并获取喷涂对象在机器人坐标系R中的描述：^RQ＝^RT_U^UQ；其中，^RQ为图像Q在机器人坐标系R中的描述，^UQ为图像Q在图像坐标系U中的描述，^RT_U为图像坐标系U到机器人坐标系的变换；

S3.获取图像Q的闭合图像边缘的几何属性；

S4.将喷涂对象的点云模型进行平面投影，并获取点云模型的投影的边缘的几何属性；其中，点云模型在点云坐标系V的x-y平面进行投影；

S5.将图像Q的闭合图像边缘和点云模型的平面投影边缘的集合属性形成链码进行匹配，确定最佳匹配点，并建立点云坐标系V与图像坐标系U的变换关系：^UQ＝^UT_V^VP，其中，^UQ为图像Q在图像坐标系中的描述，^VP为点云模型在点云坐标系V中的描述，^UT_V为点云坐标系V到图像坐标系U的变换；

S6.根据点云坐标系V到图像坐标系U的变换和图像坐标系U到机器人坐标系的变换得到点云坐标系V到机器人坐标系的变换关系：^RT_V＝^RT_U^UT_V；其中，通过摄像机采集喷涂对象的图像，而且由于在工作过程中，摄像机在机器人坐标系中的位置是已知的，因此，^RT_U也是已知的，步骤S3中和步骤S4中，图像Q的边缘几何属性和点云模型投影的边缘的几何属性均为边缘曲率，通过上述方法，能够有效减少计算量，缩短喷涂机器人的轨迹规划过程中所耗费的时间，匹配效率高，从而提高喷涂机器人的轨迹规划准确率以及效率，有效减少喷涂机器人的停机时间，保证生产率。

本实施例中，如图2所示，步骤S3中，根据如下步骤获取图像Q的闭合图像边缘：

S31.对图像Q进行降噪和增强对比处理；

S32.采用Canny算法得出单像素的边缘Q1；

S33.在边缘Q1上任取一点作为起点，并记录该起点为q；

S33.采用窗口搜索对边缘Q1的边缘点进行正向搜索并对边缘点进行标记，直到找到开口点，如果该开口点是起点q，则表明边缘Q1为一闭合图像边缘，结束窗口搜索；否则，进入到步骤S34；

S34.对边缘Q1的边缘点从标记起点q进行反向搜索并标记，直到找到另一开口点；

S35.在边缘Q1未标记的区域中任取一点o，以该点作为起点并采用窗口搜索进行正向和反向搜索，直到找到两个开口点，并对搜索的点进行标记，从而形成闭合图像边缘Q2；由于由于生产制造中许多喷涂对象为表面光滑的金属制品或表面光洁度很高的产品，会对图像的边缘提取产生较大的影响，造成图像边缘信息部分缺失，因此，通过上述方法，能够有效获得图像Q的闭合图像边缘，从而利于坐标变换的准确性，如图5所示，由于边缘Q1具有缺失，因此，在边缘Q1的两个开口点之间的未标记区域人选一点o进行搜索，将搜索的点补入到缺口中，使得缺口处被连接上，从而将开口处进行补全形成闭合边缘，其中，正向和反向可以以图5为例，可以定义顺时针为正向，逆时针方向为反向。

本实施例中，步骤S4中，通过如下方法获取喷涂对象的点云模型的平面投影的闭合边缘：

S41.将点云模型按照投影变换T_H投影到点云坐标系V的x-y平面得到点云模型的投影：^VP_H＝T_H^VP，其中，

S42.将点云模型的投影在点云坐标系V的x-y平面的散点图进行栅格划分，将包含有数据点的栅格数值记为1，不包含数据点的栅格数值记为0，将点云模型的投影转化为二值化图像，并采用Canny算法得到点云模型投影图像的边缘^VP_H1；其中，栅格具有两个关键伊苏，一是栅格的密度，而是栅格的长宽比，其中，栅格的密度由点云的密度确定，而栅格密度过大会使得图像边缘离散程度较大，为图像处理带来困难，栅格密度过小会大大降低位置精度，因此，本实施例中采用正方形栅格，且投影的长度方向和宽度方向的栅格的个数比等于投影的最小包围盒长宽比；其中，投影图像的最小包围盒根据现有的技术即可获取；

S43.将点云模型投影图像的边缘^VP_H1平均划分为n各区域，且：

其中，

以的各区域的中心点作为插值位置，得到与图像Q的边缘像素点个数一致的点云模型投影图像的闭合边缘^VP_H2，其中，n为图像Q的边缘像素点和点云模型投影图像边缘^VP_H1的像素点差值，通过上述方法，能够保证图像匹配时，利用图像边缘的稽核特性具有旋转和缩放的不变形，能够有效地保证点云和图像匹配的精度。

本实施例中，步骤S3中和步骤S4中，根据如下方法计算边缘曲率：

在闭合边缘上任取一点p_i＝(x_i,y_i)；

以p_i为起点向两个方向分别生长出最长离散直线段DDS[p,q]和DDS[p,s]；其中，p_i为起点向两个方向分别生长出最长离散直线段是指从p_i点向p_i的正向和反向的边缘点发出线段，将包含所有能够与p_i在同一直线上的点，比如：以P1点为例，从正向和反向相邻的点分别是P2和Pn，首先将P1和P2连接，将Pn和P1连接，在线段P1P2的直线上，还有P3、P8边缘点在该直线，那么此时第一条最长离散直线段就是P1P8；而在P1Pn线段所在的直线上，如果没有其他的边缘点，那么另一条最长直线段就是P1Pn，如果还有Pn-9这个点在该直线上，那么另一条直线全就是P1Pn-9；

定义矢量u＝(|p_x-q_x|,|p_y-q_y|)，v＝(|p_x-s_x|,|p_y-s_y|)，且矢量u和v作为t_f和t_b的切线，其中，t_f为距离直线段DDS[p,q]的中心点最近的栅格点，t_b为距离直线段DDS[p,s]的中心点最近的栅格点；

计算u和v与图像坐标系U的x轴的夹角：

由u和v与图像坐标系U的x轴的夹角确定p_i的切线；

定义切线上的角度均值为切线上的角度差值为：δ_b＝|θ_b-θ|，δ_f＝|θ_f-θ|；

通过如下公式计算p_i＝(x_i,y_i)的边缘曲率：

其中，d(p,q)和d(p,s)分别为(p,q)之间和(p,s)之间的欧式距离。

本实施例中，如图3所示，根据如下方法进行链码匹配：

S51.将图像Q的闭合边缘Q2和点云模型投影图像的闭合边缘^VP_H2中的任一点作为起始点q₁，在八领域内搜索相邻边缘点q₂，并将起始点q₁进行标记，然后以q₂作为起始点在八领域内搜索下一个相邻的边缘点，并将起始点q₂进行标记，依次类推，直至全部边缘点都被标记，分别得到图像Q的闭合边缘Q2的曲率链码κ_Q和点云模型投影图像的闭合边缘^VP_H2的n个曲率链码的集合K_p，其中：

K_p＝{κ_w1,κ_w1,…,κ_wn,…}^T；

S52.计算闭合边缘^VP_H2和闭合边缘Q2的各点曲率的偏差：

E＝|K_w-κ_Q|²＝{|κ_w1-κ_Q|²,|κ_w2-κ_Q|²,…,|κ_wn-κ_Q|²,…}^T，其中，i＝1,2，…，n；

S53.将E＝|K_w-κ_Q|²进行由大到小排序，找出偏差最小值作为最佳匹配位置，从而得到匹配关系：

^UQ₂＝^UR_VH^VP_H2+^UL_VH，其中，^UR_VH为点云坐标系V与图像坐标系U在x-y平面的旋转变换，^UL_VH表示点云坐标系V和图像坐标系U在x-y平面的平移变换。

S54.点云坐标系V和图像坐标系U的x-y平面的变换关系为：

^UT_VH＝[^UR_VH,^UL_VH],由该变换关系可得点云坐标系V与图像坐标系U的变换关系：

其中，Z为点云坐标系V与图像坐标系U的x-y平面的偏移距离。

通过本发明后，基于机器人坐标系R的喷涂轨迹为:

其中S_V是基于点云坐标系的喷涂轨迹。

以下通过一具体实例对本发明进行进一步说明：

在本实例中，油箱作为喷涂对象，摄像机位于喷涂对象的正上方，所采集的图像如图4所示，标定后的图像坐标系U与机器人坐标系R的变换关系为：

图4为本实例的摄像机采集的喷涂对象的图像，图5为图像通过Canny算法后所得出的边缘，图6为图5经过本发明的方法不全后的图像边缘；本实例中共采集了1078个边缘点，其中，图6的边缘点曲率分布如图7所示，图7中，四个最大的点分别为图6中的边缘圆角处的边缘点的曲率；本实例中，通过结构光三维扫描仪获取油箱的点云模型，如图8所示，图8的投影如图9所示，图10为油箱的点云模型的投影边缘，图11为点云模型的投影边缘的曲率，同样可以看出，处于四个圆角处的曲率最大；其中，本实例以第873点为偏差最小值，为匹配最佳位置，其偏差分布图如图12所示；通过计算得到：点云坐标系V与图像坐标系U在x-y平面的变化关系^UR_VH：

点云坐标系V与图像坐标系U的变化关系^UT_V：

故：点云坐标系V与机器人坐标系R的坐标变换关系为：

由上可知，本发明是切实可行的。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。