一种基于机器人的鞋底边缘线自动跟踪方法
【专利摘要】本发明提供了一种基于机器人的鞋底边缘线自动跟踪方法首先将粘合好鞋底的鞋进行扫描，获得点云数据后利用加权的PCA三水平集总体最小二乘方法获得点云特征点，再将特征点分块投影到二维区域，利用二维线段拼接的方法获得二维图像中最长的特征特征线，将该特征线反投影回三维空间再进行空间直线投影的方法细化出鞋底边缘封闭的三维曲线，最后在生成过程中利用扫描的当前鞋面与前面生成的三维封闭曲线产生新的曲线，利用工业机器跟踪该曲线即可实现自动化的打磨、涂药水及涂胶水等操作。本发明可以广泛应用于制鞋自动化系统中，提高生产效率和产品品质。
【专利说明】一种基于机器人的鞋底边缘线自动跟踪方法
【技术领域】
[0001] 本发明涉及制鞋方法，尤其涉及一种基于机器人视觉系统的鞋底边缘自动化识别 和跟踪方法。
【背景技术】
[0002] 传统的制鞋工艺中手工完成鞋底与鞋面的粘合。目前有部分制鞋设备采用机器人 完成鞋面贴合部位的自动化打磨、喷药水、涂胶操作，但必须采用离线示教的方式完成机器 人跟踪轨迹的生成。首先将鞋底贴合到鞋面上，手工画出鞋底边缘线，并按一定的间隔画 出坚线，然后利用鞋底边缘线与坚线的交叉点示教机器人产生跟踪轨迹，如图9所示，图9 中，1表示鞋底边缘线以下的打磨、喷药水和涂胶区域，2表示机器人示教点，3表示鞋底边 缘。这两种方式较为耗时，采用示教的方式是用一双鞋的跟踪轨迹适用于后续鞋面的操作 轨迹，这将造成一定的误差。
[0003] 在传统的制鞋工艺中，利用手工或机器人进行鞋底边缘线打磨画线和示教过程费 时费力，产品品质无法保证。而且同一型号的所有鞋子都使用同样的跟踪曲线，由于鞋子会 产生变形，这样在打磨喷胶时，很容易产生较大误差，影响成品鞋的质量。
【发明内容】
[0004] 为了解决现有技术中问题，本发明提供了一种基于机器人的鞋底边缘线自动跟踪 方法。
[0005] -种基于机器人的鞋底边缘线自动跟踪方法，包括以下步骤：
[0006] 步骤1 :摄像机及机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上， 通过手眼标定得到摄像机和机器人之间的坐标转换关系；
[0007] 步骤2 :鞋面点云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激 光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，每运行距离s拍一幅图像，s 的大小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后 通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息依靠之前手眼 标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集P si ;
[0008] 步骤3 :法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对 散乱点云处理的第一步需要求出每个点的法向量，首先需要用kd-tree数据结构表示出散 乱的点云，对云输入点云中的某点P，利用kd-tree结构找出离p点最近的K个点组成一个 K领域，在K领域内进行空间平面拟合，所得平面的法向作为p的法向估计；
[0009] 步骤4 :散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估 计出点的高斯曲率，平均曲率以及主曲率和主方向；
[0010] 步骤5 :特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提 取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中； 步骤6:二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，像素灰度值大于 0,无特征信息为黑色，像素灰度值为0,鞋底边缘线提取过程如下：遍历图像如果发现有 特征点，就开始从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用 vector〈point>容器L来表示，由此，获得很多线段，存在vector〈vector〈point>>容器Q 当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增 长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必 然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾 部线段方向大致相同，即他们向量的内积小于一个很小的正值ε，则连接成一条新的曲线 段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段 就是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图 像，可以将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱 点集，需要进行进一步的细化；
[0011] 步骤7 :鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘写进行细化，在 鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线 投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘 线。根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最 终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小 线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时姿态提供参考；
[0012] 步骤8 :鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置 安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据P s。，将之前获 得的带有鞋底的鞋点集Psi和Ps。利用ICP算法将两个点云数据进行对齐；然后将初始鞋底 边缘线上1。间隔δ采样，采样点为Ρ。，以Ρ。为起点，Ρ。所处P si点集处的法向量为方向生 成直线In，计算In与Ps。的交点获得新的点集P i，将新的点集Pi拟合出封闭的三维跟踪曲 线Is。，机器人沿I s。运行并对Is。以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的 跟踪、打磨、喷胶操作。
[0013] 作为本发明的进一步改进，步骤2中，标定出扫描头上的激光平面方程的方法如 下：将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系， 保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光 光条，将两个标定板的上的激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如 此获得了激光平面和摄像机之间的坐标关系。
[0014] 作为本发明的进一步改进，步骤3中，估计出法向量\后，法向量指向是不统一 的，指向鞋子模型的内部或者外部，由于后续处理需要分出模型的凹凸面，所以需要调整得 到统一指向的法向量，调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法 向方向n d，如果ηρ和nd内积小0,则将ηρ反向。
[0015] 作为本发明的进一步改进，步骤4中，首先要在参考点P领域内拟合出空间曲面方 程，空间曲线方程可表示为带有十个待拟合参数的参数方程：
[0017] 用最小二乘可以拟合出十个参数
【权利要求】
1. 一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于，包括以下步骤： 步骤1 :摄像机及机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上，通过 手眼标定得到摄像机和机器人之间的坐标转换关系； 步骤2 :鞋面点云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激光平 面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，每运行距离s拍一幅图像，s的大 小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后通过 重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息依靠之前手眼标定 的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集Psi ; 步骤3 :法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对散乱 点云处理的第一步需要求出每个点的法向量，首先需要用kd-tree数据结构表示出散乱的 点云，对云输入点云中的某点P，利用kd-tree结构找出离p点最近的K个点组成一个K领 域，在K领域内进行空间平面拟合，所得平面的法向作为p的法向估计； 步骤4 :散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估计出 点的高斯曲率，平均曲率以及主曲率和主方向； 步骤5 :特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提取出鞋 底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中； 步骤6 :二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，像素灰度值大 于〇,无特征信息为黑色，像素灰度值为〇,鞋底边缘线提取过程如下：遍历图像如果发现 有特征点，就开始从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用 vector〈point>容器L来表示，由此，获得很多线段，存在vector〈vector〈point>>容器Q当 中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增长 机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然 是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部 线段方向大致相同，即他们向量的内积小于一个很小的正值ε，则连接成一条新的曲线段， 如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就 是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图像， 可以将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱点 集，需要进行进一步的细化； 步骤7 :鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘写进行细化，在鞋 底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投 影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘 线。根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最 终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小 线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时姿态提供参考； 步骤8 :鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置安装 在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据Ps。，将之前获得的 带有鞋底的鞋点集Psi和Ps。利用ICP算法将两个点云数据进行对齐；然后将初始鞋底边缘 线上1。间隔S采样，采样点为ρ。，以ρ。为起点，ρ。所处Psi点集处的法向量为方向生成直 线In，计算In与Ps。的交点获得新的点集Pi,将新的点集Pi拟合出封闭的三维跟踪曲线ls。， 机器人沿Is。运行并对Is。以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打 磨、喷胶操作。
2. 根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于： 步骤2中，标定出扫描头上的激光平面方程的方法如下：将两张圆环标定板成90°摆放，摄 像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发 射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板的上的激光点同时 转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐 标关系。
3. 根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于： 步骤3中，估计出法向量％后，法向量指向是不统一的，指向鞋子模型的内部或者外部，由 于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量，调整方法是保 存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0,则将 rip反向。
4. 根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于： 步骤4中， 首先要在参考点P领域内拟合出空间曲面方程，空间曲线方程可表示为带有十个待拟 合参数的参数方程：
用最小二乘可以拟合出十个参数 MTa= 0 (2-3) 对上式M矩阵进行SVD分解，参数向量a的解为最小特征值对应的特征向量；采用三水 平集的方法，提高拟合精度， als = [MTM]，Tb(2-4) b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，引入总体最小二乘，同 时对数据矩阵M和观测矩阵b进行补偿， (M+E)a=b+e(2-5) E对数据矩阵M进行补偿，e对观测矩阵进行补偿，将右边式子归零，移动到左边，得到 表达式如下 (A+B)x= 0 (2-6) B= [E,e],A= [M, -b],x= [aT, 1]T (2-7) 对A进行PCA分解，得到特征值和特征向量，特征值从大到小排列A1)λ2>?> >λη+ε>Xk>%>λη，（ε>〇)，总共^^一个特征值，从理论上讲，χ的解应该是最 小特征值λη对应的特征向量，但是由于X共有十一维，最后几个特征值都已经很小而且值 很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向 量都应该是X的解，取一个很小的参考量ε，比λη+ε值小的特征值对应的特征向量都是 解，由此构成一个解空间
由于X最后一个值为1，则理论上?11是一个11-k+l维值全为1的行向量，可以推导出a的解为
得到a的解后，在领域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识， 能够求取曲面的高斯曲率K和平均曲率H。
5. 根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于： 步骤5中，用AB，BC，CD，DE，EF，FG，GH和HA表示投影的二维图像，为了方便理解，可以把 这些图像看作是墙，即将三维信息投射到墙上，指定Z轴正方向垂直纸面向外，则同一Z值 的三维点在二维图像中的行的位置相同，用u表示图像行；该投影方案是一个分区域分块 投影，受到鞋子尺寸的影响，AF和BE离鞋头和鞋跟距离约是鞋长的λ处，λ是常系数， 取值0. 1?0.2,投影后图像的灰度值代表特征信息的大小，投影过程如下：根据的鞋子的 一般形状分为了 8块投影局域，ABO1O2区域内的特征点携带这特征信息向O1A方向投影到 AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向 投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、 ⑶、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三 维信息X，y，z值；再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中 寻找一条从图像最左端一直延续到最有段的特征线，这条特征线对应为三维鞋子模型中最 长的封闭特征线。
6. 根据权利要求1所述的一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于： 步骤6中，寻找下一点的办法是，在vector〈point>中寻找最后K个点，进行直线拟合，然 后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后 使用PCA主成分分析；由于鞋底边缘线在一个小范围内是趋近于直线的，若果没有分叉 点，该矩形区域内的点接近在一条直线上，则主成成分特征值比较大，设置参数ε，如果 主成成分特征值大于ε则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入 vector〈point>，对应图像的灰度值置为0 ;如果主成成分特征值小于ε，说明矩形区域内 点分散，可能为分叉点，此时vectoKpoint〉停止增加点，形成了一条曲线段，然后从矩形 区域的右侧末端取出最后几个点开始从新增长为新的vectoKpoint〉，矩形区域右侧不存 在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点，保证所有特征点都 在线段当中，如果特征线vector〈point>增长到图像边缘，停止增长。
【文档编号】G06T7/00GK104463851SQ201410663392
【公开日】2015年3月25日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】吴晓军 申请人:哈尔滨工业大学深圳研究生院