一种基于3D视觉的鞋帮打磨路径的打磨装置及提取方法

本发明涉及制鞋，尤其是涉及一种基于3d视觉的鞋帮打磨路径的打磨装置及提取方法。

背景技术：

1、鞋帮打磨工艺是整个制鞋过程中最重要的一个环节，鞋帮打磨的好坏，影响着鞋底与鞋帮的粘合质量以及鞋整体的美观程度，目前，制鞋工厂针对鞋帮打磨工艺，使用的技术主要有示教打磨法和离线编程法。示教打磨是指由人工通过示教器控制机械臂运动，并记录运动轨迹，该方法虽然简单，但是运动轨迹固定，自动化程度较低，示教过程较为繁琐，精度也难以掌握，面对不同的款式和尺寸的鞋，需要重新示教，同一条生产线往往不能满足所有型号鞋品的生产，难以满足企业的实际生产要求。离线编程法是通过计算机辅助设计软件建立三维模型，并在三维模型上选取路径点利用曲线拟合，获得机械臂运动轨迹，该方法虽然精度高于示教打磨法，但存在与人工示教技术一样的缺点，该方法对物体位姿变化的适应性较弱，需要物体位姿固定，且面对不同型号尺寸的鞋，需要建立多个模型，效率较低。综上所述，目前现有的技术灵活性较差，自动化程度较低。

2、随着3d视觉技术的快速发展，为鞋帮的打磨轨迹提取提供了新的解决方案，一些公司和专家对此进行了研究，鞋帮打磨轨迹生成方式(cn 114536156 a)采用两个视觉模组从左右两侧对鞋帮进行扫面描，将扫描得到的轨迹进行拼接对齐，得到鞋帮打磨轨迹。由于目前市面上的鞋型较为复杂，鞋跟与鞋尖表面弧度较大，线扫相机无法有效的获取鞋跟与鞋尖区域鞋帮的点云数据，这将会导致提取的打磨轨迹不连续。一种多维空间曲面打磨作业轨迹在线生成方法和机器人(cn 113902839 a)，通过手持三维扫描仪获取鞋底与鞋帮处点云数据，进行打磨轨迹提取。当需要生产其它形状、尺寸的鞋时，仍需要人工使用手持扫描仪获取鞋帮点云数据，耗费的时间较多，过程较为繁琐。一种获取鞋底边缘打磨轨迹的方法及其系统(cn 113231910 a)通过对三维网格数据进行划分，提取新三维网格边界线作为基准，进行轨迹提取。该专利所提方法没有考虑到不同尺寸鞋型鞋帮打磨轨迹的复杂多变性，仅对皮鞋的鞋底边缘轨迹进行提取，该方法难以适用于其它鞋型，适用性较差。

3、针对上述问题，本发明结合3d视觉技术提出一种高精度、快速的鞋帮路径提取方法及鞋帮打磨设备，对于提高制鞋企业自动化生产具有重要意义。

技术实现思路

1、本发明的目的是提供一种基于3d视觉的鞋帮打磨路径的打磨装置及提取方法，解决上述技术存在的目前现有的技术灵活性较差，自动化程度较低的问题，实现鞋帮打磨路径的自动提取，并引导机器人完成打磨操作。

2、为实现上述目的，本发明提供了一种基于3d视觉的鞋帮打磨路径的打磨装置，包括环形导轨、扫描组件、打磨机器人、控制柜、工控机和显示器，所述显示器设置在所述工控机的上方，所述工控机与所述控制柜的一侧电性连接，所述控制柜的另一侧与所述打磨机器人电性连接，所述打磨机器人设置在所述环形导轨的一旁，所述扫描组件设置在所述环形导轨的另一旁，所述环形导轨上设置有承载滑座；所述扫描组件包括紫光灯和设置在所述紫光灯斜上方的rgb-d相机；所述承载滑座上方设置有机械旋转机构，所述机械旋转机构远离所述环形导轨的一端设置有气动鞋楦。

3、一种基于3d视觉的鞋帮打磨路径的提取方法，包括以下步骤：

4、步骤1、采集鞋面点云数据与rgb图像；

5、步骤2、手眼标定，获得rgb-d相机坐标系与打磨机器人工具坐标系的坐标转换关系；

6、步骤3、点云数据预处理；

7、步骤4、rgb阈值计算；

8、步骤5、打磨线光条点云提取与配准；

9、步骤6、打磨路径提取。

10、优选的，所述步骤3中点云数据预处理的具体过程如下：

11、s31、通过直通滤波与高斯滤波去除点云数据中无关的背景点云与离群点的干扰；

12、s32、对点云表面进行降采样处理，以半径为r的球体对点云空间进行划分，选取距离球体中心最近的点作为采样点代替落在球体中心的点集，快速精简点云；

13、s33、对点云进行平滑处理。

14、优选的，所述步骤s33中对点云进行平滑处理的具体过程如下：

15、基于移动最小二乘法对点云模型进行平滑处理，移动最小二乘法拟合函数f(x)公式为

16、

17、其中，αi(x)为待求系数，pi(x)为基函数，m为基函数项数，误差函数公式为

18、

19、其中，w(x-xg)为节点xg的权函数，k为影响区域内节点数目，yg为x＝xg处的节点值。

20、将公式(1)代入(2)，通过调整系数α(x)使节点附近采样点取值与拟合函数在采样点取值之间的差的加权平方和最小，求得误差函数最小时的对应系数α(x)和期望拟合函数f(x)，实现对点云的平滑处理。

21、优选的，所述步骤4中rgb阈值计算的具体过程如下：

22、s41、读取rgb图像，在开始提取前，首先人工交互进行一次打磨线光条颜色特征检测，在rgb图像上人工交互拾取打磨线光条像素点，统计每个像素点rgb值；

23、s42、计算r、g、b每个通道的最大值和最小值，得到rmax、rmin、gmax、gmin、bmax、bmin；设定颜色阈值r分量范围[rmax rmin]、g分量范围[gmax、gmin]、b分量范围[bmax、bmin]。

24、优选的，所述步骤5中打磨线光条点云提取的具体过程如下：在自动提取阶段，读取每个鞋面点云模型，遍历点云模型每个点的rgb值，当在rgb阈值设定范围内时，保留该点，遍历结束后，将满足阈值设定的所有点重新合成为点云模型，得到打磨线光条点云。

25、优选的，所述步骤5中对点云进行配准处理的具体过程如下：

26、s51、读取点云模型，通过距离阈值法分割出旋转轴点云，遍历旋转轴点云的坐标集合，计算转旋转轴中心点坐标；

27、s52、将鞋的右表面、左表面、鞋跟的打磨线点云绕旋转轴中心依次旋90度、-90度、180度；

28、s53、对旋转后的点云模型进行合成，得到完整的打磨线光条点云。

29、优选的，所述步骤6中打磨路径的提取过程如下：

30、s61、将打磨线光条点云调平到坐标系主轴，计算打磨线光条最小外界矩形，沿着坐标系x轴方向将打磨线光条点云分割为p1、p2两部分，将p1、p2切片化；

31、s62、提取打磨点；

32、s63、使用手眼标定得到转换矩阵将打磨点变换到机械臂工具坐标系下；

33、s64、通过nurbs曲线对打磨点进行拟合，得到鞋帮打磨路径。

34、优选的，所述步骤s61中切平面的生成过程具体如下：

35、s611、计算打磨线光条点云的最小外接矩形，得到最小外接矩形的长宽高，分别为length1、length2、length3,最小外接矩形的中点坐标为(x1,y1,z1),生成平行于坐标系yoz的切平面,切平面的方程定义如下

36、ax+by+cz+d＝0

37、s612、使切平面与打磨线光条点云相切，具体计算公式如下

38、

39、s613、计算切片次数

40、

41、其中，n为切片次数，s为切平面每次移动的步长；

42、s614、使切平面沿着x轴正轴方向每次移动固定步长，直到生成所有切平面，具体计算公式如下

43、

44、其中，i为索引i＜n，s为切平面每次移动的步长；

45、s615、p1、p2两部分重复s614的过程，直到完成整个模型的切片化。

46、优选的，所述步骤s62中提取打磨点的具体过程如下：

47、s621、设第m个切平面为hm，与hm相邻的左侧切平面和右侧切片平面分别为hm-1、hm+1，hm与相邻切片的距离均为d，hm与hm-1之间的点云集合为β1，hm与hm+1之间的点云集合为β2；

48、s622、取左侧点云集合β1中的任意一点tli，以tli为搜索中心，设定搜索半径为r，从β2中搜索出与之最近的点trj，若搜索范围内不存在β2中的配对点，则扩大搜索范围，直到搜索到与β2最近的点作为配对点；

49、s623、取右侧点云集合β2中的任意一点trj作为搜索中心，重复s622的操作，寻找与trj最近的左侧点云集合配对点，若该配对点等于s622得到的配对点，则将tli与trj视为配对点，进行保存；

50、s624、重复s622和s623步骤，直到遍历完β1中所有点的，完成左右两侧点的配对，获得配对点的个数为n，配对点的集合为{(tli,tri),i＝0,1,2,3,……,n}；

51、s625、计算配对点构成的空间直线与与切平面hm交点，得到交点坐标集合{(xm,ym,zm),m＝0,1,2,3,……,n}，对其进行排序，提取中心点作为打磨点；

52、s626、对p1和p2中的每个切平面重复s622、s623、s624、s625过程，得到所有打磨点。

53、因此，本发明采用上述一种基于3d视觉的鞋帮打磨路径的打磨装置及提取方法，具有以下有益效果：

54、(1)本发明设计了一种自动鞋帮打磨设备，通过rgb图像与3d点云图像相结合，实现鞋帮打磨路径的自动提取，解决了人工示教提取路径效率低、精度低、位姿变化适应性弱等问题。

55、(2)本发明设计了气动鞋楦，放气收缩可方便地上料或下料，上料后充气膨胀，使鞋帮稳定地固定在鞋楦上，使其充分延展方便于打磨，且在打磨过程中具有通过控制气压从而控制其弹性，起到控制打磨力的作用，减小打磨压力过大导致鞋帮损坏的风险。

56、(3)本发明采用环形导轨，使待打磨鞋帮在上下料、视觉扫描和打磨工位间循环，有效提高了生产效率。

57、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。