一种通过光强数据实现制鞋成型胶线提取的方法

1.本发明涉及图像数据处理技术领域，特别涉及一种通过光强数据实现制鞋成型胶线提取的方法。


背景技术：

2.制鞋产业一直都是劳动密集型产业，随着用工荒及人力成本的提高，传统人工制鞋产线向自动化方向转型升级的需求越来越迫切。传统人工制鞋成型产线上都是人工用划线笔或划线装置划出胶线的位置，鞋子流到涂胶工位后人工根据鞋面上划出来的线来涂胶，要实现制鞋成型段的机器代替人工涂胶，首要解决的问题就是如何获取胶线位置。
3.为了解决上述问题，我们提交了一件申请号为202010449603.5、名称为一种用于测量鞋子刷胶边缘胶线的装置及其测量方法的发明申请，通过线激光轮廓测量仪绕鞋子圆周方向扫描一周对鞋面进行连续测量获得鞋面的胶水的荧光信息，并提取出激光光亮点和荧光光亮点的像素坐标最终实现从鞋子视觉扫描部分的3d点云中提取出有荧光特征的3d点云。该专利中每测量一次得到一帧含激光光亮线条和荧光光亮线条的图片时，都进行一次图像处理，通过图像处理提取出每一帧图片的激光光亮点和荧光光亮点的像素坐标，计算量大，使得系统反应速度慢，并且需要含有荧光物质的胶水以产生荧光，通用性受限。在上述方案的实际应用过程中，我们发现上述申请仍有不足之处，故本方案由此产生。


技术实现要素：

4.因此，针对上述的问题，本发明提出一种方案合理、能减少计算量提高计算效率以实现提高鞋子的刷胶效率、缩短鞋子制造周期的一种通过光强数据实现制鞋成型胶线提取的方法。
5.为解决上述技术问题，本发明采取的解决方案为:一种通过光强数据实现制鞋成型胶线提取的方法，方法步骤如下：（1）、通过线激光轮廓测量仪绕鞋子圆周方向一圈对鞋面进行3d扫描，绕转过程中不断触发线激光轮廓测量仪对鞋子进行扫描测量，记录每次触发线激光轮廓测量仪进行测量时线激光轮廓测量仪当前的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据；（2）、线激光轮廓测量仪绕鞋子圆周方向一圈扫描结束后，将绕转一圈记录的每一次的线激光轮廓测量仪的位置数据和该次对应的线激光轮廓测量仪投射在被测物体表面上的激光线点位的位置数据做矩阵运算，以把线激光轮廓测量仪所有测量的激光线点位位置映射到统一的三维坐标系中，得到被测鞋面的3d点云；（3）、把触发线激光轮廓测量仪对鞋子进行扫描测量的先后次序号作为横坐标轴，线激光轮廓测量仪测量出的激光线点位序号作为纵坐标，将绕转一周扫描记录的线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据按顺序排列组合成
二维的灰度图，灰度图中鞋面的补强带位置的激光线点位的反射光强度信息数据与鞋面其他位置的激光线点位的反射光强度信息数据差异较大，通过二维灰度图可直观分辨出补强带与鞋面其他部位；（4）、对灰度图依次进行二值化、平滑滤波、形态学处理、连通域分析处理，最终把图片分割成多个区域；首次由人工选取出用于作为参照来确定鞋面胶线位置的特征区域，将特征区域进行标记并分割出来，将分割出来的区域特征通过深度学习算法进行学习训练，使得后续操作可自动提取到补强带的特征区域；（5）、通过从灰度图中提取出的特征区域对鞋面的3d点云数据进行筛选，提取特征区域所对应的3d点云数据：灰度图中像素点的横坐标代表触发线激光轮廓测量仪对鞋子进行扫描测量的触发序列号，纵坐标代表线激光轮廓测量仪测量出的激光线点位序号，通过从灰度图中提取出的特征区域的像素坐标筛选出相应的线激光轮廓测量仪测量时的位置数据和线激光轮廓测量仪测量出的激光线点位数据，用筛选后的激光线点位与线激光轮廓测量仪测量时的位置数据做矩阵运算，把矩阵运算结果映射到统一的坐标系中，得到特征区域的3d点云；（6）、选取特征区域的3d点云中的上边缘点或下边缘点得到连续的线段和该线段的位置，将该线段位置作为胶线位置。
6.通过采用前述技术方案，本发明的有益效果是：1、本方法中通过线激光轮廓测量仪测量鞋面，每一次测量都会同步记录下线激光轮廓测量仪的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据，不需要单独的步骤来获取激光线点位的反射光强度信息数据，因此，市场上多数的检测设备都可以兼容使用本方法，在不改变设备的情况下就可以通过本方法获取鞋面胶线位置，便于本方法的普及推广。
7.2、本方法中把记录的线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据转换成二维灰度图后再进行图像处理，可减少计算量，且二维的图像处理方式的选择也比较多，这样大大降低了直接对3d点云进行特征提取的难度，提高计算效率以实现提高鞋子的刷胶效率。
附图说明
8.图1是被测鞋面的3d点云图。
9.图2是将记录的线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据转化成的二维灰度图。
10.图3是二维灰度图经过一系列的图像处理后得到的标记图。
11.图4是提取后的特征区域分割图。
12.图5是实施例中选定的特征区域的3d点云图。
13.图6是由特征区域提确定出的胶线位置在鞋面3d点云中的位置。
具体实施方式
14.现结合附图和具体实施例对本发明进一步说明。
15.参考图1至图6，本发明实施例所揭示的是一种通过光强数据实现制鞋成型胶线提取的方法，方法步骤如下：（1）、通过线激光轮廓测量仪绕鞋子圆周方向一圈对鞋面进行3d扫描，绕转过程中不断触发线激光轮廓测量仪对鞋子进行扫描测量，记录每次触发线激光轮廓测量仪进行测量时线激光轮廓测量仪当前的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的位置数据、线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据；（2）、线激光轮廓测量仪绕鞋子圆周方向一圈扫描结束后，将绕转一圈记录的每一次的线激光轮廓测量仪的位置数据和该次对应的线激光轮廓测量仪投射在被测物体表面上的激光线点位的位置数据做矩阵运算，以把线激光轮廓测量仪所有测量的激光线点位位置映射到统一的三维坐标系中，得到被测鞋面的3d点云，如图1所示；（3）、把触发线激光轮廓测量仪对鞋子进行扫描测量的先后次序号作为横坐标轴，线激光轮廓测量仪测量出的激光线点位序号作为纵坐标，将绕转一周扫描记录的线激光轮廓测量仪投射在被测物体表面上的激光线点位的反射光强度信息数据按顺序排列组合成二维的灰度图，灰度图中鞋面的补强带位置的激光线点位的反射光强度信息数据与鞋面其他位置的激光线点位的反射光强度信息数据差异较大，通过二维灰度图可直观分辨出补强带与鞋面其他部位，如图2所示；（4）、对灰度图依次进行二值化、平滑滤波、形态学处理、连通域分析处理，最终把图片分割成多个区域，如图3所示；首次由人工选取出用于作为参照来确定鞋面胶线位置的特征区域，该特征区域可以选定为补强带也可以选定为补强带上方的鞋面部位，本实施例中所选定的特征区域为补强带上方的鞋面部位，将特征区域进行标记并分割出来，将分割出来的区域特征通过深度学习算法进行学习训练，使得后续操作可自动提取到补强带的特征区域，如图4所示；（5）、通过从灰度图中提取出的特征区域对鞋面的3d点云数据进行筛选，提取特征区域所对应的3d点云数据：灰度图中像素点的横坐标代表触发线激光轮廓测量仪对鞋子进行扫描测量的触发序列号，纵坐标代表线激光轮廓测量仪测量出的激光线点位序号，通过从灰度图中提取出的特征区域的像素坐标筛选出相应的线激光轮廓测量仪测量时的位置数据和线激光轮廓测量仪测量出的激光线点位数据，用筛选后的激光线点位与线激光轮廓测量仪测量时的位置数据做矩阵运算，把矩阵运算结果映射到统一的坐标系中，得到特征区域的3d点云，如图5；（6）、选取特征区域的3d点云中的上边缘点或下边缘点得到连续的线段和该线段的位置，将该线段位置作为胶线位置，本实施例中是选取特征区域的3d点云中的下边缘点的连续线段直接作为胶线位置，如图6所示。
16.胶线位置确定过程中要求鞋头处的胶线位置要与鞋面上缝合的“补强带”上边缘重合，来保证鞋头的美观性，这就需要有一种能提取出鞋面上缝合的“补强带”上边缘特征的算法。
17.利用补强带区域对线激光的反射激光强度的光强信息与鞋面其他区域的反射激光强度的光强信息的不同，区分出胶线区域和鞋面其他区域的区别，大大降低补强带特征的提取难度。
18.线激光轮廓测量仪单次测量过程：让线激光轮廓测量仪投射出的线激光投射在被测鞋面表面上并确保被测鞋面在线激光轮廓测量仪的测量范围内，此时触发线激光轮廓测量仪进行一次测量，然后线激光轮廓测量仪就会输出投射在被测物体表面上的激光线上点位的位置数据（此位置数据是基于轮廓测量仪测量坐标系下描述的二维数据）和点位的反射激光强度的光强信息数据。
19.胶线提取方法：首先借助线激光轮廓测量仪绕鞋面圆周方向一圈对鞋面进行3d扫描，扫描过程中存储以下3种过程数据：1.每次触发线激光轮廓测量仪进行测量时轮廓测量仪当前的位置数据；2.每次触发线激光轮廓测量仪进行测量时轮廓测量仪输出的投射在被测物体表面上的激光线的点位的位置数据；3.每次触发线激光轮廓测量仪进行测量时轮廓测量仪输出的投射在被测物体表面上的激光线的点位的反射光强度信息数据。
20.线激光轮廓测量仪绕鞋子圆周方向一圈对鞋面进行3d扫描结束后，通过每次触发线激光轮廓测量仪进行测量时线激光轮廓测量仪的位置数据和本次测量轮廓测量仪输出的投射在被测物体表面上的激光线的点位的位置数据做矩阵运算，即把线激光轮廓测量仪输出的所有的点拼接、映射到统一的坐标系中，也即得到扫描的鞋子的3d点云数据。
21.把本次扫描线激光轮廓测量仪输出的投射在被测鞋面表面上的激光线的点位的反射光强度信息数据按触发测量的前后顺序排列，组合并转化成灰度图，即类似把3d曲面的鞋面在扫描方向上展开成二维。
22.根据光强信息转化的二维灰度图，确认要提取的特征区域，然后对灰度图进行图像处理或通过图片深度学习算法从灰度图中提取出特征区域。
23.根据从灰度图中提取出的特征区域，对线激光轮廓测量仪输出的点进行筛选，然后用筛选后的点的位置数据与线激光轮廓测量仪测量时的位置数据做矩阵运算，把筛选后的点拼接、映射到统一的坐标系中，这样就得到了要提取的特征的3d点云。
24.根据提取出的补强带特征的3d点云，取其上边缘点就能得到胶线的位置。
25.以上显示和描述了本发明的基本原理和主要特征及其优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。