一种视觉自动测量的载盘特征识别系统的制作方法

本发明涉及载盘特征检测，具体的说，本发明涉及一种视觉自动测量的载盘特征识别系统。

背景技术：

1、载盘是一种常用于工业流水线的装卸、储存和运输设备，在实际的生产过程中，载盘的尺寸、形状及材质等信息是流水线正常生产所需知道的重要参数，为了实现流水线的自动化生产、提高生产效率，多种特征自动识别系统被纷纷提出。

2、针对载盘特征，当前的识别技术主要分为两种。一种是基于传感器的传统识别方式，其中用到诸如位移传感器、测距传感器和颜色传感器等，分别实现尺寸、高度和颜色的识别；这种识别方式需要的成本高、器件易损，并且各类传感器易受外部环境干扰。另一种则是基于图像的视觉识别方式，只需相机、光源和工控机即可实现对载盘尺寸、高度和颜色三方面的识别。

3、当前基于视觉的载盘检测方式存在两方面的不足。首先，当前的高度检测多采用彩色相片的识别方式，在流水线无遮挡的复杂背景环境下易受后方环境的干扰；其次，当前的颜色检测方案由于木质载盘间本身颜色存在一定差异，并且不同光照条件下所获取的彩色图片颜色范围差距较大，通过训练的方式实现的颜色检测有较大的失误可能。

4、针对以上两个问题，提出本发明。

技术实现思路

1、本发明为了克服现有技术的不足，提出了两种解决方案。对载盘高度检测会受背景环境干扰的影响，提出使用正面打光和背面打光图像相减，以获取较清晰边缘，并采用均值滤波的方式，对图像像素横向滤波，以进一步消除背景环境干扰、有助于后续直线检测的方法。对颜色检测识别载盘材质存在的干扰，本发明提出使用指定区域的灰度均值及方差进行识别，因为木质载盘和铁质载盘在合理的光照条件下灰度差距比较明显，结合方差可以进一步提高辨识准确度。

2、为实现上述目的，本发明的技术方案是：

3、一种视觉自动测量的载盘特征识别方法，包括步骤如下：

4、步骤s1，标定处理；

5、步骤s10，图片采集；

6、由ccd相机获取带有空间坐标刻度的拟标定的载盘图像作为相机标定图像，载盘的长边、短边以及高度分别标定；

7、其中，相机标定图像包括带有实际空间坐标刻度的载盘的长边正面和短边正面图像；

8、其中，所述的步骤s10中的相机标定图像中，包含有一条平行于地面、紧贴被测载盘、能完整测量载盘长度的卷尺，通过在相机标定图像上选取标定点的方式，将图像的像素坐标值和由卷尺刻度读取到的实际空间坐标值逐一对应，存入数组。

9、步骤s11，坐标转换；

10、分别从长、宽、高三个维度对读取到的带有实际空间坐标刻度的载盘图像逐点标记，获取一组与空间坐标点(qx,qy)一一对应的像素坐标点(px,py)，然后由最小二乘法运算公式：

11、

12、式中，i为所对应的组别，minimum为该式所能取到的最小值，

13、计算出可以使该最小二乘式取得最小值的hommat2d矩阵，之后通过：

14、

15、将像素坐标与空间坐标建立一一映射关系的三组仿射变换矩阵，即对应边或对应高度的仿射变换矩阵；

16、步骤s12，保存步骤s11仿射变换矩阵至指定位置；

17、步骤s2，图像处理；

18、步骤s20，将载盘同一面的将载盘同一个面的正反两面打光图像灰度值相减得到1号图像g1，以减弱复杂背景的干扰，

19、步骤s21，由公式

20、g1＝(gfront-gback)·mult+add，

21、对1号图像进行掩膜大小为maskwidth×maskheight的中值滤波，即对掩膜中的灰度升序排列并选取中间值，得到2号图像g2；这可以在一定程度上减少噪声，使柱脚边缘突出，

22、步骤s22，用1号图像和2号图像再次相减得到3号图像g3，是柱脚边缘非常清晰的载盘照片；

23、步骤s23，再用2号图像减去均值滤波后的3号图像平方得到4号图像，达到矫正图像阴影的目的。

24、g4＝g2-mean(g32·waken_coeff)；

25、其中，在图像处理部分，对高度识别和柱脚识别的处理差别主要体现在1号图像到2号图像的中值滤波过程及2、3号图像到4号图像的均值滤波过程，在高度识别时，设置的平滑尺度在滤波过程中所体现的效果是横向模糊，柱脚识别的平滑尺度则设置为可以达到纵向模糊的目的。相比于现有的识别方式，这种处理可以在弱化背景干扰的同时增大后续过程中高度识别的准确度，减少一些非横向线条的干扰。

26、步骤s3，特征识别；

27、步骤s30，载盘柱脚数目与位置识别；

28、使用步骤s24中获得纵向模糊的4号图像，在4号图像包含且尽可能只包含所有柱脚的感兴趣区域内，对4号图像进行二值分割，从而选中所有明亮区域；

29、并挑出其中所有的连通域，根据面积相近及面积阈值条件进行筛选，面积极小的是干扰区域和噪点，面积小于正常柱脚面积一半的是透射展现出的后方柱脚，去除前述筛选，对留下的区域，获取其最小外包矩形的中心点坐标(pcenter_x(1～n),pcenter_y(1～n))和右下角坐标(pbottom_x(1～n),pbottom_y(1～n))，用于通过根据公式

30、pstart(1～n)＝pcenter_x(1～n)*2-pbottom_x(1～n)

31、pend(1～n)＝pbottom_x(1～n)

32、plength＝pl_start(1)-pl_end(n)

33、pwidth＝pw_start(1)-pw_end(n)

34、运算得出载盘长度plength、宽度pwidth、长边各柱脚起边位置pl_start(1)到pl_start(n)、长边终边位置的像素值pl_end(1)到pl_end(n)、短边各柱脚起边位置pw_start(1)到pw_start(n)、长边终边位置的像素值

35、pw_end(1)到pw_end(n)，最后可利用步骤s1的标定处理的仿射变换矩阵

36、

37、将识别结果像素值转换到空间坐标系中，得到相应的空间数值；

38、步骤s31，载盘高度识别；

39、高度识别使用步骤s22中横向模糊后得到的2号图像，在图像包含载盘上边缘在内、靠近两侧未放置物料的感兴趣区域内进行阈值分割，选出图中存在的跳变边缘，并对选出区域按照列坐标升序排列，然后对提取出的各区域骨架进行直线检测，按照直线长度阈值限定，选出符合要求的直线行坐标像素值，同样经过步骤s1中的仿射变换可将像素坐标值下的载盘高度换算为载盘实际高度；

40、步骤s32，载盘材质识别；

41、使用颜色识别方法对载盘材质进行识别，具体为：

42、使用彩色照片，将彩色照片转化为灰度图像后，在包含且尽量只包含一整个柱脚的感兴趣区域r内，对整个区域的各灰度点g(p)统计其均值mean和方差deviation；

43、

44、

45、由于载盘材质不同，木头和金属对光线的反射度也不同，在相同的光照条件下，银白色金属载盘的灰度均值显著高于木质载盘，并且因为金属载盘的规格为双细柱柱脚，中间空隙的颜色相对载盘本身要暗，所以使得灰度方差相对木质载盘也更大。通过对感兴趣区域内图像灰度的均值和方差进行阈值限定，可以有效区别木质载盘和金属载盘；，从而避免部分现有设计存在的、因木质载盘本身柱脚颜色驳杂、差别较大导致的识别失败频发现象。

46、步骤s4，数据传输；

47、使用modbustcp协议，以工控机为服务器，上位机为客户端，通过网线直连的方式实现上位机与工控机之间的通信，上位机向工控机发送的信号包括当前的状态标志值、包括载盘长度、宽度、高度、各柱脚起边位置、终边位置的空间值、载盘材质和心跳信号，工控机向上位机发送的信号包括工控机当前的状态标志值、光源模式编码和部分数据阈值；

48、在连接异常断开时，根据工控机的心跳反馈信号判断工控机是否能够活动，如果在三组心跳时间内未收到工控机心跳数据，则视为连接已断开，自动释放连接占用的地址和端口，以避免后续再次连接时发生地址占用导致的冲突。

49、本发明还提供了一种视觉自动测量的载盘特征识别系统，包括像素坐标系与空间坐标系之间的标定模块、图像处理模块、特征识别模块和数据传输四个模块，识别时需要有已经合成的长边正面打光、长边背面打光、短边正面打光、短边背面打光和任一边包含柱脚在内的彩色照片；

50、其中，

51、所述的标定模块从长、宽、高三个维度对读取到的带有实际空间坐标刻度的载盘图像逐点标记，将像素坐标与空间坐标建立一一映射关系的三组仿射变换矩阵；

52、所述的图像处理模块将载盘同一个面的正、反两面打光图像灰度值相减得到1号图像g1，以减弱复杂背景的干扰，然后对1号图像进行掩膜大小为maskwidth×maskheight的中值滤波，即对掩膜中的灰度升序排列并选取中间值，得到2号图像g2，这可以在一定程度上减少噪声，使柱脚边缘突出，用1号图像和2号图像再次相减得到3号图像g3，是柱脚边缘非常清晰的载盘照片，再用2号图像减去均值滤波后的3号图像平方得到4号图像，达到矫正图像阴影的目的；

53、在图像处理部分，对高度识别和柱脚识别的处理差别主要体现在1号图像到2号图像的中值滤波过程及2、3号图像到4号图像的均值滤波过程，在高度识别时，设置的平滑尺度在滤波过程中所体现的效果是横向模糊，柱脚识别的平滑尺度则设置为可以达到纵向模糊的目的。相比于现有的识别方式，这种处理可以在弱化背景干扰的同时增大后续过程中高度识别的准确度，减少一些非横向线条的干扰。

54、特征识别模块包括载盘柱脚数目与位置识别、载盘高度识别和载盘材质识别；

55、载盘柱脚数目与位置识别使用纵向模糊的4号图像，在图像包含且尽可能只包含所有柱脚的感兴趣区域内，对图像进行二值分割，从而选中所有明亮区域，并挑出其中所有的连通域，根据面积相近及面积阈值条件进行筛选，面积极小的是干扰区域和噪点，面积小于正常柱脚面积一半的大多是透射展现出的后方柱脚，二者都可以去除，对留下的区域，获取其最小外包矩形的中心点坐标，运算得出载盘长度、宽度、各柱脚起边位置、终边位置的像素值，最后可利用标定模块的仿射变换矩阵将识别结果像素值转换到空间坐标系中，得到相应的空间数值；

56、载盘高度识别使用横向模糊后得到的2号图像，在图像包含载盘上边缘在内、靠近两侧未放置物料的感兴趣区域内进行阈值分割，选出图中存在的跳变边缘，并对选出区域按照列坐标升序排列，然后对提取出的各区域骨架进行直线检测，按照直线长度阈值限定，选出符合要求的直线行坐标像素值，同样经过仿射变换可将像素坐标值下的载盘高度换算为载盘实际高度；

57、载盘材质识别采用颜色识别使用彩色照片，将彩色照片转化为灰度图像后，在包含且尽量只包含一整个柱脚的感兴趣区域r内，对整个区域的各灰度点g(p)统计其均值和方差；

58、由于载盘材质不同，木头和金属对光线的反射度也不同，在相同的光照条件下，银白色金属载盘的灰度均值显著高于木质载盘，并且因为金属载盘的规格为双细柱柱脚，中间空隙的颜色相对载盘本身要暗，所以使得灰度方差相对木质载盘也更大。通过对感兴趣区域内图像灰度的均值和方差进行阈值限定，有效区别木质载盘和金属载盘，从而避免部分现有设计存在的、因木质载盘本身柱脚颜色驳杂、差别较大导致的识别失败频发现象；

59、通信模块使用modbustcp协议，以工控机为服务器，上位机为客户端，通过网线直连的方式实现上位机与工控机之间的通信，上位机向工控机发送的信号包括识别软件当前的状态标志值、包括载盘长度、宽度、高度、各柱脚起边位置、终边位置的空间值、载盘材质和识别软件的心跳信号，工控机向上位机发送的信号包括工控机当前的状态标志值、光源模式编码和部分数据阈值。在连接异常断开时，视觉软件会根据工控机的心跳反馈信号判断工控机是否能够活动，如果在三组心跳时间内未收到工控机心跳数据，则视为连接已断开，自动释放连接占用的地址和端口，以避免后续再次连接时发生地址占用导致的冲突。

60、与现有技术相比，本发明的有益效果是：

61、针对前文所提到的现有的高度识别多采用彩色相片，在流水线无遮挡的复杂背景环境下易受后方环境的干扰的情况，本发明从图像处理角度提出了一定改进。彩色照片高度识别所受的背景环境干扰，可以通过图像相减和滤波的方式有效削减，在实验过程中发现如此处理后的图像仍旧存在一些干扰线段，其中以背景中的竖线和载盘本身存在的纹路及图像噪点为主，所以考虑引入横向的均值滤波。一方面，这可以使得载盘的上边缘更加清晰，与背景及所盛放的物料有效分隔，另一方面，这可以将载盘本身有的纹路或是因焊接导致的边缘交界线滤去，在引入线段长度的阈值限定后，高度识别可以获得相对较好的效果。

62、针对当前的颜色识别方案由于木质载盘间本身颜色存在一定差异，并且不同光照条件下所获取的彩色图片颜色范围差距较大，通过多层感知机训练的方式实现的颜色检测有较大的失误可能的问题，本发明提出通过指定区域内灰度的均值和方差阈值限定的方式进行区别。在实验过程中，发现木质载盘由于本身的纹理构成不同，所以不同的载盘间可能存在较大差异，而铁质载盘和木质载盘在受到不同强度的光线照射时，所反映出的颜色也有所差别，这些问题都增大了多层感知机的训练难度、以及识别时的准确度。为此，本发明将基于训练的颜色识别改为基于灰度的阈值限定识别，因为银白色铁质载盘和木质载盘之间灰度存在的差异规律明显，当受到合理范围内的同等光照时，银白色铁质载盘柱脚的灰度均值显著高于木质载盘，而由于铁质载盘的柱脚间有中空部分，所以其灰度方差亦高于木质载盘，结合这样的差异规律，可以得出铁质载盘和木质载盘材质识别的限定阈值，这种方法可以有效削弱环境光线和木质载盘个体间差异对识别精度的影响，同时，如果有新的材质被引入识别范围，也可以方便的通过阈值调节来进行区分。