一种基于3D视觉的高反光零件定位检测方法与流程

本发明属于机器视觉测量领域，涉及高反光零件定位检测技术，尤其涉及一种基于3d视觉的高反光零件进行定位的方法。

背景技术：

1、目前，在工业生产领域，2d视觉技术仍然是对零件进行定位的主流方法，其具有成本低廉、算法简单、安装方便等特点，但是2d视觉的测量精度易受工作环境中的光照条件以及待检测目标的颜色纹理条件等因素的影响。

2、高反光零件被广泛应用于航空、航天、船舶、能源动力等国家重大装备工程中。在对高反光零件定位过程中，零件表面通常具有高光反射、高光比等问题。此时如果使用2d视觉相机进行拍摄，通常所获得的图像中零件所在的区域会出现高曝光，而其他区域曝光不足，这使得单使用二维图像对高反光零件定位变得十分困难，精度也相对较低。

3、随着3d视觉测量技术的发展和立体视觉相机的普及，物体三维数据的获取也变得十分便捷，3d视觉技术也越来越广泛的应用到了自动化生产设备的研发中。3d视觉检测技术能够识别物体的空间立体位置和表面信息，不易受环境条件的影响。近年来，三维传感器例如激光雷达、三维扫描仪、深度相机等的发展和普及，使三维数据的获取越来越容易，这促进了3d视觉技术的飞速发展。同样，使用3d视觉的方法对高反光零件进行高精度定位具有非常重要的研究意义。

4、然而，目前还没有基于3d视觉测量技术实现对高反光零件精确定位的相关研究，是目前技术人员丞待解决的关键问题之一。

技术实现思路

1、本发明的目的旨在针对现有技术中的不足，提供一种基于3d视觉的高反光零件定位检测方法，提高现有高反光零件定位的智能化程度及检测精度。

2、为达到上述目的，本发明采用以下技术方案来实现。

3、本发明提供的基于3d视觉的高反光零件定位检测方法，其包括以下步骤：

4、步骤1.获取高反光零件点云图像

5、利用双目立体工业相机对检测区域进行拍摄，对得到的包含高反光零件点云图像信息进行预处理，分离背景得到高反光零件点云图像；

6、步骤2.对高反光零件点云图像进行修正

7、逐渐降低双目立体相机曝光系数，利用双目立体工业相机对检测区域进行拍摄，直至左相机或右相机获取的二维图像中对应高反光零件点云图像区域90％以上像素的灰度值在给定阈值范围内；进一步对二维图像进行阈值分割，对高反光零件点云图像进行修正；

8、步骤3.获取高反光零件在相机坐标系下的位置信息

9、基于修正后的高反光零件点云图像，得到高反光零件在相机坐标系下的质心位置信息；

10、步骤4.获取高反光零件在检测平台上的定位信息

11、对高反光零件在相机坐标系下的位置信息进行坐标变换得到高反光零件的定位信息。

12、上述步骤1中，将高反光零件置于检测平台上，将双目立体工业相机置于检测平台正上方，且相机摄像窗口与高反光零件位置相对。

13、通过现有双目立体工业相机可以通过其左右相机获得被测物的二维图像，同时还可以进一步获得被测物的三维点云图像。所述双目立体工业相机的左右相机内参分别采用张氏标定法分别进行标定。

14、所述相机内参矩阵为

15、

16、其中，f/dx和f/dy分别表示相机坐标系下在x轴和y轴上的尺度因子，u0和v0分别表示像素平面坐标系下光轴与成像平面交点的横纵坐标值。

17、当求得内参矩阵后，设高反光零件上一点在相机坐标系下的坐标为(xi,yi,zi)，则其像素坐标用参数矩阵描述为：

18、

19、在像素平面坐标系，将平面上像素坐标表示为[u,v]t，那么径向畸变由公式(3)进行矫正

20、

21、对于切向畸变，由公式(4)进行矫正：

22、

23、式中，r2＝u2+v2，k1、k2、k3、p1、p1表示畸变矫正参数。

24、采用张氏标定法，多次拍摄标定板，获得多组公式(3)、(4)，采用最小二乘法求解得到五个参数[k1,k2,k3,p1,p2]来纠正整个图像的畸变，即使用公式(5)对每个像素点位置进行矫正：

25、

26、通过矫正相机畸变的公式(5)的作用对公式(2)中的结果进行矫正，矫正之后的坐标变为[ucorrected,vcorrected]t，其从像素平面转换到归一化的平面上。

27、在使用相机前，可以利用检测平台上的定位孔对左右两个相机位置进行调试，具体操作为：用双目立体相机对检测平台进行拍摄，测得平台上三个定位孔的坐标分别为左上孔q1(x1，y1，z1)，左下孔q2(x2，y2，z2)，右上孔q3(x3，y3，z3)，通过调试相机位置使得在相机视野中检测平台的左上定位孔与左下定位孔在同一竖直线上，左上定位孔与右上定位孔在同一水平线上，即x1＝x2，y1＝y3 z1＝z2＝z3。

28、通过上述操作，可以消除双目立体工业相机自身对高反光零件测量过程中的影响。

29、之后，利用双目立体工业相机对检测区域进行拍摄，基于前面的操作对拍摄得到的图像进行坐标矫正及变换得到相机坐标系下的包含高反光零件的二维图像及三维原始点云图像信息。

30、然后对原始点云图像信息图像进行预处理，分离背景，具体包括以下分步骤：

31、步骤1.1对包含高反光零件点云图像信息进行下采样，即构造一个三维体素栅格；三维体素栅格中，以每个体素内所有点的坐标均值来表征相应的体素，得到均值坐标点；

32、步骤1.2对下采样得到的均值坐标点云图像进行滤波处理；

33、步骤1.3对滤波后的点云图像中z轴数值大于设定阈值的所有点进行剔除得到背景分离后的图像，即高反光零件的点云图。

34、上述步骤1.1中，对包含高反光零件点云图像信息进行下采样，构造一个三维体素栅格。

35、这里，具体采用常规体素网格对包含反光零件点云图像进行划分，然后采用体素均值下采样方法对包含高反光零件点云图像信息进行下采样处理。

36、一个体素内的所有点的坐标如下：

37、

38、那么均值坐标点可表示为：

39、

40、上述步骤1.2中，采用半径滤波器对从下采样后的均值坐标点云图像进行滤波。半径滤波的原理如图1所示，即以空间中的任意一点为圆心oi，r可根据相机的分辨率选取，以给定r为半径画一个球体，计算这个球体内点云的个数计为m，如果m小于预先设定的阈值m，则认为此球圆心处的点oi为离群噪声点，进行剔除。对所有的点作为球心进行上述判断，最终得到滤波后的点云图像。

41、上述步骤1.3中，相机坐标系下，以检测平台上任一点(这里可以选任一定位孔)的z轴坐标作为阈值，然后对滤波后的点云图像中z轴数值大于设定阈值的所有点进行剔除得到背景分离后的图像，得到高反光零件点云图像q。

42、上述步骤2中，这里所说的曝光系数调整包括快门速度和光圈值，通过调整快门速度和光圈值，逐渐降低双目立体相机曝光系数，然后利用双目立体工业相机对检测区域进行拍摄，通过左相机或右相机获取包含高反光零件的二维图像，并将二维图像转化为灰度图；依据高反光零件点云图像在xoy平面的投影，确定二维图像中对应高反光零件点云图像q区域像素值，并判断是否满足90％以上像素的灰度值在给定阈值范围内；若不满足，继续降低相机曝光系数，直至左相机或右相机获取的二维图像中对应高反光零件点云图像q区域90％以上像素的灰度值在给定阈值范围内。然后进一步依据设置的阈值上限，对二维图像进行阈值分割，筛选出超出阈值上限的点，并从高反光零件点云图像中剔除，完成对高反光零件点云图像的修正，得到高反光零件点云图像的精确区域n。

43、上述步骤s3中，在高反光零件点云图像的精确区域n中，进行连通域分割，得到每一个高反光零件的点云记为lj，b为相应高反光零件点云中点的数量，点云中点的坐标为(xb,yb,zb)，接着求取每个零件点云的在相机坐标系下的质心坐标kj：

44、

45、连通域分割可以采用本领域已经披露的常规方法，例如two-pass算法、区域生长算法等。

46、上述步骤s4中，基于前面得到的检测平台上的三个定位孔在相机坐标系下的坐标q1、q2、q3以及高反光零件点云在相机坐标系下的质心坐标kj，以检测平台上的左上定位孔q1作为坐标原点，高反零件点云在检测平台上的定位信息-位置g可以表示为：

47、

48、其中xk,yk,zk是高反光零件点云在相机坐标系下的质心的坐标，表示左上定位孔的在相机坐标系坐标。

49、因此，本发明基于3d视觉方法，尤其是使用主动型立体相机进行拍摄，直接获得零件的三维点云图像信息，不受零件高反光区域的影响，同时也不易受到环境光照的影响。然后对得到的三维点云图像经下采样、滤波、修正及坐标变换处理，实现对高反光零件的精确定位信息。

50、本发明提供的基于3d视觉的高反光零件定位检测方法，具有以下有益效果：

51、(1)本发明首先利用双目立体工业相机获取包含高反光零件点云图像，然后对点云图像进行预处理，分离背景得到高反光零件点云图像，再对高反光零件点云图像进行修正，获取高反光零件在相机坐标系下的位置信息，再将其转化为检测平台的位置信息；通过该方法能够避免高反光区域的影响，实现对高反光零件的精确定位。

52、(2)本发明可提升高反光零件加工设备的智能化定位水平，不再依靠人工或者低精度的2d视觉对高反光零件进行定位，提高工作效率、减小定位误差。