一种基于机器视觉的三维坐标定位方法与流程

本发明属于机器人视觉定位领域，涉及一种基于机器视觉的三维坐标定位方法。

背景技术：

随着机器视觉技术的发展，双目视觉被广泛应用于物体识别、虚拟现实、工业检测、机器人导航和航空航天等领域。近年来，基于双目视觉的工件识别定位为机器人3-D自动抓取提供图像信息成为研究重点，其中立体匹配和关键抓取点的3-D信息重建是主要研究内容。

立体匹配作为双目视觉的关键技术，其目的是确定立体图像对点之间的对应关系，精度高、速度快和鲁棒性强的匹配算法成为广大研究者追求的目标。其中，基于特征的匹配方法具有计算速度快和占用内存少的优点，满足工业实时性要求，且对噪声、光照变化等不敏感，鲁棒性强，解决了大多数基于区域的立体匹配算法过分依赖图像灰度统计特性以及光照不变性假设的问题，在工业中得到广泛应用。

由于工件图像一般缺乏纹理和颜色特征，导致部分特征点匹配方法检测到的特征点较少，故由于区域灰度的相似性导致的误匹配在一定程度上不能保证后续定位精度。近年来，基于形状特征的匹配方法在缺乏纹理和颜色的图像中得到了长足的发展，尤其是以形状上下文为代表的基于边缘轮廓的匹配方法。

论文“A spectral technique for correspondence problems using pairwise constraints[C]//IEEE International Conference on Computer Vision.NewYork,USA:IEEE,2005:1482-1489.LEORDEANU M,HEBERT M”，将形状上下文特征和谱匹配方法结合，进行一对一匹配，但该方法谱分解较耗时。

论文“Analyzing ancient Maya glyph collections with contextual shape descriptors[J].International Journal of Computer Vision,2011,94(1):101-117.ROMAN-RANGEL E,PALLAN C,ODOBEZ J M，et al”，提出了方向直方图形状上下文特征，引入高维直方图描述复杂的目标形状，提高了匹配准确率，但是高维直方图相似性计算量较大，导致匹配耗时较多。

论文“Hand shape recognition based on coherent distance shape contexts[J].Pattern Recognition,2012,45(9):3348-3359.HU R X,JIA W,ZHANG D,et al”，结合内距离形状上下文(inner distance shape context,IDSC)提出了一致性距离形状上下文，提高了点对匹配精度，但是内距离为在形状内部连接两个轮廓序列上两个点的最短路径长度，计算较为耗时，不能满足实时性要求。

技术实现要素：

本发明目的在于提供一种基于机器视觉的三维坐标定位方法，通过将形状上下文引入双目视觉工件图像的立体匹配中，并引入质心约束条件，融合形状上下文和梯度方向直方图构成联合相似性度量，引入RANSAC剔除误匹配点，实现了较高的匹配精度及更快的匹配速度，满足了工业上双目视觉快速、准确的工件深度信息提取和3-D定位要求，有效地解决了传统形状上下文直方图相似性计算需遍历轮廓采样点、计算复杂性高、不能满足工业实时性要求问题。

为解决上述技术问题，本发明采用如下的技术方案：一种基于机器视觉的三维坐标定位方法，所述方法包括：S1，对工件进行图像采集、预处理及轮廓的提取；S2，对特征向量进行距离归一化处理；S3，确定候选匹配点集；S4，得到初始匹配点集；S5，剔除误匹配点对。

进一步地，所述步骤S1中，对工件图像对分别进行灰度归一化处理，并采用快速边缘检测方法提取工件轮廓。

进一步地，所述步骤S2中，对轮廓采样点进行对数极坐标变换，统计立体图像对各轮廓采样点的形状上下文直方图特征向量，并对特征向量进行距离归一化处理。

进一步地，所述步骤S3中，在立体图像对质心的视差约束条件下，根据形状上下文的直方图分布信息进行初步筛选。

进一步地，所述步骤S4中，计算由形状上下文和梯度方向直方图构成的联合相似性度量值，并采用KNN匹配策略进行阈值判断。

进一步地，所述步骤S5中，引入RANSAC算法剔除误匹配点对。

本发明与现有技术相比具有以下的有益效果：

本发明方案通过将形状上下文引入双目视觉工件图像的立体匹配中，并引入质心约束条件，融合形状上下文和梯度方向直方图构成联合相似性度量，引入RANSAC剔除误匹配点，实现了较高的匹配精度及更快的匹配速度，满足了工业上双目视觉快速、准确的工件深度信息提取和3-D定位要求。

附图说明

图1是基于机器视觉的三维坐标定位方法流程框图。

图2是形状上下文的bin分布图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于机器视觉的三维坐标定位方法，所述方法包括：

S1，对工件进行图像采集、预处理及轮廓的提取；

采用自主研发的两个相同配置的640×480分辨率的黑白CCD相机构成双目视觉系统，分别从不同视角拍摄待检工件，但采集环境的光照强度、空气中的漂浮物、镜头周围可能出现的灰尘等因素，都会影响工件图像采集的效果。

工件图像的预处理过程，是为了增强感兴趣的区域，模糊噪声区域，得到便于后续分析计算的高质量图像。在图像预处理中用到的一般方法有：灰度处理，图像滤波，立体校正等。

对工件图像对分别进行灰度归一化处理的目的是消除双目相机光照不一造成的影响，然后采用快速边缘检测方法(出自论文《A fast edge detection algorithm on simple background》，作者：ZHOU E M,XUE F Zh,LI N.Micro Computer Information,2012,10(10):383-384(in Chinese).)提取工件轮廓，并对轮廓均匀采样。

S2，对特征向量进行距离归一化处理；

对轮廓采样点进行对数极坐标变换，统计立体图像对各轮廓采样点的形状上下文直方图特征向量，并对特征向量进行距离归一化处理。

形状上下文特征用有限轮廓采样点集合来表示待匹配物体，同时假设这些轮廓采样点足以表征物体的形状信息。假设轮廓采样点集合由Pλ＝{p1,p2,…,pλ}表示，λ表示轮廓采样点数目。

S21，对数极坐标变换；

以第i个轮廓采样点pi(xi,yi)作为参考坐标原点，按下式进行对数极坐标变换，使得形状上下文特征对距离点pi(xi,yi)较近的轮廓采样点较为精确地描述，对距离相对较远的轮廓采样点进行近似的描述：

式中，rij为对数极坐标下的半径，θij为对数极坐标下的角度，(xi,yi)对应第i个轮廓采样点pi的笛卡尔坐标系中的坐标，(xj,yj)对应剩余的第(λ-1)个轮廓采样点qj的笛卡尔坐标系中的坐标。

S22，形状描述；

为得到形状上下文的直方图统计，将对数极坐标下的距离lgr及角度θ分为M和N个区间，如图2所示。

对于采样点pi，建立对数极坐标映射表示剩余的λ-1个采样点的分布，可得到直方图Hi，如下所示：

Hi＝{hi(k)}＝{hi(m,n)},(1≤k≤K；(m,n)∈I) (2)

hi(k)＝#{(qj-pi)∈bin(k)},(j≠i) (3)

I＝{(m,n)},(1≤m≤M；1≤n≤N) (4)

式中，qj表示余下的采样点；#表示计数操作；bin(k)表示第k个栅格，1≤k≤K，K＝M×N；hi(k)为形状上下文特征。

S23，形状上下文归一化；

形状上下文特征提取后，若直接进行匹配，不同lgr等级下轮廓采样点数目差异巨大，故引入距离方向的归一化处理，如下式所示：

式中，为hi(k)归一化后的值，此时得到直方图

S3，确定候选匹配点集；

在立体图像对质心的视差约束条件下，根据形状上下文的直方图分布信息进行初步筛选，确定候选匹配点集。

S31，视差约束；

理论上，经过立体校正的图像对匹配点满足外极线约束条件，但是实际对应匹配点不一定完全在一条直线上，一般在极线上下浮动。因此，在外极线约束条件基础上，引入立体图像对质心的视差约束条件，将匹配搜索空间限定在对应匹配点的较小矩形框内，如下式所示，从而减少搜索空间复杂度：

式中，(Cl,x,Cl,y)和(Cr,x,Cr,y)分别为左右图像工件的质心，(xl,yl)和(xr,yr)为一对候选匹配点。对于左图像轮廓采样点(xl,yl)，只需在右图像一个较小的矩形框内查找候选匹配点(xr,yr)，此时将查找搜索的点数限定在矩形搜索框内较少的若干个轮廓像素点。

S32，获取候选匹配点集；

考虑到形状上下文特征描述向量中包含大量零元素，存在数据冗余，且相似性度量的计算中存在较多耗时的乘方运算，若直接遍历轮廓采样点计算相似度，匹配速度较慢。为减少后续匹配计算复杂度，根据形状上下文的直方图分布信息进行初步筛选，通过对形状上下文非零元素进行标记，在质心的视差约束条件下对比各轮廓边缘点形状上下文的非零元素的分布差异，最后确定候选匹配点集。具体实现如下：

(1)提取形状上下文特征描述向量中非零元素所在的bin编号(栅格分量)构成标记向量。对应立体图像对中，左图像轮廓采样点集{pi}对应标记矩阵Ll，右图像轮廓采样点集{qj}对应标记矩阵Lr，如下式所示：

式中，i对应左图像轮廓采样点索引，j对应右图像轮廓采样点索引，Nleft和Nright分别为左右图像中轮廓采样点个数，标记向量Lleft(i)和Lright(j)均为行向量。

(2)根据标记向量Lleft(i)与Lright(j)的元素差异确定候选匹配点。若轮廓采样点对(pi,qj)对应标记向量共同元素的个数满足(9)式，则记与pi匹配的特征点索引为φ(i)，如(10)式所示。(9)式中阈值δ可取[0,3]的整数，且δ越小，对应的候选匹配点数越少，精度也越高，但是漏匹配点数也会相应增加：

|(max(N1,i,Nr,j)-Ncom,ij)|≤δ (9)

若(9)式成立，则：

φ(i)＝{j},(j＝1,2,…,Nright) (10)

式中，Nl,i和Nr,j为对应标记向量Lleft(i)和Lright(j)的元素个数，Ncom,ij为对应标记向量Lleft(i)和Lright(j)的相同元素个数，间接反映轮廓采样点的形状直方图分布差异，值越大说明对应轮廓采样点的直方图分布差异越小。

(3)依次遍历左图像轮廓采样点。重复步骤(2)，得到候选匹配点集{(pi,qφ(i))}。

为实现快速获取候选匹配点，本发明中采用分治思想进行快速查找形状上下文特征描述向量中非零元素以及对应的标记向量间的相同元素个数Ncom,ij。

S4，得到初始匹配点集；

匹配时，根据步骤S3确定的候选匹配点计算由形状上下文和梯度方向直方图构成的联合相似性度量值，并采用KNN匹配策略进行阈值判断，得到初始匹配点集。

S41，联合相似性度量；

由于形状上下文特征对于相邻轮廓采样点区分度不够大，容易造成误匹配。为增加匹配点与非匹配点间的区分度，提高匹配精度，利用反映形状上下文非零元素分布差异值Ncom,ij对形状上下文相似性度量进行加权处理，改进χ²统计检验构成加权相似性度量，且匹配时只需在候选匹配点集中进行加权相似性度量计算：

式中，ωij为相似性度量计算的加权系数。

由于传统形状上下文只考虑轮廓点的位置分布关系，忽略了点本身的梯度属性，对于确定立体图像对点的对应关系，特征描述区分度不够，容易造成误匹配。为进一步提高匹配精度，引入对噪声、光照变化等具有较高鲁棒性的梯度方向信息，即匹配时引入待匹配轮廓采样点3×3邻域内的梯度方向直方图特征，与形状上下文特征构成联合相似性度量，其中梯度方向直方图将0°～360°的范围分成12柱，每30°为1柱：

S＝αCij+βCdir (13)

式中，α+β＝1，经过多次实验测试，α∈[0.5,1]，β∈(0,0.5]；Cij为轮廓采样点pi和qi的加权形状上下文相似性度量值；Cdir为对应轮廓采样点pi和qi的梯度方向直方图相似性度量值，为减少光照变化的影响，采用归一化点积计算Cdir，如下式所示：

式中，di为点pi的3×3邻域梯度方向直方图特征向量，ei为点qi的3×3邻域梯度方向直方图特征向量。

S42，匹配策略；

为得到初始匹配点集，借鉴SIFT算法的K近邻(K-nearest neighbors，KNN)匹配策略(出自论文《Nearest neighbor pattern classification》，作者：COVER T M,HART P E.IEEE Transactions on Information Theory,1967,13(1):21-27.)，选择最邻近距离Snearst与次邻近距离Shpyo-nearst的比值进行阈值判断，如(15)式所示：

阈值T的取值为0.6～0.85。本发明中采用优先级最高查询机制(best bin first，BBF)来寻找最近邻和次近邻，BBF是对k维(k-dimensional，k-D)树的一种改进。BBF通过建立优先队列，确保优先检索包含最近邻点可能性较高的空间，并且总能得到比较好的结果，很好地扩展了k-D树在高维数据查询中的应用。

S5，剔除误匹配点对；

初始匹配结果可能存在一对多或多对一的情况，为了剔除错误匹配，保证一对一的匹配结果，采用RANSAC算法(出自论文《Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography》，作者：Fischler M A,Bolles R C.Communications of the ACM,1981,24(06):381-395.)。RANSAC算法实现简单、性能良好，其核心思想是将数据分为内点和外点，只使用内点进行模型的参量估计，从而剔除不准确的匹配数据。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。