一种基于二次模板匹配的工件定位方法、设备及存储设备与流程

本发明涉及图像识别领域，尤其涉及一种基于二次模板匹配的工件定位方法、设备及存储设备。

背景技术：

目前，机器视觉模板匹配技术广泛应用于工业现场的各个方面。目前已经有的模板匹配方法分为三类：基于灰度值的匹配方法、基于几何特征的匹配方法及基于梯度方向的模板匹配方法。其中基于灰度值的模板匹配方法依赖于良好的光照环境、且不适应旋转变换；基于几何特征的匹配方法虽然对图像质量要求较高，但匹配效果对光照及旋转等变化鲁棒性较强；基于梯度方向的模板匹配算法会把一些缺陷当做噪声，从而造成匹配率不高的问题。

有些工件由于处于室外，光照条件并不稳定，因此基于灰度值的模板匹配方法很难运用于此类工件的定位中。同时由于常年使用，其表面通常会有不同程度地污渍，从而造成基于梯度方向的模板匹配算法应用的局限性。基于以上两种情况，基于几何特征的匹配方法能够有效的解决这两个问题，但是直接使用基于几何特征的模板匹配方法会导致进行模板匹配时计算量过大、且精度低。

一种基于模板匹配的芯片定位方法,主分类号：g06k9/00(2006.01)i,分类号：g06k9/00(2006.01)i。该发明公开了一种基于模板匹配的芯片定位方法，具体包括以下步骤：步骤一，制作模板；步骤二，对待定位图片进行预处理，增大背景与芯片基体的对比度；步骤三，对预处理后的图片进行图像分割，得到blob块，利用blob块的面积和blob块对应的最小外接矩形的边长信息排除存在连晶、缺损缺陷的芯片；获取剩下的blob块的最小外接矩形的中心位置坐标，以及短边与水平方向的夹角；步骤四，根据步骤三得出的中心位置坐标和夹角，在待定位图片上采用模板匹配芯片，定位出芯片的位置和角度。本方法主要适用于芯片制造过程中对芯片的定位，采用先筛选再匹配的方法能快速准确定位出合格芯片的位置，排除掉带有连晶、缺损缺陷的芯片。

基于模板匹配的melf元件定位与检测方法，主分类号：g06k9/62(2006.01)i，分类号：g06k9/62(2006.01)ig06t7/00(2006.01)i。该发明通过建立带有角度的模板图像、得到缩小后的元件图像、获得缩小后的元件图像的距离变换图像和原始元件图像的距离变换图像、获取最终最佳匹配模板图像和最佳匹配位置、在带干扰点的边缘图像中提取关键边缘点并形成最小外接矩形、根据最小外接矩形设置偏置量后内部非零像素的个数的过程，得出元件位置正确且元件的长度和宽度在容差范围内，结束定位与检测过程并输出元件位置信息。

技术实现要素：

为了解决上述问题，本发明提供了一种基于二次模板匹配的工件定位方法、设备及存储设备，一种基于二次模板匹配的工件定位方法，主要包括以下步骤：

s101：采用张正友标定法对相机进行标定，并利用标定后的相机完成待定位工件的图像采集，得到合格的第一待定位工件图像；

s102：采用图像自校正的方法，对第一待定位工件图像进行图像校正，得到校正后的第二待定位工件图像；

s103：根据预设的第一模板，采用模板匹配算法，在校正后的第二待定位工件图像中筛选出与第一模板对应的第一图像块，得到第二待定位工件图像中第一图像块对应的中心位置坐标；所述第一模板为待定位工件的全部或者部分图像；所述第一图像块在第二待定位工件图像上对应的区域即为待定位工件的目标区域；

s104：根据预设的第二模板，采用模板匹配算法，在第一图像块中筛选出与第二模板对应的第二图像块，得到第二图像块在第一图像块中的中心位置坐标；所述第二模板为第一模板的一部分，为待定位工件图像的局部特征区域；

s105：根据第二图像块在第一图像块中的中心位置坐标，利用线性坐标转换方法，计算得到第二图像块在第二待定位工件图像中的中心位置坐标；

s106：根据第二图像块在第二待定位工件图像中的中心位置坐标，采用边缘拟合算法，计算得到第二图像块的拟合弧的圆心坐标；并根据第二图像块的拟合弧的圆心坐标，采用立体匹配方法，计算得到第二图像块的形心坐标；所述圆心坐标为基于图像坐标系下的二维坐标，所述形心坐标为基于世界坐标系下的三维坐标；

s107：根据第二图像块的形心坐标，计算得到工件形心的三维坐标，完成工件定位。

进一步地，步骤s102中，自校正方法采用全局自校正和局部自校正结合的方法。

进一步地，步骤s103中，模板匹配算法采用基于几何特征的模板分割匹配算法。

进一步地，步骤s105中，采用线性坐标转换方法，计算得到第二图像块在第二待定位工件图像中的中心位置坐标(sbui,sbvi)的公式如公式(1)所示：

其中，(sbui,sbvi)为第二图像块在第二待定位工件图像中的形心位置坐标，(tbu,tbv)为第一图像块在第二待定位工件图像中的形心坐标，(stui,stvi)为第二图像块在第一图像块中的中心位置坐标，wt和ht为第一模板的长和宽，i＝1,2,…,n，n为第二图像块的个数。

进一步地，步骤s106中，采用边缘拟合算法，计算得到第二图像块的拟合弧的圆心坐标的步骤为：

s201：以(sbui,sbvi)为圆心，r为半径作圆，得到圆形区域；r为预设值；

s202：在圆形区域内进行拟合弧操作，得到拟合弧的圆心oi，i＝1,2,…,n，n为第二图像块的个数；

s203：确定拟合弧所在的椭圆方程的系数值，椭圆方程的表达式如公式(2)所示：

ax²+bxy+cy²+dx+ey+f＝0(2)

式中，a、b、c、d、e、f为拟合弧所在的椭圆方程的系数，计算方法如下：将以(sbui,sbvi)为圆心，r为半径的圆离散化，任取圆上5个不同的坐标点，采用最小二乘法，求得椭圆方程的系数a、b、c、d、e、f的值；其中，最小二乘法的计算公式如公式(3)所示：

其中，(xi,yi)为以(sbui,sbvi)为圆心，r为半径的圆上的离散点坐标，i＝1,2,…,n，n为第二图像块的个数；

s204：根据系数值a、b、c、d、e、f，计算得到拟合弧所在的圆心坐标(x0,y0)，计算公式如公式(4)所示：

进一步地，步骤s106中，根据第二图像块的拟合弧的圆心坐标，采用立体匹配方法，计算得到第二图像块的形心坐标p(x,y,z)的公式如公式(5)所示：

ap＝b(5)

式中，p＝[xyz]^t，

ml和mr为左摄像头和右摄像头的投影矩阵，为已知量。

进一步地，步骤s107中，根据第二图像块的形心坐标，计算得到工件形心坐标的公式如公式(6)所示：

上式中，(x,y,z)为工件形心坐标值，(xi,yi,z)为第二图像块的形心坐标，i＝1,2,…,n，n为第二图像块的个数。

一种存储设备，所述存储设备存储指令及数据用于实现一种基于二次模板匹配的工件定位方法。

一种基于二次模板匹配的工件定位设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种基于二次模板匹配的工件定位方法。

本发明提供的技术方案带来的有益效果是：本发明采用的两次模板匹配的方法提高了定位的速度与精确度，适用于大部分工件，同时还可以利用多次模板分割来根据实际情况不断地进行调整与优化，实用性强。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于二次模板匹配的工件定位方法的流程图；

图2是本发明实施例中金具面板模板的示意图；

图3是本发明实施例中线性坐标转换时各坐标位置的示意图；

图4是本发明实施例中硬件设备工作的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于二次模板匹配的工件定位方法、设备及存储设备。

请参考图1，图1是本发明实施例中一种基于二次模板匹配的工件定位方法的流程图，具体包括如下步骤：

s101：采用张正友标定法对相机进行标定，并利用标定后的相机完成待定位工件的图像采集，得到合格的第一待定位工件图像；所述相机包括左摄像头和右摄像头；所述第一待定位工件图像包括左摄像头采集的第一待定位工件左图像和右摄像头采集的第一待定位工件右图像；

s102：利用图像自校正的方法，对合格的第一待定位工件图像进行图像校正，得到校正后的第二待定位工件图像；所述第二待定位工件图像包括第二待定位工件左图像和第二待定位工件右图像；

s103：根据预设的第一模板，采用模板匹配算法，在校正后的第二待定位工件图像中筛选出与第一模板对应的第一图像块，得到第二待定位工件图像中第一图像块对应的中心位置坐标；所述第一模板为待定位工件的全部或者部分图像；所述第一图像块在第二待定位工件图像上对应的区域即为待定位工件的目标区域；

s104：根据预设的第二模板，采用模板匹配算法，在第一图像块中筛选出与第二模板对应的第二图像块，得到第二图像块在第一图像块中的位置坐标；所述第二模板为第一模板的一部分，为待定位工件图像的局部特征区域；

s105：根据第二图像块在第一图像块中的位置坐标，利用线性坐标转换的方法，计算得到第二图像块在第二待定位工件图像中的位置坐标；

s106：根据第二图像块在第二待定位工件图像中的位置坐标，采用边缘拟合算法，计算得到第二图像块的拟合弧的圆心坐标；并根据第二图像块的拟合弧的圆心坐标，采用立体匹配方法，计算得到第二图像块的形心坐标；所述圆心坐标为基于图像坐标系下的二维坐标，所述形心坐标为基于世界坐标系下的三维坐标；

s107：根据第二图像块的形心坐标，计算得到工件形心坐标，完成工件定位。

步骤s102中，自校正方法采用全局自校正和局部自校正结合的方法。

步骤s103中，模板匹配算法采用基于几何特征的模板分割匹配算法。

步骤s105中，采用线性坐标转换方法，计算得到第二图像块在第二待定位工件图像中的位置坐标(sbui,sbvi)的公式如公式(1)所示：

其中，(sbui,sbvi)为第二图像块在第二待定位工件图像中的形心位置坐标，(tbu,tbv)为第一图像块在第二待定位工件图像中的形心坐标，(stui,stvi)为第二图像块在第一图像块中的中心位置坐标，wt和ht为第一模板的长和宽，i＝1,2,…,n，n为第二图像块的个数。

步骤s106中，采用边缘拟合算法，计算得到第二图像块的拟合弧的圆心坐标的步骤为：

s201：以(sbui,sbvi)为圆心，r为半径作圆，得到圆形区域；r为预设值；

s202：在圆形区域内进行拟合弧操作，得到拟合弧的圆心oi，i＝1,2,…,n，n为第二图像块的个数；

s203：确定拟合弧所在的椭圆方程的系数值，椭圆方程的表达式如公式(2)所示：

ax²+bxy+cy²+dx+ey+f＝0(2)

式中，a、b、c、d、e、f为拟合弧所在的椭圆方程的系数，计算方法如下：将以(sbui,sbvi)为圆心，r为半径的圆离散化，任取圆上5个不同的坐标点，采用最小二乘法，求得椭圆方程的系数a、b、c、d、e、f的值；其中，最小二乘法的计算公式如公式(3)所示：

其中，(xi,yi)为以(sbui,sbvi)为圆心，r为半径的圆上的离散点坐标，i＝1,2,…,n，n为第二图像块的个数；

s204：根据系数值a、b、c、d、e、f，计算得到拟合弧所在的圆心坐标(x0,y0)，计算公式如公式(4)所示：

步骤s106中，根据第二图像块的拟合弧的圆心坐标，采用立体匹配方法，计算得到第二图像块的形心坐标p(x,y,z)的公式如公式(5)所示：

ap＝b(5)

式中，p＝[xyz]^t，

ml和mr为左摄像头和右摄像头的投影矩阵，为已知量。

步骤s107中，根据第二图像块的形心坐标，计算得到工件形心坐标的公式如公式(6)所示：

上式中，(x,y,z)为工件形心坐标值，(xi,yi,z)为第二图像块的形心坐标，i＝1,2,…,n，n为第二图像块的个数。

为了更具体的说明本发明的技术方案，将利用本发明的技术方案对变电站管母线金具面板进行定位，以说明本技术方案的可行性：

根据以上方法步骤，首先完成相机的标定。相机标定主要是为了获取相机的内参数，包括相机焦距f、畸变系数k、像元尺寸dx、dy、图像主点cx、cy。而双目相机(相机包括左摄像头和右摄像头)标定，除了需要求出左右两个摄像头的内参外，还需要求出左右两个摄像头之间的相对位姿关系，包括旋转矩阵r以及平移矢量t。在标定时，首先采集标定图片。为了获取更精准的标定数据，采集图片数量为15～20张，同时采集到图片的标定板要基本覆盖到所有双目视野。标定图片采集完，利用张正友标定法，完成相机标定，求解出相机内参数及两摄像头之间相对位姿关系。

完成相机标定后，采集工件图像b，并对图像进行自校正，提高图像质量，便于后续模板匹配。为提高模板匹配准确率与效率，本文采用基于几何特征的模板分割匹配算法，完成对母线金具面板的识别。具体步骤如下：

(1)创建金具面板模板，如图2所示，并预存至程序中。这里的金具面板模板即为本发明技术方案中的第一模板。

(2)几何特征的模板分割匹配。从整幅图像中搜索金具面板模板并记录模板中心点在整幅图像上的坐标^bt(tbu,tbv)。

然后将金具面板上的螺孔作为局部特征，创建螺孔模板(螺孔模板即为本发明技术方案中所述的第二模板)。从第一次搜索到的母线金具面板模板图像中搜索螺孔模板，记录螺孔模板在母线金具面板模板图像中的中心点位置坐标^ts1(stu1,stv1)、^ts2(stu2,stv2)、^ts3(stu3,stv3)、^ts4(stu4,stv4)。

通过线性坐标转换将金具面板模板图像下螺孔模板中心位置坐标转换成整幅图像的坐标^bs1(sbu1,sbv1)、^bs2(sbu2,sbv2)、^bs3(sbu3,sbv3)、^bs4(sbu4,sbv4)。线性坐标转换的步骤如下：

原图大小为wb*hb，金具面板模板大小为wt*ht，在金具面板模板图像中匹配到的螺孔模板中心坐标分别为^ts1(stu1,stv1)、^ts2(stu2,stv2)、^ts3(stu3,stv3)、^ts4(stu4,stv4)，则通过线性坐标转换，将金具面板模板图像中螺孔模板中心坐标，转换为原图像中的螺孔模板中心坐标^bs1(sbu1,sbv1)、^bs2(sbu2,sbv2)、^bs3(sbu3,sbv3)、^bs4(sbu4,sbv4)，如图3所示。

对于求解得到的^bs1,^bs2^bs3,^bs4，分别以这四个点为圆心，指定半径r画圆，得到4个圆形区域。在圆形区域内进行拟合弧，可以得到弧的圆心o1,o2,o3,o4。拟合弧的过程如下：

椭圆的方程可以表述为公式(7)：

ax²+bxy+cy²+dx+ey+f＝0(7)

根据上式，只需要轮廓边缘上的5个点即可确定椭圆参数。对于整条边缘曲线而言，可以使用最小二乘法进行求取。直接应用上述方程对边缘检测后的离散点进行最小二乘处理，就可以得到方程中的各系数，计算公式如公式(8)：

再由极值原理，欲使f(a,b,c,d,e)的值最小，得到公式(9)：

由此可得一个线性方程组，然后利用求解线性方程组的方法就可以求得系数a、b、c、d、e、f的值。

根据a、b、c、d、e、f的值即可求解椭圆中心坐标(x0,y0)，如公式(10):

由于左右图像分别会得到4个拟合的圆心，将左右图像的4个圆心运用立体匹配方法进行匹配后，采用最小二乘法即可以求出4个圆心的三维坐标。

三维坐标的提取步骤如下：

假设母线金具表面圆孔中心为点p(x,y,z)，在两个摄像头平面上的成像坐标分别是pl(ul,vl)和pr(ur,vr)，根据针孔成像模型，有公式(11)：

其中ml、mr分别为左右两个相机的投影矩阵。对上式分别消去zl、zr得公式(12)：

ap＝b(12)

上式中：p＝[xyz]^t根据最小二乘法，求得世界坐标系下的p点的三维坐标，如公式(13)：

p＝(a^ta)^-1a^tb(13)

上式中，矩阵a、b均是已知的，分别带入标定求解出的ml,mr及左右图像对应拟合出来的螺孔形心像素坐标，即可求解出4个螺孔的三维坐标r1,r2,r3,r4。根据4个螺孔三维坐标，求出金具面板形心坐标。求解方法如下：

设r1(x1,y1,z),r2(x2,y2,z),r3(x3,y3,z),r4(x4,y4,z)为4个螺孔三维坐标，则有公式(14)：

金具面板形心坐标为o(x,y,z)，其中各坐标值计算公式如公式(15)：

由此求解得到精确的金具面板形心三维坐标o(x,y,z)，完成工件定位。

请参见图4，图4是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种基于二次模板匹配的工件定位设备401、处理器402及存储设备403。

一种基于二次模板匹配的工件定位设备401：所述一种基于二次模板匹配的工件定位设备401实现所述一种基于二次模板匹配的工件定位方法。

处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种基于二次模板匹配的工件定位方法。

存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种基于二次模板匹配的工件定位方法。

本发明的有益效果是：本发明采用的两次模板匹配的方法提高了定位的速度与精确度，适用于大部分工件，同时还可以利用多次模板分割来根据实际情况不断地进行调整与优化，实用性强。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。