一种电子元件定位方法及装置与流程

本发明涉及自动光学检测领域，尤其涉及一种电子元件定位方法及装置。

背景技术：

自动光学检测是工业制作过程的必要环节，利用光学方式取得成品的表面状态，以影像处理来检测异物或表面瑕疵。电子元件的错、漏、反检测是电路板缺陷检测领域中的一种常见应用，机器通过摄像头自动扫描电路板获取图像，提取每个电子元件的局部图像，并通过图像处理技术，判断电子元件是否存在错、漏、反缺陷，最后将疑似缺陷的元件显示或标记出来，方便查看与检修。

在传统的自动光学检测(Automatic Optic Inspection，AOI)系统中，电子元件的精确定位主要是通过彩色图像的模板匹配得到的，也即是通过工人制版时得到的电子元件的模板图片在待搜索的区域进行搜索匹配，以得到电子元件的定位信息。但是传统的定位方法容易受到模板图像中局部区域(如电子元件上的丝印，电子元件上易形变部位等)变化的影响，使得定位的结果出现偏差。

技术实现要素：

针对上述问题，本发明的目的在于提供一种电子元件定位方法及装置，在进行电子元件的定位时，可保证定位结果的准确性。

本发明提供了一种电子元件定位方法，包括：

基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，从相应于所述子模板图的待定位图片中获取包含所述待定位电子元件的目标图片；

将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度；

从所述的一组多模板匹配度中选取目标匹配度，并获取对应于所述目标匹配度的各个子模板图的匹配坐标；

根据所述各个子模板图的匹配坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置及预设的所述待定位电子元件的尺寸，生成定位结果。

优选地，所述子模板图为位于制版的板卡图片中的待定位电子元件的稳定区域的图片，或者为所述制版的板卡图片中的靠近所述待定位电子元件的稳定区域的图片。

优选地，所述基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，从相应于所述子模板图的待定位图片中获取包含所述待定位电子元件的目标图片，具体为：

基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，生成包围所述的至少两张子模板图的最小矩形区域；

对所述最小矩形区域扩展预定的宽度，生成截取窗口；

以所述截取窗口从待定位图片上截取出包含所述待定位电子元件的目标图片。

优选地，所述将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度，包括：

在目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值；

根据每个所述子模板图的匹配值，生成当前的多模板匹配度；

在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度，包括：

在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值；

根据各个子模板图之间的相对位置信息，计算在当前覆盖的区域下，各个子模板图之间的几何约束值；

根据每个所述子模板图的匹配值及所述几何约束值，生成当前的多模板匹配度；

在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述根据所述各张子模板图的匹配坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置及预设的所述待定位电子元件的尺寸，生成定位结果，具体为：

根据所述各个子模板图的匹配坐标，计算得到各张子模板图覆盖的区域的中心点坐标；

根据所述各张子模板图覆盖的区域的中心点坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置，获得所述待定位电子元件的中心点坐标；

根据所述待定位电子元件的中心点坐标及预设的所述待定位电子元件的宽和高，生成定位结果。

本发明还提供了一种电子元件定位装置，包括：

目标图片获取单元，用于基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，从相应于所述子模板图的待定位图片中获取包含所述待定位电子元件的目标图片；

多模板匹配单元，用于将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度；

匹配度选取单元，用于从所述的一组多模板匹配度中选取目标匹配度，并获取对应于所述目标匹配度的各个子模板图的匹配坐标；

定位单元，用于根据所述各个子模板图的匹配坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置及预设的所述待定位电子元件的尺寸，生成定位结果。

优选地，所述目标图片获取单元具体包括：

包围区域生成模块，用于基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，生成包围所述的至少两张子模板图的最小矩形区域；

扩展模块，用于对所述最小矩形区域扩展预定的宽度，获取截取窗口；

截取模块，用于以所述截取窗口从待定位图片上截取出包含所述待定位电子元件的目标图片。

优选地，所述多模板匹配单元具体包括：

第一匹配模块，用于在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值；

第一多模板匹配计算模块，用于根据每个所述子模板图的匹配值，生成当前的多模板匹配度；其中，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述多模板匹配单元具体包括：

第二匹配模块，用于在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值；

几何约束计算模块，用于根据各个子模板图之间的相对位置信息，计算在当前覆盖的区域下，各个子模板图之间的几何约束值；

第二多模板匹配计算模块，用于根据每个所述子模板图的匹配值及所述几何约束值，生成当前的多模板匹配度；其中，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述定位单元具体包括：

第一中心坐标计算模块，用于根据所述各个子模板图的匹配坐标，计算得到各张子模板图覆盖的区域的中心点坐标；

第二中心坐标计算模块，用于根据所述各张子模板图覆盖的区域的中心点坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置，获得所述待定位电子元件的中心点坐标；

定位模块，用于根据所述待定位电子元件的中心点坐标及预设的所述待定位电子元件的宽和高，生成定位结果。

本发明提供的电子元件定位方法及装置，通过利用与待定位电子元件相关的至少两个子模板图与目标图片同时进行匹配的方法对待定位电子元件进行定位，而不直接采用整个待定位电子元件的模板图像进行定位，因此可避免所述待定位电子元件上的易变化区域对定位结果的影响，保证定位结果的准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的电子元件定位方法的流程示意图。

图2是本发明实施例提供的一种制版的板卡图片的示意图。

图3是本发明实施例提供的电子元件定位装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供一种电子元件定位方法，用于从包含有待定位电子元件的目标图片中精确定位出待定位电子元件的位置。其中，所述电子元件定位方法可由电子元件定位装置来执行，并包括如下步骤：

S101，基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，从相应于所述子模板图的待定位图片中获取包含所述待定位电子元件的目标图片。

在本发明实施例中，在对位于待定位图片内的待定位电子元件进行定位之前，需先获取与所述待定位电子元件相关的至少两张子模板图。其中，所述子模板图从制版的板卡图片上截取得到，所述待定位图片则是与制版的板卡同一类型的板卡的图片。

如图2所示，图2为本发明实施例提供的一种制版的板卡图片的示意图。其中，01为从所述板卡图片上获取的第一张子模板图，02为从所述板卡图片上获得的第二张子模板图。在本发明实施例中，所述子模板图为待定位电子元件的特定区域的图片，或者是所述板卡图片上的靠近所述待定位电子元件的区域的图片。特别的，所述的至少两张子模板图为位于制版的板卡图片中的与所述待定位电子元件对应的稳定区域的图片，即所述子模板图的选取原则是要避开那些容易变化的区域，如卧式电容上变化的丝印，变压器上变化的塑料纸等，而选择那些较为稳定的区域，即选择那些不容易出现变化的区域，因为容易变化的区域在不同板卡上可能会有所区别，进而会影响最终定位的精度。

在本发明实施例中，一般地，选取的所述子模板图的形状为矩形，在选取的时候，还需要同时获取每张子模板图的位置信息，如每张子模板图的中心点坐标及各个顶点的坐标等，从而可以根据所述位置信息从相应于所述子模板图的待定位图片中确定包含所述待定位电子元件的目标图片03。

具体地，可通过如下方法进行确定：

首先，基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，生成包围所述的至少两张子模板图的最小矩形区域。

其中，所述最小矩形区域可通过获取各个子模板图的顶点的坐标，并选取位于最外侧的顶点的坐标来构造得到。

然后，对所述最小矩形区域扩展预定的宽度，生成截取窗口。

例如，沿所述最小矩形区域的四条边向外扩展30或N个像素，生成截取窗口03。

最后，以所述截取窗口从待定位图片上截取出包含所述待定位电子元件的目标图片。

需要说明的是，在制版的板卡图片上，还需确定待定位电子元件04的位置信息，如中心点坐标(x，y)以及宽w、高h等。这些位置信息由用户根据所述待定位电子元件的实际形状在所述制版的板卡图片框选得到，其用处是获取制版的板卡图片上，所述子模板图与所述待定位电子元件的相对位置。

例如，假设所述第一张子模板图片01在所述板卡图片上的中心点坐标是(x_{1_ori}，y_{1_ori})，所述第二张子模板图片02在所述板卡图片上的中心点坐标是(x_{2_ori}，y_{2_ori})，则各个子模板图与所述待定位电子元件的相对位置为：

其中，x_center＝(x_{1_ori}+x_{2_ori})/2,y_center＝(y_{1_ori}+y_{2_ori})/2。

S102，将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度。

具体地，可包括如下步骤：

S1021，在目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值。

S1022，根据每个所述子模板图的匹配值，生成当前的多模板匹配度。

S1023，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

具体地：

首先，同时将多张子模板图(假设为两张)叠放于所述目标图片的左上角(或任意一个角)，并分别计算其与当前覆盖的区域的匹配值。然后保持第二张子模板图位置不变，移动第一张所述子模板图，且每次向右(或向下)移动一个像素的距离(到边界后自动跳转下一行，并改变移动方向)，其中，每移动一次第一张子模板图，都计算一次第一张子模板图与当前覆盖的区域的匹配值。

接着，在所述第一张子模板图遍历所述目标图片并回到左上角的位置后，移动一次所述第二张子模板图，并重新计算所述第二张子模板图与当前覆盖的区域的匹配值，此后，再让所述第一张子模板图再遍历一次目标图片，依此循环，直到所述第二张子模板图移动到所述目标图片的右下角。

在本发明实施例中，每移动一次子模板图都会计算一次多模板匹配度，这样，在移动多次后，将生成一组多模板匹配度。其中，假设第一张子模板与当前覆盖的区域的匹配值为R₁(x₁,y₁)，第二张子模板与当前覆盖的区域的匹配值为R₂(x₂,y₂)，则当前的多模板匹配度为R(x₁,y₁,x₂,y₂)＝R₁(x₁,y₁)+R₂(x₂,y₂)。

在本发明实施例中，计算所述匹配值可有如下几种方法：

(1)平方差匹配

其中，R(x，y)为匹配值，T表示子模板图，I表示所述子模板图当前覆盖的区域，x'，y'分别是子模板图T中x、y坐标的值。

(2)标准平方差匹配

(3)相关匹配

这类方法采用模板和图像间的乘法操作,所以较大的数表示匹配程度较高，0标识最坏的匹配效果。

(4)标准相关匹配

(5)相关匹配method＝CV_TM_CCOEFF

这类方法将模版对其均值的相对值与图像对其均值的相关值进行匹配，1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性(随机序列)。

其中：

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑_x″，y″T(x″，y″)

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑_x″，y″I(x+x″，y+y″)

(6)标准相关匹配：

当然，还可有其他的匹配算法，本发明不做具体限定。

S103，从所述的一组多模板匹配度中选取目标匹配度，并获取与所述目标匹配度对应的匹配位置信息。

在本发明实施例中，所述的目标匹配度可以是所述的一组多模板匹配度中的最大值或最小值，其具体情况根据选取的匹配算法的类型决定。若选取的匹配算法的匹配值越大代表相似度越大，则选取所述的一组多模板匹配度中的最大值作为目标匹配度，反之，则选取所述的一组多模板匹配度中的最小值作为目标匹配度。

在本发明实施例中，每个多模板匹配度还对应于一组匹配坐标，即所述的至少两个子模板覆盖的目标图片的区域的坐标范围。在获得所述目标匹配度后，还需同时获取每个子模板覆盖的目标图片的区域的坐标范围，即获取匹配坐标(即与所述目标匹配度对应的(x₁，y₁)，(x₂，y₂)，其中，这里的(x₁，y₁)表示第一张子模板图01所得到的响应矩阵的所有坐标；(x₂，y₂)表示第二张子模板图02所得到的响应矩阵的所有坐标)。

S104，根据所述匹配位置信息及预设的所述待定位电子元件与所述的至少两张子模板图的相对位置，生成定位结果。

具体地：

S1041，根据所述各个子模板图的匹配坐标，计算得到各张子模板图覆盖的区域的中心点坐标。

在本发明实施例中，在获得所述匹配坐标后，即可获得各张子模板图当前覆盖的区域的中心点坐标，如可通过所述响应矩阵的两个相对的顶点的坐标求得各张子模板图覆盖的区域的中心点坐标。

S1042，根据所述中心点坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置，获得所述待定位电子元件的中心点坐标

在本发明实施例中，假设与所述第一张子模板图对应的区域的中心点坐标为(x_1c,y_1c)，与所述第二张子模板图对应的区域的中心点坐标为(x_2c,y_2c)，则所述待定位电子元件的中心点坐标(x_final，y_final)为：

S1043，根据所述待定位电子元件的中心点坐标及预设的所述待定位电子元件的宽和高，生成定位结果

在本发明实施例中，在获得所述待定位电子元件的中心点坐标后，即可以根据所述待定位电子元件的宽w和高h确定出所述待定位电子元件的位置，其中，所述待定位电子元件的宽w和高h在制版时已知，它们的大小不会发生变化。

综上所述，本发明实施例提供的电子元件的定位方法，通过利用与待定位电子元件相关的至少两个子模板图与目标图片同时进行匹配的方法对待定位电子元件进行定位，而不直接采用整个待定位电子元件的模板图像进行定位，因此可避免所述待定位电子元件上的易变化区域对定位结果的影响(例如，在制版的板卡图像上获取的待定位电子元件的模板图与实际的需要定位的板卡上待定位电子元件不完全相同，例如电子元件上的丝印，电子元件上易形变部位可能会略有不同)，保证定位结果的准确性。

为了便于对本发明的理解，下面将对本发明的一些优选实施例做更进一步的描述。

优选地，步骤S102还可包括：

S1024，根据预设的移动规则在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值。

S1025，根据各个子模板图之间的相对位置信息，计算在当前覆盖的区域下，各个子模板图之间的几何约束值。

S1026，根据每个所述子模板图的匹配值及所述几何约束值，生成当前的多模板匹配度。

S1027，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

在本优选实施例中，在计算所述多模板匹配度的时候，还同时考虑多个模板图像之间的几何距离约束关系，具体地，所述多模板匹配度的计算公式如下：

其中R₁(x,y)和R₂(x,y)分别对应第一张子模板图01、第二张子模板图02的匹配值，Δx，Δy分别表示制版时设定的第一张子模板图01和第二张子模板图02中预定位置(如左上角坐标)的差值。λ是一个系数，该系数表示几何约束的权重，其值越小，表示几何约束影响越小。

在本优选实施例中，通过引入几何约束值来惩罚个别子模板图定位出错的情况，其原理是：在原始状态下面，各个子模板之间的位置关系是确定的，也即是说当定位精准的话，应该有下面的关系：

如果有某个子模板图定位出现偏移，那么就会使得上式不再成立，这个时候就会使得：

也就是说，这会使得多模板匹配度R(x₁，y₁，x₂，y₂)的匹配度下降，也即达到惩罚子模板定位出现偏移的作用。

其中λ的正负与模板匹配的匹配度评价方法相关，当使用平方差匹配/标准平方差匹配时，λ<0；当使用相关匹配/标准相关匹配时，λ>0。

本优选实施例中，通过引入几何距离约束来惩罚个别子模板定位出错的情况，使得定位结果更准确。

请参阅图3，本发明实施例还提供一种电子元件定位装置100，包括：

目标图片获取单元10，用于基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，从相应于所述子模板图的待定位图片中获取包含所述待定位电子元件的目标图片。

多模板匹配单元20，用于将所述的至少两张子模板图与所述目标图片进行匹配，并根据每张所述子模板图在所述目标图片的匹配值，生成一组多模板匹配度。

匹配度选取单元30，用于从所述的一组多模板匹配度中选取目标匹配度，并获取对应于所述目标匹配度的各个子模板图的匹配坐标；

定位单元40，用于根据所述各个子模板图的匹配坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置及预设的所述待定位电子元件的尺寸，生成定位结果。

优选地，所述目标图片获取单元10具体包括：

包围区域生成模块11，用于基于预先选取的与待定位电子元件对应的至少两张子模板图的位置信息，生成包围所述的至少两张子模板图的最小矩形区域。

扩展模块12，用于对所述最小矩形区域扩展预定的宽度，获取截取窗口。

截取模块13，用于以所述截取窗口从待定位图片上截取出包含所述待定位电子元件的目标图片。

优选地，所述多模板匹配单元20具体包括：

第一匹配模块21，用于在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值。

第一多模板匹配计算模块22，用于根据每个所述子模板图的匹配值，生成当前的多模板匹配度；其中，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述多模板匹配单元20具体包括：

第二匹配模块23，用于在所述目标图片上移动各个子模板图，并获取每个所述子模板图与当前覆盖的目标图片的区域的匹配值。

几何约束计算模块24，用于根据各个子模板图之间的相对位置信息，计算在当前覆盖的区域下，各个子模板图之间的几何约束值。

第二多模板匹配计算模块25，用于根据每个所述子模板图的匹配值及所述几何约束值，生成当前的多模板匹配度；其中，在当所述的至少两张子模板图均遍历所述目标图片的所有区域后，生成一组多模板匹配度。

优选地，所述定位单元40具体包括：

第一中心坐标计算模块41，用于根据所述各个子模板图的匹配坐标，计算得到各张子模板图覆盖的区域的中心点坐标。

第二中心坐标计算模块42，用于根据所述各张子模板图覆盖的区域的中心点坐标、预设的所述待定位电子元件与所述的至少两张子模板图的相对位置，获得所述待定位电子元件的中心点坐标。

定位模块43，用于根据所述待定位电子元件的中心点坐标及预设的所述待定位电子元件的宽和高，生成定位结果。

本发明提供的电子元件定位装置100，通过利用至少两个子模板图与目标图片同时进行匹配的方法对待定位电子元件进行定位，而不直接采用整个待定位电子元件的模板图像进行定位，因此可避免所述待定位电子元件上的易变化区域对定位结果的影响，保证定位结果的准确性。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。