一种多特征融合的图像匹配方法与流程

本发明属于图像处理技术领域，具体涉及一种多特征融合的图像匹配方法。

背景技术：

图像匹配是图像处理和计算机视觉行业中常见的技术，该技术经常应用于图像的拼接、目标的跟踪，以及图像识别领域。

常规的图像匹配方法，主要分成两大类——基于兴趣点的局部匹配，以及基于图像块的相似性计算。这两类方法，要么对坐标点的位置偏移比较敏感，要么计算量过大，匹配过程耗时严重。

技术实现要素：

本发明针对现有技术的缺陷和不足，提出一种多特征融合的图像匹配方法。

本发明采用的技术方案如下：

一种多特征融合的图像匹配方法，其特征在于，包括以下步骤：

1)、确定匹配特征，对目标图像进行处理获取匹配特征，所述的匹配特征包括兴趣点特征、边缘特征、区域特征以及hog特征；

具体如下：

(1)、兴趣点检测处理：使的susan算子检测目标图像兴趣点，对兴趣点进行筛选，使得与模板图尺寸相同的范围内，兴趣点数目在30个左右，获得用于匹配的兴趣点；

(2)、边缘提取处理：对目标图像利用canny边缘检测算法，提取其中的边缘，并且对距离较近的断裂边缘进行拼接，形成更长的边缘，同时将t字形边缘和十字形边缘打断成边缘子线段，获得待匹配边缘；

(3)、区域提取处理：采用mser算法提取目标图像中的稳定一致性区域，然后将这些区域都存下来，获得用于后续的匹配的稳定性区域；

(4)、hog积分图计算：计算目标图像的梯度图，然后计算每一个像素位置的梯度方向，设置梯度方向直方图中的角度种类数为9，根据每个像素的梯度方向所属的角度种类，计算其对应的梯度方向积分图，获得hog积分图；

2)、借助目标图像和模板图像的hog特征的初步对比，确定模板图像和目标图像不同位置的相似程度，根据相似程度排序选定模板图像上匹配目标图像的多个位置区域作为精确搜索候选区域；

具体如下：

(1)、提取模板图像图像的hog特征，得到模板图像总特征：将模板图像分成3*3个子方格，计算每个子方格内的梯度方向直方图，然后将所有方格内的特征进行拼接，得到模板图像总特征；特征的维度是3*3*9＝81.

(2)、在当前图像上设定步长间隔为20，每隔20个像素选定一个图像子块，每个像素间隔点叫粗定位点，将模板图像总特征和每个粗定位点的当前图像子块的hog特征进行相似性计算；具体为：计算当前图像每个粗定位点处的图像子块的hog特征，与模板图进行比较，通过当前位置的hog特征和与模板图特征的欧式距离判定对当前图像中不同粗定位点区域和模板图的相似度，欧式距离越小，则相似度越高；

(3)、对当前图像中不同粗定位点区域和模板图的相似度从高到低进行排序，选择相似度高的粗定位点位置区域作为后续精确搜索匹配用的候选位置区域，这里选择5个。

3)、在目标图像的每个候选位置区域内进行目标图像和模板图像的兴趣点、边缘、区域匹配，并记录目标图像上每个兴趣点、边缘、区域和模板图像的匹配相似度；

在每个候选位置区域内精确设定搜索范围，具体以粗定位点为中心，向四周各扩展50个像素，作为搜索范围，然后以该范围内的每一个像素点作为中心，依次进行兴趣点匹配、边缘匹配、区域匹配实现模板图像上目标图像最佳匹配位置的精细搜索；

(1)所述兴趣点匹配过程如下：

(a)在兴趣点周边9*9的方格内，计算方块lbp特征；

(b)在目标图像中的当前像素位置，遍历模板图中的每一个兴趣点；具体为针对模板兴趣点，在当前像素位置周边5个像素范围内，搜索是否存在目标兴趣点；如果存在，则找到匹配度最高的那一个点；记录下该点的相似度和到粗定位点的欧式距离；

(c)若当前像素位置不存在能够匹配的模板兴趣点的兴趣点，则进行特殊标记；

(d)遍历过程中降低重复匹配：由于在初定位位置的周边，进行的是逐像素的相似度计算，因此在搜索兴趣点匹配对时，存在重复计算；用如下方法去除重复计算：模板图中每一个进行过匹配的兴趣点对，都需要记录下其匹配的相似度和彼此的位置；在下一个像素位置在进行配对时，先检查该目标兴趣点，是否在上一个像素点位置已经计算过，就可以去除重复计算；

(2)所述边缘的匹配过程如下：

根据边缘的形状，以及边缘两侧的图像内容衡量边缘之间的相似性，具体过程如下：

(a)目标图像块边缘子线段的更新：虽然目标图中的边缘，已经利用canny算子提前计算好，并且已经将子线段拆分，但是在匹配过程中，还需要根据模板图矩形框的当前位置，对各区域位置和范围进行重新计算；

(b)边缘子线段形状相似度计算：在子线段上，计算所有边缘点位置的曲率,将曲率较大的点作为关键点，通过缩放、平移、旋转三个步骤，将首尾两个关键点的位置重合之后，就计算其余的每一对关键点之前的欧式距离，将平均欧式距离作为对形状相似度的衡量；

(c)边缘子线段两侧内容的提取及相似度计算：在每个关键点的两侧，各选取一个9*9大小的矩形框，两个矩形框的中心的连线，经过关键点，并且与轮廓垂直。提取矩形框内的hog特征；在计算相似度时，分别计算每一个对应位置的矩形框的hog特征的欧式距离，将其作为对内容相似度的衡量；

(d)子线段距离的计算：子线段之间的距离，就是两个子线段的重心之间的欧式距离；

(3)所述区域匹配过程如下：

通过色彩直方图、外部轮廓、重叠程度等三个方面进行区域之间的相似度的计算和匹配，具体过程如下：

(a)根据模板图对应的矩形框位置，对目标图的区域进行位置和范围更新；虽然目标图中的区域，已经利用mser算子提前计算好，但是在匹配过程中，还需要根据模板图矩形框的当前位置，对各区域位置和范围进行重新计算；

(b)提取目标图各区域的色彩直方图；

(c)更新目标图各区域的轮廓；

(d)计算色彩相似度；

计算模板图中各区域的色彩直方图，与目标图色彩直方图之间的欧式距离。利用该欧式距离来衡量相似度；

(e)计算形状相似度；

形状相似度通过区域的外部轮廓来进行比较。将两个轮廓的重心进行重合，然后计算关键轮廓点之间的距离。计算平均距离，用来衡量相似度的大小；

(f)计算重叠面积；

相似度的另一个衡量准则，是两个区域之间的重叠面积，相对于二者合并面积的比值，比值越大，相似度越高；

(g)总的区域相似度以及距离计算

区域相似度由色彩相似度、形状相似度、重叠度三个部分相加得到；模板区域与目标区域的距离，就是它们的重心的欧式距离；

4)、将步骤3)得到的模板图像上每个候选区域内的不同位置的每个兴趣点、边缘、区域和目标图像的匹配相似度进行融合，得到模板图像不同位置和目标图像的总相似度；具体为每一个特征为fi，它对应的相似度为si，其距离为di，则最终的总的相似度s按照下式进行计算：

s＝sum(si/di)

5)、根据总相似度，确定模板图像和目标图像匹配最佳位置：在5个候选区域内，找到相似度最高的位置，作为最终的匹配位置，至此，基于多特征综合的图像匹配完成。

本发明通过多特征融合的计算图像相似度，实现图像匹配，不仅能够发挥局部特征描述精准的优势，同时又解决了对空间位置偏移敏感的缺陷。同时，由于避免了全图所有像素匹配时密集计算，算法的速度完全可以满足实时要求。

附图说明

图1是本发明流程图。

图2是本发明区域匹配流程图

具体实施方式

如图1所示的多特征融合的图像匹配方法，其特征在于，包括以下步骤：

1)、目标图像特征准备：考虑到目标图像和模板图像进行匹配实，要用到一些特征，本发明中，采用兴趣点、边缘、区域以及hog特征四个特征，所以先对目标图像进行兴趣点检测、边缘提取、区域提取处理以及目标图像的梯度方向积分图的计算完成目标图像特征准备，获得兴趣点、边缘、稳定区域以及目标图hog积分图作为待匹配特征，具体如下：

(1)、兴趣点检测处理：使的susan算子检测目标图像兴趣点，采用susan算子可以得到精度较高的兴趣点，然后对兴趣点进行筛选，使得与模板图尺寸相同的范围内，兴趣点数目在30个左右，获得用于匹配的兴趣点，满足匹配的需求；

(2)、边缘提取处理：对目标图像利用canny边缘检测算法，提取其中的边缘，并且对距离较近的断裂边缘进行拼接，形成更长的边缘，同时将t字形边缘和十字形边缘打断成边缘子线段，获得待匹配边缘；

(3)、区域提取处理：采用mser算法提取目标图像中的稳定一致性区域，然后将这些区域都存下来，获得用于后续的匹配的稳定性区域；

(4)、计算目标图像的hog积分图：先计算目标图像的梯度图，设置梯度方向直方图中的角度种类数，然后计算每一个像素位置的梯度方向，获得hog积分图，具体操作时设置梯度方向直方图中的角度种类数为9，根据每个像素的梯度方向所属的角度种类，计算其对应的梯度方向积分图，获得hog积分图；

2)、选定目标图像子块候选搜索区域的快速定位：结合hog将选定目标图像子块和模板图像进行初步比较，确定选定目标图像子块和模板图像的相似程度，根据相似程度进行排序确定模板图像上作为选定目标图像子块位置精确搜索的候选搜索区域；具体如下：

(1)、提取模板图像图像的hog特征，得到模板图像总特征：将模板图像分成3*3个子方格，计算每个子方格内的梯度方向直方图，然后将所有方格内的特征进行拼接，得到模板图像总特征；特征的维度是3*3*9＝81.

(2)、在当前图像上设定步长间隔为20，每隔20个像素选定一个图像子块，每个像素间隔点叫粗定位点，将模板图像总特征和每个粗定位点的当前图像子块的hog特征进行相似性计算；具体为：计算当前图像每个粗定位点处的图像子块的hog特征，与模板图进行比较，通过当前位置的hog特征和与模板图特征的欧式距离判定对当前图像中不同粗定位点区域和模板图的相似度，欧式距离越小，则相似度越高；

(3)、对当前图像中不同粗定位点区域和模板图的相似度从高到低进行排序，选择相似度高的粗定位点位置区域作为后续精确搜索匹配用的候选位置区域，这里选择5个。

3)、在步骤2)得到的所有候选搜索区域，针对每个像素点以及该像素点所在搜索范围进行选定目标图像子块和候选搜索区域的兴趣点匹配、边缘匹配以及区域匹配，进行选定目标图像子块在模板图像上的最佳匹配位置精细搜索，并确定选定目标图像子块与模板图像上的最佳匹配位置像之间的兴趣点、边缘、区域的相似度和欧式距离；具体如下：

在步骤2)得到的5个相似度较高的候选精确搜索位置，设定搜索范围(以粗定位点为中心，向四周各扩展50个像素，作为搜索范围)，然后以该范围内的每一个像素点作为中心，依次进行兴趣点匹配、边缘匹配、区域匹配实现选定目标图像子块最佳位置的精细搜索；

(1)所述兴趣点匹配过程如下：

(a)在兴趣点周边9*9的方格内，计算方块lbp特征；

(b)在目标图像中的当前像素位置，遍历模板图中的每一个兴趣点；具体为针对模板兴趣点，在当前像素位置周边5个像素范围内，搜索是否存在目标兴趣点；如果存在，则找到匹配度最高的那一个点；记录下该点的相似度和到粗定位点的欧式距离；

(c)若当前像素位置不存在能够匹配的模板兴趣点的兴趣点，则进行特殊标记；

(d)遍历过程中降低重复匹配：由于在初定位位置的周边，进行的是逐像素的相似度计算，因此在搜索兴趣点匹配对时，存在重复计算；用如下方法去除重复计算：模板图中每一个进行过匹配的兴趣点对，都需要记录下其匹配的相似度和彼此的位置；在下一个像素位置在进行配对时，先检查该目标兴趣点，是否在上一个像素点位置已经计算过，就可以去除重复计算；

(2)所述边缘匹配过程如下：

根据边缘的形状，以及边缘两侧的图像内容衡量边缘之间的相似性，具体过程如下：

(a)首先进行目标图像块边缘子线段更新：虽然目标图中的边缘，已经利用canny算子提前计算好，并且已经将子线段拆分，但是在匹配过程中，还需要根据模板图矩形框的当前位置，对各区域位置和范围进行重新计算；

(b)边缘子线段形状相似度计算：在子线段上，计算所有边缘点位置的曲率,将曲率较大的点作为关键点，通过缩放、平移、旋转三个步骤，将首尾两个关键点的位置重合之后，就计算其余的每一对关键点之前的欧式距离，将平均欧式距离作为对形状相似度的衡量；

(c)边缘子线段两侧内容的提取及相似度计算：在每个关键点的两侧，各选取一个9*9大小的矩形框，两个矩形框的中心的连线，经过关键点，并且与轮廓垂直，提取矩形框内的hog特征；在计算相似度时，分别计算每一个对应位置的矩形框的hog特征的欧式距离，将其作为对内容相似度的衡量；

(d)子线段距离的计算：子线段之间的距离，就是两个子线段的重心之间的欧式距离；

(3)所述区域匹配过程如下：

通过色彩直方图、外部轮廓、重叠程度等三个方面进行区域之间的相似度的计算和匹配，具体过程如下：

(a)根据模板图对应的矩形框位置，对目标图的区域进行位置和范围更新；虽然目标图中的区域，尽管目标图区域已经利用mser算子提前计算好，但是在匹配过程中，还需要根据模板图矩形框的当前位置，对各区域位置和范围进行重新计算；

(b)提取目标图各区域的色彩直方图；

(c)更新目标图各区域的轮廓；

(d)计算色彩相似度：计算模板图中各区域的色彩直方图与目标图色彩直方图之间的欧式距离，利用该欧式距离来衡量相似度；

(e)计算形状相似度：形状相似度通过区域的外部轮廓来进行比较。将两个轮廓的重心进行重合，然后计算关键轮廓点之间的距离，计算所有关键轮廓点之间距离的平均距离，用来衡量相似度的大小；

(f)计算重叠面积：相似度的另一个衡量准则，是两个区域之间的重叠面积，相对于二者合并面积的比值，比值越大，相似度越高；

(g)总的区域相似度以及距离计算：区域相似度由色彩相似度、形状相似度、重叠度三个部分相加得到；模板区域与目标区域的距离，就是它们的重心的欧式距离；

4)、将目标图像的所有单独特征与模板图像相比得到的匹配相似度以及与模板图像距离，进行多特征融合得到相似度，并选择相似度最高的位置，作为最终匹配位置，具体如下：

将每一个兴趣点，每一条边缘，每一个区域，都当做一个单独的特征，在得到目标图像每一个单独特征与模板图像的匹配相似度，以及与模板图像的距离之后，将其融合起来，得到总的相似度，具体如下：

假设每一个特征为fi，它对应的相似度为si，其距离为di，则最终的总的相似度s按照下式进行计算：

s＝sum(si/di)

在5个候选区域内，找到相似度最高的位置，作为最终的匹配位置，至此，基于多特征综合的图像匹配完成。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。