一种图像匹配系统的制作方法

本发明涉及图像匹配领域，更具体地，涉及一种图像匹配系统。

背景技术：

随着科学技术的发展，图像匹配技术在近代信息处理领域中的应用范围越来越广泛。

常用的匹配方法为基于点的图像匹配方法，但是基于点的图像匹配方法存在匹配稳定性差、准确率低、匹配速度慢，不太富有语义、对用户不友好等缺点。

技术实现要素：

为了解决上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的图像匹配方法、系统及设备。

根据本发明实施例的第一方面，提供了一种图像匹配方法，包括：

获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；

获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；

基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；

在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

进一步，所述获取待匹配图像g1和g2中的各个低纹理密度子图像，之后还包括：

对各个低纹理密度子图像进行归一化处理；其中，所述归一化处理包括图像方向归一化处理、图像尺寸归一化处理和图像中梯度最大值归一化处理。

进一步，所述获得各个低纹理密度子图像的特征描述符，包括：

将归一化后的各低纹理密度子图像等分成m*m个孙子图像，其中m＞1；

获取各低纹理密度子图像的4m-4个孙子图像，将4m-4个孙子图像中每个孙子图像中每个像素的梯度大小按方向累加入u个主方向，u＞0；获得各低纹理密度子图像中4m-4个孙子图像的梯度直方图；

按逆时针或顺时针方向，分别将各低纹理密度子图像中4m-4个孙子图像的梯度直方图进行拼接，获得各个低纹理密度子图像的特征描述符。

进一步，所述分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性，包括：

获取g1和g2中两两相邻低纹理密度子图像共有的像素，即为g1和g2中两两相邻低纹理密度子图像的边；

获取各个边的属性；其中，边的属性包括：边对应两个相邻低纹理密度子图像中心组成线段q1q2的长度、边对应两个相邻低纹理密度子图像的码链、所述码链是否封闭和所述码链的长度与q1q2的长度的比值。

进一步，基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；包括：

分别将g1和g2中的各个低纹理密度子图像抽象成顶点，各个低纹理密度子图像间的边抽象成边，顶点和边构成g1和g2的无向图。

进一步，基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵，包括：

顶点间的相似度构成相似性矩阵中的点对；边对间的相似度构成相似性矩阵中的点对间的边。

在g1和g2的相似性矩阵中搜寻相似性最大的路径，按此路径确定g1和g2的匹配关系。

基于动态规划算法，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按此路径确定g1和g2的匹配关系。

根据本发明另一个方面，提供一种图像匹配系统，包括：

第一获取模块，用于获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；

第二获取模块，用于获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；

第三获取模块，用于基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；

计算模块，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

根据本发明的又一个方面，提供一种图像匹配的设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一所述的方法。

根据本发明的又一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一项所述的方法。

本发明提供一种图像匹配方法、系统及设备，本发明通过基于区域图像实现对图像的匹配。本发明具有相比基于点匹配的稳定性强、准确率高、匹配速度快，更富有语义、对用户友好等有益效果。

附图说明

图1为本发明实施例的一种图像匹配方法的整体流程示意图；

图2为本发明实施例的一种图像匹配系统的整体框架示意图。

图3是本发明实施例的一种图像匹配方法的设备框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1，示出本发明实施例一种图像匹配方法的总体流程示意图，包括：

s1，获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；

s2，获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；

s3，基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；

s4，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

具体地，各个低纹理密度子图像按现有技术中的分水岭算法找到区域间的界线，各个低纹理密度子图像至少大于n个像素。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，所述获取待匹配图像g1和g2中的各个低纹理密度子图像，之后还包括：对各个低纹理密度子图像进行归一化处理；其中，所述归一化处理包括图像方向归一化处理、图像尺寸归一化处理和图像中梯度最大值归一化处理。

以本实施例中图像方向归一化处理为例，首先获得低纹理密度子图像的图像方向：图像方向从图像的几何中心出发，指向图像的灰度中心，然后逆时针方向为正。首先通过以下现有方法计算出图像的灰度中心c，m是矩，矩mpq的计算由第二个式子说明。矩中的pq是参数，说明了矩的阶次，可以是任意整数。基于m计算出c。i(x,y)为图像灰度表达式。

mpq＝∑x,y∈rxpyqi(x,y)

图像方向计算如下：

将区域旋转θ，完成图像方向归一化处理。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，所述获得各个低纹理密度子图像的特征描述符，包括：

将归一化后的各低纹理密度子图像等分成m*m个孙子图像，其中m＞1；

获取各低纹理密度子图像的4m-4个孙子图像，将4m-4个孙子图像中每个孙子图像中每个像素的梯度大小按方向累加入u个主方向，u＞0；获得各低纹理密度子图像中4m-4个孙子图像的梯度直方图；

按逆时针或顺时针方向，分别将各低纹理密度子图像中4m-4个孙子图像的梯度直方图进行拼接，获得各个低纹理密度子图像的特征描述符。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，所述分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性，包括：

获取g1和g2中两两相邻低纹理密度子图像共有的像素，即为g1和g2中两两相邻低纹理密度子图像的边；

获取各个边的属性；其中，边的属性包括：边对应两个相邻低纹理密度子图像中心组成线段q1q2的长度、边对应两个相邻低纹理密度子图像的码链、所述码链是否封闭和所述码链的长度与q1q2的长度的比值。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；包括：

分别将g1和g2中的各个低纹理密度子图像抽象成顶点，各个低纹理密度子图像间的边抽象成边，顶点和边构成g1和g2的无向图。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵，包括：

顶点间的相似度构成相似性矩阵中的点对；边对间的相似度构成相似性矩阵中的点对间的边。

在本发明具体实施例中，相似性矩阵：顶点间的相似度构成相似性矩阵中的点对，g1中的i和zg2中的i’相似性为：

sv(i,i’)＝|ri-ri’’|

ri是g1中的i区域的属性；ri’是g2中的i’区域的属性。sv(i,i’)是两个区域间的相似性。

边对间的相似度构成相似性矩阵中的点对间的边。边对间的相似度就是码链中连续相同部分长度所占百分比：

se(eij¹,ei’j’²)＝d(eij¹,ei’j’²)/max(lij¹,li’j’²)

se(eij¹,ei’j’²)是两个边间的相似性，eij¹是g1中的i和j两区域间边的码链，ei’j’²是g2中的i’和j’两区域间边的码链，d(eij¹,ei’j’²)是两个码链相同的位数，max(lij¹,li’j’²)是两个码链的最大长度。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系，包括：

找到g1和g2间相应数量相匹配的边对，以使得g1和g2的相似性矩阵中相似性最大化。

在本发明具体实施例中，相似的区域，其边也应该相似。因此所谓图匹配，实际就是在矩阵中找到足够的连接点对的边对，相似性最大化：

。

在本发明上述任一具体实施例的基础上，提供一种图像匹配方法，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系，进一步包括：

基于动态规划算法，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

基于动态规划方法简化最大化的寻优过程：

s41,对图g1的所有区域的特征，求取图像特征空间质心gf；计算每个区域的属性到质心gf的距离。并生成直方图dishist，统计一次所有图像的直方图，看看特征的区分度。

gf＝mean(rf)

dr＝|rf-gf|

对图g1的所有区域，按到质心的距离降序排序，生成队列q1。取队列q1前k1/2个元素。

s42,对图g2的所有区域的特征，求取图像特征空间质心gf’；计算每个区域的属性到质心gf’的距离。并生成直方图dishist，统计一次所有图像的直方图，看看特征的区分度。

gf＝mean(rf)

dr＝|rf-gf|

对图g2的所有区域，按到质心的距离降序排序，生成队列q2。取队列q2前k1/2个元素。

s43,q1前k1/2个元素、q2前k1/2个元素共k1个元素，找到相似性最大的点对(ai,bi’)，相似性sv(ai,bi’)的值为：

sv(ai,bi’)＝max(sv(x,y))x＝{q1(1)q1(2)…q1(k1/2)},y＝{q2(1)

q2(2)…q2(k1/2)}。

s44,将匹配(ai,bi’)放入y中。在相似性矩阵中有边对相连的所有点对(aj,bj’)，(ak,bk’)……放入队列q2。

s45,对q2的每个元素，计算当前点对的相似性sv(aj,bj’)。舍弃小于阈值δs的点对。

计算q2的每个元素的道路相似性：

sp是此路径的相似性，是此元素之前已经确定加入匹配队列y中的点对的相似性加权累加。sv(ai,bi’)是前一点对的相似性，sv(aj,bj’)是当前点对的相似性，是前一点对与当前点对间边对的相似性。

对q2的元素按相似性排序，从中选择相似性最大的k1个匹配放入y中，并将与其有边对连接的点对也放入队列q2。

s46,重复s45,直到q2没有元素，从所有路径中选择路径相似性最大的路径，将其元素放入y中。

s47,重复s42、s43、s44、s45、s46直到取完q1中所有元素。

如图2，示出本发明实施例一种图像匹配系统的总体框架示意图，包括：

第一获取模块a1，用于获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；

第二获取模块a2，用于获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；

第三获取模块a3，用于基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；

计算模块a4，用于在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

具体地，各个低纹理密度子图像按现有技术中的分水岭算法找到区域间的界线，各个低纹理密度子图像区域至少大于n个像素。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，第一获取模块a1还用于：对各个低纹理密度子图像进行归一化处理；其中，所述归一化处理包括图像方向归一化处理、图像尺寸归一化处理和图像中梯度最大值归一化处理。

以本实施例中图像方向归一化处理为例，首先获得低纹理密度子图像的图像方向：图像方向从图像的几何中心出发，指向图像的灰度中心，然后逆时针方向为正。首先通过以下现有方法计算出图像的灰度中心c，m是矩，矩mpq的计算由第二个式子说明。矩中的pq是参数，说明了矩的阶次，可以是任意整数。基于m计算出c。i(x,y)为图像灰度表达式。

mpq＝∑x,y∈rxpyqi(x,y)

图像方向计算如下：

将区域旋转θ，完成图像方向归一化处理。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，所述第二获取模块a2进一步用于：

将归一化后的各低纹理密度子图像等分成m*m个孙子图像，其中m＞1；

获取各低纹理密度子图像的4m-4个孙子图像，将4m-4个孙子图像中每个孙子图像中每个像素的梯度大小按方向累加入u个主方向，u＞0；获得各低纹理密度子图像中4m-4个孙子图像的梯度直方图；

按逆时针或顺时针方向，分别将各低纹理密度子图像中4m-4个孙子图像的梯度直方图进行拼接，获得各个低纹理密度子图像的特征描述符。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，所述第二获取模块a2进一步用于：

获取g1和g2中两两相邻低纹理密度子图像共有的像素，即为g1和g2中两两相邻低纹理密度子图像的边；

获取各个边的属性；其中，边的属性包括：边对应两个相邻低纹理密度子图像中心组成线段q1q2的长度、边对应两个相邻低纹理密度子图像的码链、所述码链是否封闭和所述码链的长度与q1q2的长度的比值。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，第三获取模块a3进一步用于：

分别将g1和g2中的各个低纹理密度子图像抽象成顶点，各个低纹理密度子图像间的边抽象成边，顶点和边构成g1和g2的无向图。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，第三获取模块a3进一步用于：

顶点间的相似度构成相似性矩阵中的点对；边对间的相似度构成相似性矩阵中的点对间的边。

在本发明具体实施例中，相似性矩阵：顶点间的相似度构成相似性矩阵中的点对，g1中的i和zg2中的i’相似性为：

sv(i,i’)＝|ri-ri’’|

ri是g1中的i区域的属性；ri’是g2中的i’区域的属性。sv(i,i’)是两个区域间的相似性。

边对间的相似度构成相似性矩阵中的点对间的边。边对间的相似度就是码链中连续相同部分长度所占百分比：

se(eij¹,ei’j’²)＝d(eij¹,ei’j’²)/max(lij¹,li’j’²)

se(eij¹,ei’j’²)是两个边间的相似性，eij¹是g1中的i和j两区域间边的码链，ei’j’²是g2中的i’和j’两区域间边的码链，d(eij¹,ei’j’²)是两个码链相同的位数，max(lij¹,li’j’²)是两个码链的最大长度。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，计算模块a4进一步用于：

找到g1和g2间相应数量相匹配的边对，以使得g1和g2的相似性矩阵中相似性最大化。

在本发明具体实施例中，相似的区域，其边也应该相似。因此所谓图匹配，实际就是在矩阵中找到足够的连接点对的边对，相似性最大化：

。

在本发明上述任一具体实施例的基础上，提供一种图像匹配系统，计算模块a4进一步用于：

基于动态规划算法，在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

基于动态规划方法简化最大化的寻优过程：

s41,对图g1的所有区域的特征，求取图像特征空间质心gf；计算每个区域的属性到质心gf的距离。并生成直方图dishist，统计一次所有图像的直方图，看看特征的区分度。

gf＝mean(rf)

dr＝|rf-gf|

对图g1的所有区域，按到质心的距离降序排序，生成队列q1。取队列q1前k1/2个元素。

s42,对图g2的所有区域的特征，求取图像特征空间质心gf’；计算每个区域的属性到质心gf’的距离。并生成直方图dishist，统计一次所有图像的直方图，看看特征的区分度。

gf＝mean(rf)

dr＝|rf-gf|

对图g2的所有区域，按到质心的距离降序排序，生成队列q2。取队列q2前k1/2个元素。

s43,q1前k1/2个元素、q2前k1/2个元素共k1个元素，找到相似性最大的点对(ai,bi’)，相似性sv(ai,bi’)的值为：

sv(ai,bi’)＝max(sv(x,y))x＝{q1(1)q1(2)…q1(k1/2)},y＝{q2(1)

q2(2)…q2(k1/2)}。

s44,将匹配(ai,bi’)放入y中。在相似性矩阵中有边对相连的所有点对(aj,bj’)，(ak,bk’)……放入队列q2。

s45,对q2的每个元素，计算当前点对的相似性sv(aj,bj’)。舍弃小于阈值δs的点对。

计算q2的每个元素的道路相似性：

sp是此路径的相似性，是此元素之前已经确定加入匹配队列y中的点对的相似性加权累加。sv(ai,bi’)是前一点对的相似性，sv(aj,bj’)是当前点对的相似性，是前一点对与当前点对间边对的相似性。

对q2的元素按相似性排序，从中选择相似性最大的k1个匹配放入y中，并将与其有边对连接的点对也放入队列q2。

s46,重复s45,直到q2没有元素，从所有路径中选择路径相似性最大的路径，将其元素放入y中。

s47,重复s42、s43、s44、s45、s46直到取完q1中所有元素。

在本发明上述任一具体实施例的基础上，提供一种图像匹配的设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中图3是本发明实施例提供的电子设备的结构框图，包括：处理器(processor)310、存储器(memory)320和总线330，其中，处理器310，存储器320通过总线330完成相互间的通信。处理器310可以调用存储器320中的逻辑指令，以执行如下方法：获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

本发明实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取待匹配图像g1和g2中的各个低纹理密度子图像，其中各个低纹理密度子图像为纹理密度低于其所属g1或g2中平均纹理密度n倍的区域，其中n≥0；获得各个低纹理密度子图像的特征描述符；分别获得g1和g2中两两相邻低纹理密度子图像共有的边及边的属性；基于g1中各个低纹理密度子图像的特征描述符和g1中边及边的属性获得g1的无向图；基于g2中各个低纹理密度子图像的特征描述符和g2中边及边的属性获得g2的无向图；基于g1的无向图和g2的无向图构造g1和g2的相似性矩阵；在g1和g2的相似性矩阵中搜寻相似性最大的路径，按相似性最大的路径确定g1和g2的匹配关系。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

本发明具有如下有益效果：有主方向，抗旋转；梯度归一化，抗光照变化；有缩放，抗尺度变化；抗仿射变换；将图匹配转换成动态规划问题；不但解决了图匹配，而且解决了一对一、一对多和多对一的匹配。本发明的图像匹配方法可以应用在以下场景中：图像间的匹配、图像间的相似性计算、闭环检测和slam。

最后，本申请说明书中详述的方法和装置仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。