一种局部特征点匹配对的后验证方法与流程

本发明属于计算机图像处理和图像检索领域，涉及一种两幅图像中局部特征点匹配对的后验证方法。

背景技术：

随着图像中局部特征点的广泛研究与应用，基于局部特征点进行图像分析、识别和检索已经成为当前图像处理领域的一种重要方式。借鉴文档处理中的词袋模型，一幅图像可以表示为局部特征的集合，从而消除了图像中的一些冗余信息。近年来，研究者将局部特征点的描述子量化为视觉词汇，从而提出了视觉词汇词袋模型(bagofvisualwordsmodel)。该模型已成为当前图像识别与检索的一类重要方法。视觉词汇词袋模型与倒排索引相结合是当前最有效的基于内容的图像检索方式,具有非常好的鲁棒性。在图像检索应用中，其可以应对图像的各种编辑操作和变换；而倒排索引结构提高了检索的效率，可以在大规模图像库中实现实时的查询。但是通过局部特征点的特征向量量化得到的视觉词汇相对于自然语言中的词汇并没有明确的意义。其区分能力很弱，并不能完全表示局部图像的内容。为了能够保证视觉词汇的区分能力要求：词典中视觉词汇数量越多越好；但是越多的视觉词汇导致了其抗噪能力变弱，并且在特征向量量化为视觉词汇时需要耗费更多的计算量。另外，为了消除噪声影响而减少词典中视觉词汇的数量，也导致了视觉词汇区分能力降低，从而造成了视觉词汇较高的误匹配率。视觉词汇的误匹配给后面的图像相似度计算带来了困难。

针对视觉词汇的误匹配问题，研究者们提出了很多建设性的方法。这些方法主要可以分为两类：一类是为视觉词汇增加一个附加的描述子，来提高视觉词汇的区分能力，另一类是根据两幅图像中候选的局部特征点匹配对进行空间一致性验证，从而过滤误匹配对。当前已有的附加描述子方法有：liangzheng提出的嵌入颜色信息到局部特征点中的方法(liangzheng,shengjinwang,qitian,coupledbinaryembeddingforlarge-scaleimageretrieval,ieeetransactionsonimageprocessing,vol.23,no.8,2014)，yao提出了将视觉词汇的上下文信息作为附加描述子，以及h.jégou提出的一种汉明嵌入方法。这些方法需要将附加描述子添加到索引库中，增加了系统的存储消耗。另外，附加描述子的鲁棒性也是一个需要关注的问题。

基于局部特征点匹配对的空间验证方法是一种后验证方法。其是在检索或者分类时在已经找到候选图像或者目标基础上，计算查询图像与候选图像之间匹配的局部特征点的空间一致性。因为图像编辑和轻微的透视变换不会改变图像中某个目标上局部特征点的空间上的相对关系，因此局部特征点匹配对之间的空间一致性被广泛用于过滤误匹配对的后验证方法中。最初的方法是在局部特征点匹配对的集合上采用ransac方法获得图像的变换参数，认为不符合变换模型的匹配对为误匹配。由于ransac方法效率较低，有研究者提出了弱几何一致性方法，该类方法根据局部特征点的尺度和主方向的差来确定图像的变换参数，并通过该参数来过滤误匹配。另外，zhou提出了一个空间编码(spatialcoding)方法，该方法通过匹配对的空间位置(x和y坐标的相对位置关系)一致性来识别正确的匹配(zhouwg,lihq,luyetal.encodingspatialcontextforlarge-scalepartial-duplicatewebimageretrieval.journalofcomputerscienceandtechnology29(5):837-848sept.2014)。lingyangchu建立了一种主方向和位置一致性的图模型。该图模型将强连接的匹配对认为是正确的匹配对(lingyangchu,shuqiangjiang,etal.robustspatialconsistencygraphmodelforpartialduplicateimageretrieval,ieeetransactionsonmultimedia,vol.15,no.8,pp.1982-1986,december2013)。wu通过最大稳定极限区域将视觉词汇组合成bundle，然后基于bundle对图像进行索引，并通过bundle中视觉词汇的匹配实现相似性的度量。

针对局部特征量化为视觉词汇后导致区分能力减弱的问题而造成的匹配准确率降低的问题，本发明方法提出利用局部特征点匹配对之间的属性变化一致性和一个投票方法来确认正确的匹配对。该方法扩展了已有的局部特征点空间一致性的后验证方法；具有较高的处理速度，并能应对各种图像编辑操作，可以应用于图像的识别和检索等相关应用中。

技术实现要素：

本发明的目的是在当前基于视觉词汇的图像内容检索应用中提供一种局部特征点匹配对的后验证方法，它可用于确认正确的局部特征点匹配对，过滤错误的匹配对，从而提高检索的准确率。

本发明方法的具体步骤为：

步骤(1)根据局部特征点对应的视觉词汇得到两幅图像中局部特征点匹配对；

所述的视觉词汇是图像中局部特征点的特征向量量化得到的词汇id；

所述的局部特征点是通过局部特征点检测方法(比如：sift)得到，其具有在图像中的相关属性：空间位置、尺度、主方向和特征向量；

所述的局部特征点匹配对是两幅图像中视觉词汇一致的一对局部特征点。假设两幅图像:img和img’,其中的局部特征点分别用vi和vm′来表示；如果vi和vm′量化得到的视觉词汇一样，则(vi,vm′)就是一个局部特征点的匹配对。

步骤(2)计算局部特征点匹配对的属性变化值。

所述的属性变化值是匹配的两个局部特征点属性的差值，其反映了图像变换后原图中一个局部特征点变换到结果图像中对应特征点的变化情况。本发明方法提出了两个属性变化值：主方向变化值和方位变化值。假设图像:img和img’之间存在两个匹配对m1：(vi,vm′)和m2：(vj,vn′)。vi的主方向表示为θi，位置属性表示为(pxi,pyi)；vm′的主方向表示为θm′，位置属性表示为(pxm′,pym′)。主方向变化值(diff_ori)定义为匹配对中局部特征点的主方向的差，如公式(1)所示。方位变化值的获取需要两个匹配对,先获取两个匹配对在同一图像中的两个局部特征点的方位，在图像img中局部特点vi和vj的方位值为direction(i,j)，如公式(2)所示，其中arctan2函数用于获取反正切值，该角度为：原点指向坐标(pyj-pyi,pxj-pxi)的向量与x轴正方向之间，沿逆时针方向的角度；同样的vm′和vn′的方位值可通过公式(3)得到。

diff_ori(i,m)＝θm′-θi(1)

direction(i,j)＝arctan2(pyj-pyi,pxj-pxi)(2)

direction′(m,n)＝arctan2(py′n-py′m,px′n-px′m)(3)

从而方位属性的变化值diff_dir(i,m)则为：

diff_dir(i,m)＝direction(i,j)-direction′(m,n)(4)

步骤(3)根据局部特征点匹配对之间的属性变化值一致性确认局部特征点匹配对是否是一致的。

所述的属性变化值一致性通过阈值进行判断。所有属性变化值都满足阈值要求，则认为两个局部特征点匹配对是一致的。两个匹配对m1和m2的主方向变化值一致性通过公式(5)和(6)得到，其中th_ori为主方向变化一致性的阈值。

diff_ori_m(m1,m2)＝|diff_ori(i,m)-diff_ori(j,n)|(5)

其中，diff_ori_m(m1,m2)表示为两个匹配对m1和m2主方向变化值的差值；diff_ori(i,m)表示匹配对m1主方向变化值；diff_ori(j,n)表示匹配对m2主方向变化值；ori_cons(m1,m2)表示两个匹配对m1和m2一致性的结果值。

本发明方法通过减去主方向变化值来消除图像旋转对方位变化值的影响。具体地说，两个匹配对m1和m2的方位变化值一致性判断通过公式(7)(8)(9)实现；公式(8)用于消除图像旋转的影响，其中th_dir为方位变化一致性阈值。

diff_dir_m(m1,m2)＝|diff_dir(i,m)-diff_dir(j,n)|(7)

diff_dir(m1,m2)＝|diff_dir_m(m1,m2)-diff_ori_m(m1,m2)|(8)

其中，diff_dir_m(m1,m2)表示为两个匹配对m1和m2方位变化值的差值；diff_dir(i,m)表示匹配对m1方位变化值；diff_dir(j,n)表示匹配对m2方位变化值；diff_dir(m1,m2)表示两个匹配对m1和m2主方向变化值的差值与方位变化值的差值之间的差值；dir_cons(m1,m2)表示两个匹配对m1和m2方位一致性的结果值。

步骤(4)采用投票法来确定某个匹配对是否是正确的匹配对。也就是：对于某个匹配对mi，验证与其它匹配对之间的属性变化值一致性，如果一致就投一张肯定票。肯定票数与两幅图像候选匹配对数的比值大于给定阈值(th_votes)就认为该匹配对mi为一个正确匹配。

本发明相对于现有技术具有以下有益效果：

本发明方法不同于弱几何约束方法中一致性特征进行分开独立处理，提出了通过局部特征点对的主方向变化值和方位变化值的联合来验证匹配对之间的一致性，提高了匹配对之间一致性验证的准确率。

本发明方法提出的主方向变化值和方位变化值具有非常高的匹配对一致性区分率；假设特征点之间的方位是随机分布的，则通过方位变化值将不一致的匹配对认为一致的概率为th_dir/π；当th_dir为0.087(5度)时，其概率为2.8％。同样，当th_ori为0.087(5度)时，通过主方向变化值错判的概率也为2.8％。两个特征联合进行判别匹配对之间的一致性错判的概率为：0.00077。因此，本发明方法提出的匹配对一致性验证方法具有非常高的准确率。

本发明方法将特征点匹配问题看成两幅图像中部分图像内容的匹配问题，相同图像内容之间特征点匹配对的方位和主方向的变化应该是一致性的。另外，由于特征点匹配对的一致性验证具有非常高的准确率，因此投票法可以有效地应对部分图像内容匹配的问题。从而，本发明方法对图像的裁剪、添加目标等复杂编辑操作具有非常好的鲁棒性。

本发明方法通过减去主方向变化值的差值来消除图像旋转对方位变化值差值的影响。而局部特征点的主方向本身具有旋转不变性。因此，本发明方法具有旋转鲁棒性。

本发明方法对于那些非透视变换图像中的特征点匹配对具有非常好的验证效果，在基于视觉词汇的图像拷贝检索应用中能极大地提高拷贝检索的准确率和召回率。

附图说明

图1表示本发明方法的流程图；

图2基于视觉词汇的局部特征点匹配结果；

图3计算方位属性变化值的示意图；

图4基于投票法得到的匹配对的投票数；

图5本发明方法确认正确匹配对的效果；

图6本发明后验证方法的有效性比较结果示意图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅便于对本发明的理解，而对其不起任何限定作用。

本发明方法的具体步骤为：

步骤(1)根据局部特征点对应的视觉词汇得到两幅图像中局部特征点匹配对；局部特征点的提取当前有较多的方法，本发明方法采用当前被广泛使用的尺度不变描述子(sift)，其具有旋转、尺度变换等鲁棒性。sift描述子提取后，图像被表示为一个局部特征点的集合{si},si是图像中一个局部特征点描述子,其在该图像中具有以下相关属性：特征向量(fi)，主方向(θi)，尺度(σi)，和空间位置(pxi,pyi)。局部特征点的匹配可以将特征向量量化为视觉词汇id，然后基于视觉词汇id的一致性来得到局部特征点的匹配对。为了将局部特征点的特征向量量化为视觉词汇id，在本实施例中，采用乘积量化方法(productquantizationmethod)，并通过k均值聚类来构建视觉词汇词典。该量化方法具有非常高的量化效率。在本实施例中，采用32维的sift局部特征描述子，乘积量化方法将32维的特征向量分为4组，每个组8维。8维的一组特征向量根据样本库量化为32个词根；根据词根的组合可以构建一个2²⁰个视觉词汇的词典。根据以上步骤，假设两幅图像:img和img’,其中的局部特征点分别用vi和vm′来表示；如果vi和vm′的特征向量量化得到的视觉词汇id一样，则(vi,vm′)就是一个局部特征点的匹配对。附图2为本实施例匹配结果的样例。其中横跨两幅图像的线段表示局部特征点匹配对，两个端点为图像中的局部特征点空间位置，箭头线表示特征点的尺度和主方向。附图2中白色线段表示正确的局部特征点匹配对，其对应的图像内容一致；而黑色线段为错误的局部特征点匹配对。从图中也可以看到错误的匹配对中的两个局部特征点的局部内容具有一定的相似性(都是具有一点弧度的边缘点)，但是从整个图像出发，其内容是不一致的。本方法的目标就是识别过滤这些错误的匹配对。

步骤(2)计算局部特征点匹配对的属性变化值。所述的属性变化值是匹配的两个局部特征点属性的差值，其反映了图像变换后原图中一个局部特征点变换到结果图像中对应特征点的变化情况。本发明方法提出了两个属性变化值：主方向变化值和方位变化值。假设图像:img和img’之间存在两个匹配对m1：(vi,vm′)和m2：(vj,vn′)。vi和vm′的主方向和位置属性分别表示为：(θi,pxi,pyi)和(θm′,pxm′,pym′)。主方向变化值(diff_ori)定义为匹配对中局部特征点的主方向的差，如公式(10)所示。方位变化值的获取需要两个匹配对,先获取两个匹配对在同一图像中的两个局部特征点的方位，在图像img中局部特点vi和vj的方位值为direction(i,j)，如公式(11)所示，其中arctan2函数用于获取反正切值，该角度为：原点指向坐标(pyj-pyi,pxj-pxi)的向量与x轴正方向之间，沿逆时针方向的角度；同样的vm′和vn′的方位值可通过公式(12)得到。

diff_ori(i,m)＝θm′-θi(10)

direction(i,j)＝arctan2(pyj-pyi,pxj-pxi)(11)

direction′(m,n)＝arctan2(py′n-py′m,px′n-px′m)(12)

从而方位属性的变化值diff_dir(i,m)则为：

diff_dir(i,m)＝direction(i,j)-direction′(m,n)(13)

方位属性变化值可以通过附图3直观的表示；图像中方位属性通过两个特征点连线与x轴的角来表示。如果图像没有遭受旋转攻击，两个一致的匹配对的方位属性应该是一样的。方位属性变化值表达了图像中两个特征点的方位的稳定性。同样，主方向属性变化值也是对除了旋转之外的大部分操作鲁棒。

步骤(3)根据局部特征点匹配对之间的属性变化值一致性确认局部特征点匹配对是否是一致的。所述的属性变化值一致性通过阈值进行判断。所有属性变化值都满足阈值要求，则认为两个局部特征点匹配对是一致的。两个匹配对m1：(vi,vm′)和m2：(vj,vn′)的主方向变化值一致性通过公式(14)和(15)得到，其中th_ori为主方向变化一致性阈值。本方法采用两个匹配对之间的比较来确认；如果对图像进行了旋转操作，则图像中对应的匹配特征点都会相应的旋转；从而两个匹配对之间的主方向变化值就不受图像旋转的影响。在本实施例中，我们在相关测试库上进行了相关实验，最后设定th_ori为0.087(5度)。

diff_ori_m(m1,m2)＝|diff_ori(i,m)-diff_ori(j,n)|(14)

其中，diff_ori_m(m1,m2)表示为两个匹配对m1和m2主方向变化值的差值；diff_ori(i,m)表示匹配对m1主方向变化值；diff_ori(j,n)表示匹配对m2主方向变化值；ori_cons(m1,m2)表示两个匹配对m1和m2一致性的结果值。

本发明方法通过减去主方向变化值来消除图像旋转对方位变化值的影响。具体地说，两个匹配对m1和m2的方位变化值一致性判断通过公式(16)(17)(18)实现；公式(17)用于消除图像旋转的影响，其中th_dir为方位变化一致性阈值。

diff_dir_m(m1,m2)＝|diff_dir(i,m)-diff_dir(j,n)|(16)

diff_dir(m1,m2)＝|diff_dir_m(m1,m2)-diff_ori_m(m1,m2)|(17)

其中，diff_dir_m(m1,m2)表示为两个匹配对m1和m2方位变化值的差值；diff_dir(i,m)表示匹配对m1方位变化值；diff_dir(j,n)表示匹配对m2方位变化值；diff_dir(m1,m2)表示两个匹配对m1和m2主方向变化值的差值与方位变化值的差值之间的差值；dir_cons(m1,m2)表示两个匹配对m1和m2方位一致性的结果值。

在本实施例中，我们在相关测试库上进行了相关实验，最后设定th_dir同样为0.087(5度)。

由于计算两幅图像中候选匹配对两两之间方位一致性需要较大的计算量。在本实施例中，为了提高验证的效率，方法采用如下两种策略。策略一为：优先进行主方向一致性的判断；如果确认为两匹配对不一致，则无需再进行后续方位一致性的判断，从而减少了计算量。策略二为：当某个匹配对已经获得了其它匹配对验证或者说得到了足够多的肯定票，则无需再进行后续的验证，直接确认正确的匹配对，从而提高了效率。另外，我们也可以通过设定高频词汇表来过滤候选匹配对，从而提高验证的效率。

步骤(4)采用投票法来确定某个匹配对是否是正确的匹配对。也就是：对于某个匹配对mi，验证与其它匹配对之间的属性变化值一致性，如果一致就投一张肯定票。肯定票数除以两幅图像候选匹配对数大于给定阈值(th_votes)就认为该匹配对mi为一个正确匹配。在本实施例中，th_votes根据实验设定为0.2.根据以上步骤用于计算两幅图像之间正确匹配对数的算法流程如下：

附图4为候选匹配对验证的结果样例，其中各个匹配对边上的数字代表其获得的肯定票的数量，那些误匹配对获得的肯定票数量非常少，大部分为0。因此本方法可以有效的识别那些误匹配对。

为了证明方法的有效性，在本实施例中，我们进行了相关的测试。我们采用基于局部特征点匹配的拷贝图像检索作为本方法的应用场景。采用拷贝图像检测标准测试库holidays和web图像库作为测试库。holidays测试库包括157张原始图像，以及在其上获取的各种压缩率的jpeg图像，和各种裁剪得到的拷贝图像集。web测试库是我们从网上收集的各种拷贝图像，其一组拷贝图像平均32张。本测试采用图像检索领域的map值作为评价指标。测试结果如图6所示。其中spatialcoding方法是当前最好的视觉词汇后验证方法，baseline方法为不进行后验证直接基于候选匹配对数量的拷贝图像检索效果。从图6中可以确认本方法在两个测试库上都具有一定优势。

附图5给出了本方法在拷贝图像检索中的应用效果。其中灰黑线条表示正确的匹配对，而白表示通过本方法识别的误匹配对。