基于全局关系一致性约束的局部特征点验证方法与流程

本发明属于计算机图像处理和机器视觉领域，涉及两种基于视觉词汇的局部特征点验证。

背景技术：

基于局部特征的图像检索是目前较为主流的拷贝图像检索方式，将局部特征点描述子量化为视觉词汇并采用词袋模型来表示图像，是当前图像检索的一类重要方法。但是通过局部特征的描述子量化得到的视觉词汇相对于自然语言中的词汇并没有明确的意义，容易受到噪声的影响。为了能够保证视觉词汇的区分能力要求，词典中视觉词汇数量越多越好。但是越多的视觉词汇导致了其抗噪能力变弱，并且在局部特征量化为视觉词汇时需要耗费更多的计算量。针对局部特征量化为视觉词汇后导致的多义问题，有部分的研究者关注到了该问题，并提出了部分的解决方法。

为增加局部特征匹配的准确性，减少视觉词汇歧义现象，有研究者在着力于增加视觉词汇的信息量，以提高视觉词汇的识别度。多个字典用于量化局部特征的方法可以提高图像检索的召回率，但多个字典量化会有交集，这些交集属于冗余数据。大量的冗余数据不仅无助于提高检索效果，而且会影响检索效率。为解决这一问题，Zheng提出了一种基于多个字典的贝叶斯合并方法用于降低字典的关联度，减少冗余数据。Mortensen在每个局部特征点上增加全局纹理向量，使局部特征具有全局属性。该方法可用于提高视觉词汇的区别能力，但该方法在图像的尺度变换上鲁棒性不够好。

有研究者希望通过建模视觉词汇(局部特征)的空间依赖关系来提高视觉词汇的描述能力。Yao提出了一种视觉词汇的上下文描述子生成方法，该方法考虑特征点与近邻特征点之间的关系，在图像检测的过程中计算视觉词汇之间的上下文相似性关系判断视觉词汇是否正确匹配。Liu基于局部特征提出了两种方法，分别以局部特征点之间一对一以及一对多的关系为特征点进行编码。上述的两种方法属于先验证的方法，在图像检测之前为特征点建立好关系，在检索速度上有着明显的优势。采用类似的基于近邻局部特征的方法，往往忽略了特征点之间的全局性关系。

为兼顾到全局性，近年来也有学者考虑局部特征的全局性约束。Zheng发现，在图像检索过程中，查询图像与候选图像中正确匹配的视觉短语具有相对稳定的位置关系，如匹配的视觉短语的坐标相减，正确匹配的点会落入相对集中的位置。Zhou采用了紧致的空间编码方法来描述视觉词汇的相互位置关系。但该方法对图像的旋转变换支持不是很理想，需要通过构建多个方向的位置关系来提高对旋转变换的鲁棒性。

针对局部特征量化为视觉词汇后导致的多义现象而造成的匹配准确率较低的问题，本发明的两种方法提出利用基于局部特征的全局关系增强视觉词汇区分能力。该方法满足了紧致性和鲁棒性两方面要求，可以应对图像的各种编辑和变换，并有较好的效果；

技术实现要素：

本发明的目的是针对现有技术的不足，提供了两种基于全局关系一致性约束的局部特征点验证方法。

本发明解决其技术问题所采用的技术方案如下：

1.基于全局关系一致性约束的局部特征点验证方法，其特征在于包括如下三部分：(1)离线学习部分，(2)特征点量化部分，(3)特征点投票验证部分；离线学习部分用于构建视觉词汇词典；特征点量化部分根据离线学习所得到的视觉词汇词典对局部特征进行量化；特征点投票验证部分用于对候选图像中的特征点验证，具体实现如下：

步骤(1)离线学习，对大量样本分组聚类得到视觉词汇词典。

步骤(2)通过视觉词汇词典对查询图像的特征点量化，得到视觉词汇。

步骤(3)对于查询图像的视觉词汇在索引库中匹配得到候选特征点，以候选特征点的所属图像唯一标识建立关系，得到若干候选图像。

步骤(4)通过全局一致性弱关系或强几何关系约束对特征点验证，最后达到对候选图像验证的目的。

(1)离线学习部分，该部分的关键之处在于局部特征的视觉词汇词典的构建，具体步骤如下：

1-1.选取大量图像构建图像库，并提取图像库中图像的局部特征点及其特征描述子，将提取的特征描述子构建成样本库；

1-2.通过样本库获得视觉词汇词典；具体的，对样本库中特征描述子的特征向量进行分组，在每个特征组上通过K均值聚类得到K个类中心，每个类中心为一个特征向量即代表视觉词汇中的一个词根，K个类中心为该特征组的词根集合；在每个特征组上构建的词根集合进行组合得到视觉词汇词典；

(2)特征点量化部分，特征点的量化包括两个部分：局部特征描述子的量化，主方向、尺度以及坐标量化。

2-1.局部特征描述子量化：对输入图像提取局部特征点集合S＝{P_i,i∈[0,Q]}，Q为输入图像中局部特征点的个数，P_i指代第i个局部特征点；并依据视觉词汇词典通过分组量化方法将局部特征点P_i的特征描述子量化为视觉词汇VW_i；具体步骤如下：

2-1-1.从输入图像中提取局部特征点P_i的特征描述子F_i、位置(Px_i,Py_i)、尺度σ_i和主方向θ_i信息，即局部特征点P_i表示为[F_i,θ_i,σ_i,Px_i,Py_i]；

2-1-2.对每个局部特征点P_i的特征描述子F_i，依据视觉词汇词典采用分组量化方法得到视觉词汇；依据视觉词汇词典的分组量化是将特征描述子F_i分成M组，每组为D/M个特征，其中D为特征描述子F_i特征向量的维数；然后对每组的特征向量根据步骤1-2训练好的视觉词汇词典单独量化为V_j，则采用分组量化得到特征描述子F_i的视觉词汇VW_i为:其中,L为视觉词汇词典中对应组的词根数；从而一个局部特征点P_i被表示为[VW_i,θ_i,σ_i,Px_i,Py_i]；每组特征向量的量化通过在该组的词根集合中基于欧式距离查找最近的类中心，并将该类中心的下标作为其量化结果；

2-2.主方向、尺度以及坐标量化：上文中提到的主方向θ是一个浮点型的弧度值，在这里将其量化成整型角度值θ：θ_i＝θ_i*180/π。

同样位置信息(Px_i,Py_i)与尺度σ_i也量化为整形。在量化尺度时，将σ_i乘100然后取整，保留了一定的精度。

(3)特征点投票验证部分，该部分的实现包括两种方式：第一种是基于全局弱关系一致性约束的局部特征点验证方法，第二种是基于全局强几何关系一致性约束的局部特征点验证方法。两种方式中均采用投票机制：在一幅候选图像中，若某一候选特征点与一定比例的上下文特征点同时满足约束关系，认为该点为正确匹配的特征点。

在特征点验证的过程中，主要根据局部特征点的方位特征、主方向特征和尺度特征来验证特征点是否匹配；两种方式介绍如下：

3-1.弱关系一致性验证：该方法依据正确匹配特征点之间的主方向与尺度大小具有一致性的原理。具体步骤如下:

3-1-1.通过查询图像的特征点量化所得到的视觉词汇，与索引库中的特征点进行匹配得到的大量候选特征点。以这些特征点所属的图像ID(imgId)作为关键词构建Hash表，找到若干候选图像。

3-1-2.在查询图像中，若一特征点的尺度小于某一上下文特征点，则在候选图像中，对应的候选特征点同样应满足该约束。同时主方向也应当满足这一条件，公式如下:

其中，Scl表示尺度，Ori表示主方向，下标ai,aj表示a图像第i,j个特征点。M_i,j为1表示两个特征点i,j满足该一致性关系约束，特征点j对特征点i的票数增加1。若某特征点与一定比例的上下文特征点满足该约束，则认为该候选特征点为正确匹配点。在图像检索的过程中，计算正确匹配特征点所得到的投票总和S。

其中，是特征点i所得到的票数，Th为投票阈值。各候选图像的投票和S,用于衡量一个候选图像的相似程度。

3-2.强几何验证：强几何验证是计算特征点之间的主方向差以及角位差两个角度关系。该方法所使用的两个角度中，主方向差是两特征点之间主方向的差。主方向差可以通过如下公式计算得到：

β＝|Ori_i-Ori_j|

Ori_i是待验证点的i主方向，Ori_j是待验证点i的上下文特征点j的主方向。

角位差可通过如下公式计算得到：

其中，arctan2(P_i,P_j)是两特征点P_i,P_j连线与水平方向的夹角。强几何关系验证方法如下：

3-2-1.通过查询图像的特征点量化所得到的视觉词汇，与索引库中的特征点进行匹配得到的大量匹配特征点。以这些特征点所属的图像ID(imgId)作为关键词构建Hash表，找到若干候选图像。

3-2-2.在正确匹配的特征点之间，查询图像两个特征点之间的主方向差，与候选图像对应的两特征点之间的主方向差，应趋近于相等。同理角位差也应当趋近于相等，对应特征点之间的主方向差的差:

其中，表示图像a中特征点i与j的主方向差，表示图像b中对应的特征点的主方向差。

以及角位差的差：

其中，表示图像a中特征点i与j的角位差，表示图像b中对应的特征点的角位差。

若i,j两点满足约束关系，则M_i,j等于1。这里采用投票的方式来判断候选特征点是否为正确匹配的特征点。若某一特征点与该图像中一定比例的上下文特征点满足此关系，则认为这一特征点为正确匹配的特征点。统计每幅候选图像中正确匹配点，并计算正确匹配特征点所得到的投票总和S。

其中，是特征点i所得到的票数。各候选图像的投票和S,用于衡量一个候选图像的相似程度。

本发明相对于现有技术具有以下有益效果：

本发明可以用于大规模图像检索，提高检索的效率和准确率；而且该方法是采用局部特征点全局性关系验证候选图像，因此当候选图像的候选特征点过多时，可以采用候选图像中的尺度较大特征点，实验结果证明比使用所有候选特征点的效果更好，速度更快。同时通过该方法对图像的缩放、旋转、裁剪等图像变换具有很好的鲁棒性。

附图说明

图1表示本发明的流程图；

图2弱关系一致性验证示意图；

图3强几何验证示意图；

具体实施方式

在具体实施中，该算法采用SIFT算子，在以下的叙述中，局部特征点的描述子就是指SIFT，不再具体指明。本实施例中主要介绍两种方法:第一种方法是基于全局弱关系一致性约束的局部特征点验证方法，第二种方法是基于全局强几何关系一致性约束的局部特征点验证方法。可用于图像检索和基于局部特征点的图像识别和检测方法中。

下面将参考附图进一步介绍本发明的实施例。

图1是该发明的流程框图，表示了各个部分关系及其流程。两种方法具体包括如下部分：离线学习部分、特征点量化部分和特征点投票验证部分。离线学习部分用于视觉词汇词典的构建，包括获取样本点，样本点聚类以及生成词典。特征点量化包含三个部分，局部特征点提取，主方向、方位、尺度量化以及描述子量化。第三部分特征点投票验证包括两个部分，在索引库中找到候选图像以及候选特征点，通过投票的方式验证候选特征点。

(1)图1中离线学习部分主要包括：视觉词汇词典的构建。

选取大量图像，提取其特征点作为样本学习库。然后，对特征描述子样本库中的特征描述子的特征向量进行分组；在每个特征组上通过K均值聚类得到K个类中心，每个类中心为一个特征向量即代表视觉词汇中的一个词根，K个类中心为该特征组的词根集合；从每个特征组的词根集合中选择一个词根就生成了一个视觉词汇。在每个特征组上构建的词根集合进行组合得到视觉词汇词典。在本实施例中，局部特征点的特征描述子被分为4个组，每组8个特征值，通过K均值聚类构建64个类中心，每个类中心为该组的词根；4个类中心为本方法的视觉词典；每组的类中心都保存在一个数组中，并存储到文件中；在进行量化局部特征描述子时方法需要装载该数组到内存中。

最后，对样本库中的局部特征描述子根据视觉词汇词典采用分组量化方法得到视觉词汇。在本实施例中，提取的SIFT的特征描述子为32维的特征向量。

(2)图1中特征点量化部分的具体步骤如下：

首先对图像提取局部特征点集合S＝{P_i,i∈[0,Q]}，Q为图像中局部特征点的个数；并通过依据视觉词汇词典的分组量化方法将局部特征点P_i的特征描述子量化为视觉词汇VW_i。具体步骤如下：

图1中的提取局部特征点，在本实施例中，对检测得到的局部特征点采用SIFT描述子进行描述；一个局部特征点(P_i)通过SIFT描述子可表示为：[F_i,θ_i,σ_i,Px_i,Py_i]；其中F_i为特征描述子向量，用梯度直方图表示；θ_i为主方向；σ_i为局部特征点的尺度,(Px_i,Py_i)为局部特征点(P_i)在图像中的空间位置。在本实施例中，F_i被设置为一个32维的特征向量。通过局部特征点提取与描述，图像被表示为SIFT描述子的集合。

图1中的特征描述子量化对每个局部特征点的特征描述子(F_i)采用依据视觉词汇的分组量化方法得到视觉词汇；分组量化是将特征描述子F_i(D维的特征向量)分成M组，每组为D/M个特征，然后对每组的特征向量根据训练好的词典单独量化为V_j，则采用分组量化得到特征描述子的视觉词汇(VW)为：其中L为视觉词汇词典中对应组的词根数。经过局部特征描述子的量化，一个局部特征点P_i被表示为[VW_i,θ_i,σ_i,Px_i,Py_i]。

图1中22用以对其他SIFT特征属性量化，需要量化的属性包括主方向θ_i、尺度σ_i以及方位(Px_i,Py_i)。主方向θ_i是一个浮点型的弧度值，在这里将其量化成整型角度值:θ_i＝θ_i*180/π；

同样位置信息(Px_i,Py_i)与尺度也量化为整形。在量化尺度时，将乘100然后取整，保留了一定的精度。

(3)图1中特征点投票验证部分主要包括31获取候选图像和候选特征点，32通过投票验证候选特征点。在图像检索应用中，依据查询图像特征点的视觉词汇在索引库中得到大量候选特征点，这些候选特征点根据图像ID(imgId)得到若干候选图像。本文两种方法是通过全局一致性约束对候选图像中候选特征点进行验证达到图像拷贝检测的目的。该发明中特征点的验证包括两种方法，一种是通过正确匹配特征点之间的主方向与尺度相对大小存在关系一致性来验证候选特征点，成为弱关系一致性验证。另外一种是通过特征点之间的主方向差以及角位差两个强几何关系对特征点验证，称为强几何验证。

3-1.弱一致性关系验证：依据正确匹配特征点之间的主方向与尺度大小具有一致性的原理，采用投票的方式验证特征点是否为正确匹配的特征点。具体步骤如下:

3-1-1.通过查询图像的特征点量化所得到的视觉词汇，与索引库中的特征点进行匹配得到的大量匹配特征点。以这些特征点所属的图像ID(imgId)作为关键词构建Hash表，找到若干候选图像。

3-1-2.如图2(a)和2(b)所示，在查询图像中，若一特征点的尺度小于另外一特征点，则在候选图像中，相同的视觉词汇应当满足该约束。同时主方向也应当满足这一条件。若一特征点与该候选图像中一定比例的特征点满足此关系，则认为这一特征点为正确匹配的特征点。如下两个公式所示：

其中，Scl表示尺度，Ori表示主方向，下标ai,aj表示a图像第i,j个特征点。M_i,j为1表示两个特征点i,j满足该一致性关系约束，特征点j对特征点i的票数增加1。若某特征点与一定比例的上下文特征点满足该约束，则认为该点为正确点。在图像检索的过程中，计算正确匹配特征点所得到的投票总和S。

其中，是特征点i所得到的票数，Th为投票阈值。各候选图像的投票和,用于衡量一个候选图像的相似程度。

具体执行过程的伪代码如下：

3-2.强几何验证：强几何验证是计算特征点之间的主方向差以及角位差两个角度关系。所需要用到的特征点的属性包括主方向与方位特征。该方法所使用的两个角度中，主方向差是两特征点之间主方向的差，角位差是主方向与两特征点之间连线的夹角。主方向差可以通过如下公式计算得到：

β＝|Ori_i-Ori_j|

角位差可通过如下公式计算得到：

3-2-1.类似于步骤3-1-1，通过查询图像的特征点量化所得到的视觉词汇，与索引库中的特征点进行匹配得到的大量匹配特征点。以这些特征点所属的图像ID(imgId)作为关键词构建Hash表，找到若干候选图像。

3-2-2.在正确匹配的特征点之间，查询的图像两个特征点的主方向差，与候选图像对应的两特征点的主方向差，应趋近于相等。同理角位差也应当趋近于相等，对应特征点之间的主方向差的差:

以及角位差的差

应趋近于0。

若i,j两点满足约束关系，则M_i,j等于1。这里采用投票的方式来判断候选特征点是否为正确匹配的特征点。若某一特征点与该图像中一定比例的其他候选特征点满足此关系，则认为这一特征点为正确匹配的特征点。统计每幅候选图像中正确匹配点，并计算正确匹配特征点所得到的投票和S。

其中，是特征点i所得到的票数。各候选图像的投票和,用于衡量一个候选图像的相似程度。

具体执行过程的伪代码如下：

前面已经具体描述了本发明的实施方案，应当理解，对于一个具有本技术领域的普通技能的人，在不背离本发明的范围的情况下，在上述的和在权利要求中特别提出的本发明的范围内进行变化和调整能同样达到本发明的目的。