专利名称：一种图像检索/匹配方法及系统的制作方法
技术领域：
本发明涉及图像处理技术领域，特别是涉及一种图像检索/匹配方法及系统。
背景技术：
目前，图像局部特征点匹配已经在多个领域取得了成功应用，如图像配准、目标识别、机器人导航、图像检索、移动视频搜索、脸部识别、指纹识别、眼虹膜识别、医学图像处理等。图像中的特征点(如边缘交叉点、角点、高熵区域、尺度空间极大值点等)具有尺度不变性、旋转不变性、灰度不变性，并对光线、噪声、仿射变换等具有鲁棒性，能够有效反应图像中的局部稳定特征。常用的局部不变量(Local ^variant)的计算方法，如SIFT Gcale Invariant Feature Transform，尺度不变特征变换)、SURF (Speeded Up Robust Features，快速鲁棒特征)算法等，由于仅描述了特征点附近的邻域信息，不能够反应全局特性，因此当图像中出现大量相似结构特征时，极易发生误匹配。研究者们已经提出了一些方式来解决图像局部特征点的误匹配问题，与本发明解决的问题最相近的方法有局部特征点全局描述符方法和 RANSAC(RANdom SAmple Consensus)方法。局部特征点全局描述符方法抽取图像中局部特征点附近的60维的上下文全局特征，通过加权方式与SIFT算法的1 维特征描述符连接在一起，构成188维局部特征点的全局描述符。再利用全局描述符来进行特征点匹配，以减少误匹配现象的发生。由于新的全局描述符维度太高，在特征点匹配之前，该方法使用降维算法对拼接后高维的全局描述符进行了简化处理。此方法使得特征点匹配过程变得十分复杂，计算效率大大降低；更为重要的是，拼接了全局描述的特征描述符在很大程度上丧失了局部特征描述符原有的对上下文不敏感的优秀特性，导致难以应对图像尺度变化、图像嵌套等问题，对视角变化的应对能力也相应降低。因此局部特征点全局描述符方法虽然通过引入上下文环境，在一定程度上解决了局部特征点使用全局位置信息的问题，但是却导致了识别能力下降、计算效率降低等比较严重的问题。RANSAC方法通过求解匹配点的变换矩阵来判消除特征点误匹配造成的错误检索现象。RANSAC方法从初始匹配点集中选择样本点求解变换矩阵，然后找出误差小于一定阈值的一致集。如一致集中的点数多于给定门限值，则计算停止；否则重新选择样本点，直到找到一致集。其中，与一致集的变换矩阵小于给定阈值的是正确匹配点，否则是误匹配点。如重复选择样本点的次数大于一定数值仍未找到一致集，则认为这两幅图像无法匹配。 该方法需要从初始匹配点集中选择样本点来求解变换矩阵，对样本点的选择具有一定随机性，如果样本点确定的变换矩阵不能构成一致集，需要重新选择样本点。对于两幅完全不能匹配的图像，这种样本点的选择一般要到迭代次数超过给定阈值后才会停止。因此，对于两幅基本相同的图像，RANSAC方法的匹配速度很快，而对于完全不同的图像，RANSAC方法速度很慢。由于图像检索/匹配中，大部分情况下两幅图像是完全不同的。所以RANSAC方法难以适用于海量图像检索/匹配算法问题中。
发明内容
针对上述现有技术中存在的问题与缺陷，本发明提出一种图像检索/匹配方法及系统，不仅能适应于图像尺度变化、图像嵌套、视角变化等复杂情况下的图像检索，而且具有较高的检索效率和识别准确率。为解决上述技术问题，本发明图像检索/匹配方法包括求取两幅图像的初始匹配特征点集；判断并消除所述初始匹配特征点集中的误匹配特征点对；根据所述初始匹配特征点集中余下的正确的匹配特征点对的数量判断两幅图像是否匹配；其中，判断某个初始匹配特征点对是否为误匹配特征点对，采用的方法包括在两幅图像中，分别以该初始匹配特征点对中的初始匹配特征点为中心，将图像划分为两个以上的区域，并对各个区域进行编号；图像划分区域时，两幅图的特征点主方向保持一致，且两幅图的图像划分标准一致；在两幅图像中，分别以其他各初始匹配特征点所处区域的编号按既定顺序构成的矢量来描述该初始匹配特征点的全局特征；对两个矢量进行比较，如果相似度达到要求，则该初始匹配特征点对为正确的匹配特征点对；否则，为误匹配特征点对。进一步地，两幅图的特征点主方向保持一致，是指在两幅图中，当以该初始匹配特征点对中的初始匹配特征点为原点时，X轴与该初始匹配特征点的特征点主方向的夹角相寸。进一步地，将图像划分为两个以上的区域，是指将图像划分为两个以上均勻的区域。进一步地，所述按既定顺序，是指按照预先对各个初始匹配特征点的排列顺序。进一步地，对两个矢量进行比较，判断相似度是否达到要求，采用的一种方法为求两个矢量的各相应位置元素的误差，包括如果相应位置元素的差值的绝对值小于等于Z/2向上取整得到的值，则以该差值作为该位置的相应元素的误差；如果相应位置元素的差值的绝对值大于Z/2向上取整得到的值，则以Z减去该差值的绝对值得到的值作为该位置的相应元素的误差；将各个位置的误差求和，如果求得的和小于预设的门限值，则相似度达到要求；如果求得的和大于等于预设的门限值，则相似度未达到要求；其中，Z为其中一个图像中，对图像所划分的区域的个数。进一步地，对两个矢量进行比较，判断相似度是否达到要求，采用的另一种方法为求两个矢量的各相应位置元素不一致的个数，如果该个数小于预设的门限值，则相似度达到要求；如果该个数大于等于预设的门限值，则相似度未达到要求。为解决上述技术问题，本发明图像检索/匹配系统包括初始匹配特征点集求取模块，用于求取两幅图像的初始匹配特征点集；误匹配特征点对消除模块，用于判断并消除所述初始匹配特征点集中的误匹配特征点对；图像匹配判断模块，用于根据所述初始匹配特征点集中余下的正确的匹配特征点对的数量判断两幅图像是否匹配；其中，所述误匹配特征点对消除模块包括图像区域划分子模块，用于在两幅图像中，分别以该初始匹配特征点对中的初始匹配特征点为中心，将图像划分为两个以上的区域，并对各个区域进行编号；图像划分区域时，两幅图的特征点主方向保持一致，且两幅图的图像划分标准一致；矢量构建子模块，用于在两幅图像中，分别以其他各初始匹配特征点所处区域的编号按既定顺序构成的矢量来描述该初始匹配特征点的全局特征；矢量比较子模块，用于对两个矢量进行比较，如果相似度达到要求，则该初始匹配特征点对为正确的匹配特征点对；否则，为误匹配特征点对；误匹配消除子模块，用于消除所述初始匹配特征点集中的误匹配特征点对。进一步地，两幅图的特征点主方向保持一致，是指在两幅图中，当以该初始匹配特征点对中的初始匹配特征点为原点时，X轴与该初始匹配特征点的特征点主方向的夹角相寸。进一步地，将图像划分为两个以上的区域，是指将图像划分为两个以上均勻的区域。进一步地，所述按既定顺序，是指按照预先对各个初始匹配特征点的排列顺序。进一步地，对两个矢量进行比较，判断相似度是否达到要求，采用的一种方案为求两个矢量的各相应位置元素的误差，包括如果相应位置元素的差值的绝对值小于等于Z/2向上取整得到的值，则以该差值作为该位置的相应元素的误差；如果相应位置元素的差值的绝对值大于Z/2向上取整得到的值，则以Z减去该差值的绝对值得到的值作为该位置的相应元素的误差；将各个位置的误差求和，如果求得的和小于预设的门限值，则相似度达到要求；如果求得的和大于等于预设的门限值，则相似度未达到要求；其中，Z为其中一个图像中，对图像所划分的区域的个数。进一步地，对两个矢量进行比较，判断相似度是否达到要求，采用的另一种方案为求两个矢量的各相应位置元素不一致的个数，如果该个数小于预设的门限值，则相似度达到要求；如果该个数大于等于预设的门限值，则相似度未达到要求。本发明有益效果如下1，相同物体或目标在不同视角、尺度、旋转、光照下，局部特征点间的相对位置具有一定的稳定性。本发明首先通过局部特征描述子得到初始特征匹配点，再由初始匹配特征点的相对位置关系得到初始匹配特征点的全局特征信息，然后利用全局特征信息对初始特征匹配点进行误匹配点筛除，本发明使用的特征点全局信息在利用形式上完全独立于局部特征描述，从而消除了使用局部特征不变量进行局部特征匹配时易产生的误匹配现象， 大大提高了利用局部特征描述子(即局部不变量)进行图像检索的准确性。2，本发明提出了一种新的全局位置信息描述方式，该全局特征不需要与局部特征进行拼接，因而能够保留局部特征描述的所有优秀特性，不但显著提高了局部特征点匹配的准确率，而且能适应于图像尺度变化、图像嵌套、视角变化等复杂情况下的图像检索。3，本发明在进行两幅图像的误匹配点筛除时，只需进行一轮计算，所增加的计算开销与局部特征提取所需的计算开销相比，几乎可以忽略不计，因此本发明与单纯利用局部特征点进行图像检索的方法相比，计算效率基本上不发生变化；与RANSAC方法相比，在被检索的图像与样本图像完全不同时，本发明只需要进行一轮误匹配特征点判断，而无需等至迭代次数超过阈值，因而检索效率较RANSAC方法大大提高，尤其是在海量图像检索/ 匹配问题中更为明显。
图1为本发明实施例的图像检索/匹配方法流程示意图；图2为本发明实施例的判断误匹配特征点对示意图；图3为本发明实施例的相对位置参照系示意图；图4为本发明实施例的图像检索/匹配系统结构示意图；图5为本发明实施例的误匹配特征点对消除模块结构示意图。
具体实施例方式以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。方法实施例根据本发明的实施例，提供了一种图像检索/匹配方法，图1是本发明实施例的图像检索/匹配方法的流程图，如图1所示，根据本发明实施例的图像检索/匹配方法，包括如下处理步骤101，求取两幅图像的初始匹配特征点集。对于图像A与B，用标准的局部特征描述子的计算方法，如SIFT算法、SURF算法等，分别求取局部特征点，并以局部特征描述子表示，得到两幅图像的初始匹配特征点集为M= {(ai; bD |1彡i彡η}，其中η为两幅图像的初始匹配特征点数，η > 0, MA = Iai 11彡i彡η}，MB = Ibi 11彡i彡η}分别表示图像A与B中的初始匹配特征点。步骤102，判断并消除初始匹配特征点集中的误匹配特征点对。其中，判断某个初始匹配特征点对是否为误匹配特征点对，采用的具体方案如图2 所示，包括步骤1021，在两幅图像中，分别以该初始匹配特征点对中的初始匹配特征点为中心，将图像划分为两个以上的区域，并对各个区域进行编号；图像划分区域时，两幅图的特征点主方向保持一致，且两幅图的图像划分标准一致。该实施例中，两幅图的特征点主方向保持一致，是指在两幅图中，当以该初始匹配特征点对中的初始匹配特征点为原点时，X轴或Y轴与该初始匹配特征点的特征点主方向的夹角相等。该实施例中，将图像划分为两个以上的区域，是指将图像划分为两个以上均勻的区域。当然，本发明方法具体实施时，不要求划分的图像区域一定均勻，只要两幅图的划分标准保持一致即可。
步骤1022，在两幅图像中，分别以其他各初始匹配特征点所处区域的编号按既定顺序构成的矢量来描述该初始匹配特征点的全局特征。该实施例中，所谓按既定顺序，是指按照预先对各个初始匹配特征点的排列顺序。 例如，按照MA和MB中各初始匹配特征点的编号，或者，按照预先对各初始匹配特征点以其他方式所做的排序。步骤1023，对步骤1022得到的两个矢量进行比较，如果两个矢量的相似度达到要求，则该初始匹配特征点对为正确的匹配特征点对；否则，为误匹配特征点对。该步骤中，对两个矢量进行比较，判断相似度是否达到要求，采用的一种方法为求两个矢量的各相应位置元素的误差，具体方法包括如果相应位置元素的差值的绝对值小于等于Z/2向上取整得到的值，则以该差值作为该位置的相应元素的误差；如果相应位置元素的差值的绝对值大于Z/2向上取整得到的值，则以Z减去该差值的绝对值得到的值作为该位置的相应元素的误差；将各个位置的误差求和，如果求得的和小于预设的门限值，则相似度达到要求；如果求得的和大于等于预设的门限值，则相似度未达到要求；其中，Z为其中一个图像中，对图像所划分的区域的个数。该步骤中，对两个矢量进行比较，判断相似度是否达到要求，采用的另一种方法为求两个矢量的各相应位置元素不一致的个数，如果该个数小于预设的门限值，则相似度达到要求；如果该个数大于等于预设的门限值，则相似度未达到要求。以上给出了本步骤中判断相似度是否达到要求的两个具体的例子，本发明方法具体实施时，不限于采用以上两种具体的方式，只要能够判断两个矢量的相似度的方案，本发明方法均可以采行。当求出初始匹配特征点集中的误匹配特征点对后，将其从初始匹配特征点集中消除。步骤103，根据初始匹配特征点集中余下的正确的匹配特征点对的数量判断两幅图像是否匹配。例如，如果初始匹配特征点集中余下的正确的匹配特征点对的数量与初始匹配特征点集中的初始匹配特征点对的数量之比超出了预设的阀值，则认为两幅图像是匹配的。 同理，在图像检索时，认为检索到正确的图像。下面再以一个具体实例对本发明方法中消除误匹配特征点的步骤(即上述步骤 102)做进一步详细说明。对于图像A与B，用SIFT算法分别求取局部特征点，并以局部特征描述子表示，得到两幅图像的初始匹配特征点集为M= {( ,^) |1 ^ i彡η}，其中η为两幅图像的匹配特征点数，n>0，MA= Iai 11 ^ i ^ n},MB = Ibi 11 ^ i ^ η}分别表示图像A与B中的初始匹配特征点。为了对由局部特征描述子求得的每一对匹配特征点进行全局特征描述，需要以其为基准在两幅图像中建立新的坐标系，这里称这对匹配特征点为基准特征点对，点对中的特征点称为基准特征点。该实施例具体包括如下处理1，利用相对位置信息进行局部特征点全局特征描述选择(a^b,) e M作为当前的基准特征点对，即: 和、分别对应为图像A和B中的基准特征点。下面以％为例，说明如何利用它与图像A中其它匹配特征点的相对位置信息构造 的全局特征描述。设特征点 在A中对应的坐标为(aix，aiy)，A中另一匹配特征点 a,· (a,· e ΜΑ)的坐标为(a1x，al￥)。
(Na
a)首先，将图像A的原点移至(aix，aiY)，则此时…在新坐标系中的坐标变换为
权利要求
1.一种图像检索/匹配方法，包括 求取两幅图像的初始匹配特征点集；判断并消除所述初始匹配特征点集中的误匹配特征点对；根据所述初始匹配特征点集中余下的正确的匹配特征点对的数量判断两幅图像是否匹配；其特征在于，判断某个初始匹配特征点对是否为误匹配特征点对，采用的方法包括 在两幅图像中，分别以该初始匹配特征点对中的初始匹配特征点为中心，将图像划分为两个以上的区域，并对各个区域进行编号；图像划分区域时，两幅图的特征点主方向保持一致，且两幅图的图像划分标准一致；在两幅图像中，分别以其他各初始匹配特征点所处区域的编号按既定顺序构成的矢量来描述该初始匹配特征点的全局特征；对两个矢量进行比较，如果相似度达到要求，则该初始匹配特征点对为正确的匹配特征点对；否则，为误匹配特征点对。
2.如权利要求1所述的图像检索/匹配方法，其特征在于，两幅图的特征点主方向保持一致，是指在两幅图中，当以该初始匹配特征点对中的初始匹配特征点为原点时，X轴与该初始匹配特征点的特征点主方向的夹角相等。
3.如权利要求1所述的图像检索/匹配方法，其特征在于，将图像划分为两个以上的区域，是指将图像划分为两个以上均勻的区域。
4.如权利要求1所述的图像检索/匹配方法，其特征在于，所述按既定顺序，是指按照预先对各个初始匹配特征点的排列顺序。
5.如权利要求1至4中任一项所述的图像检索/匹配方法，其特征在于，对两个矢量进行比较，判断相似度是否达到要求，采用的方法为求两个矢量的各相应位置元素的误差，包括如果相应位置元素的差值的绝对值小于等于Z/2向上取整得到的值，则以该差值作为该位置的相应元素的误差；如果相应位置元素的差值的绝对值大于Z/2向上取整得到的值，则以Z减去该差值的绝对值得到的值作为该位置的相应元素的误差；将各个位置的误差求和，如果求得的和小于预设的门限值，则相似度达到要求；如果求得的和大于等于预设的门限值，则相似度未达到要求；其中，Z为其中一个图像中，对图像所划分的区域的个数。
6.如权利要求1至4中任一项所述的图像检索/匹配方法，其特征在于，对两个矢量进行比较，判断相似度是否达到要求，采用的方法为求两个矢量的各相应位置元素不一致的个数，如果该个数小于预设的门限值，则相似度达到要求；如果该个数大于等于预设的门限值，则相似度未达到要求。
7.一种图像检索/匹配系统，包括初始匹配特征点集求取模块，用于求取两幅图像的初始匹配特征点集； 误匹配特征点对消除模块，用于判断并消除所述初始匹配特征点集中的误匹配特征点对；图像匹配判断模块，用于根据所述初始匹配特征点集中余下的正确的匹配特征点对的数量判断两幅图像是否匹配；其特征在于，所述误匹配特征点对消除模块包括图像区域划分子模块，用于在两幅图像中，分别以该初始匹配特征点对中的初始匹配特征点为中心，将图像划分为两个以上的区域，并对各个区域进行编号；图像划分区域时， 两幅图的特征点主方向保持一致，且两幅图的图像划分标准一致；矢量构建子模块，用于在两幅图像中，分别以其他各初始匹配特征点所处区域的编号按既定顺序构成的矢量来描述该初始匹配特征点的全局特征；矢量比较子模块，用于对两个矢量进行比较，如果相似度达到要求，则该初始匹配特征点对为正确的匹配特征点对；否则，为误匹配特征点对；误匹配消除子模块，用于消除所述初始匹配特征点集中的误匹配特征点对。
8.如权利要求7所述的图像检索/匹配系统，其特征在于，两幅图的特征点主方向保持一致，是指在两幅图中，当以该初始匹配特征点对中的初始匹配特征点为原点时，X轴与该初始匹配特征点的特征点主方向的夹角相等。
9.如权利要求7或8所述的图像检索/匹配系统，其特征在于，矢量比较子模块对两个矢量进行比较，判断相似度是否达到要求，采用的方案为求两个矢量的各相应位置元素的误差，包括如果相应位置元素的差值的绝对值小于等于Z/2向上取整得到的值，则以该差值作为该位置的相应元素的误差；如果相应位置元素的差值的绝对值大于Z/2向上取整得到的值，则以Z减去该差值的绝对值得到的值作为该位置的相应元素的误差；将各个位置的误差求和，如果求得的和小于预设的门限值，则相似度达到要求；如果求得的和大于等于预设的门限值，则相似度未达到要求；其中，Z为其中一个图像中，对图像所划分的区域的个数。
10.如权利要求7或8所述的图像检索/匹配系统，其特征在于，矢量比较子模块对两个矢量进行比较，判断相似度是否达到要求，采用的方案为求两个矢量的各相应位置元素不一致的个数，如果该个数小于预设门限，则相似度达到要求；如果该个数大于等于预设门限，则相似度未达到要求。
全文摘要
本发明公开了一种图像检索/匹配方法。该方法首先求取两幅图像的初始匹配特征点集，然后判断并消除误匹配特征点对，再根据正确匹配特征点对的数量判断两幅图像是否匹配；其中，判断是否为误匹配特征点对，包括在两幅图像中，分别以初始匹配特征点为中心，将图像均划分为两个以上的区域，并对各区域编号；在两幅图像中，分别以其他各初始匹配特征点所处区域的编号构成的矢量来描述该初始匹配特征点的全局特征；对两个矢量进行比较，如果相似度达到要求，则为正确的匹配特征点对。本发明方法不仅适应于图像尺度变化、图像嵌套、视角变化等复杂情况下的图像检索，而且具有较高的检索效率和识别准确率。本发明还相应公开了一种图像检索/匹配系统。
文档编号G06F17/30GK102521838SQ20111042710
公开日2012年6月27日 申请日期2011年12月19日 优先权日2011年12月19日
发明者严寒冰, 何跃鹰, 刘辉, 孙波, 李鹏, 王永建, 袁春阳 申请人:国家计算机网络与信息安全管理中心