专利名称：图像特征点匹配对处理、图像检索方法及设备的制作方法
技术领域：
本发明涉及通信技术领域，具体涉及一种图像特征点匹配对处理、图像检索方法及设备。
背景技术：
在图像处理领域，常需要从待匹配图像1中获取与待匹配图像2的特征点B相匹配的特征点A，称特征点A与特征点B为待匹配图像1与待匹配图像2的特征点匹配对。获取特征点匹配对后，可以根据特征点匹配对进行图像匹配、图像检索等应用。目前特征点匹配对获取方法包括如下步骤提取待匹配图像的特征点并获取特征点的不变量；对于待匹配图像1的每一个特征点j，根据特征点的不变量，从待匹配图像2 的所有特征点中获取与特征点j相匹配的特征点k，将特征点j、k作为待匹配图像1、2之间的特征点匹配对。在对现有技术的研究和实践过程中，本发明的发明人发现，目前图像特征点匹配对获取方法是从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k，由于是从待匹配图像所有特征点中获取相匹配的特征点，常常会将两个图像不同区域中的特征点判断为匹配的特征点(实际上并不是)，存在着准确性较低的缺点。
发明内容
本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。本发明实施例提供了一种图像特征点匹配对处理方法，包括提取待匹配图像的特征点，并获取特征点的不变量；提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。本发明实施例提供了一种图像检索方法，包括提取待检索图像的显著性区域，并获取该显著性区域的不变量；提取待检索图像的特征点，并获取该特征点的不变量；在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；在获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。本发明实施例提供了一种图像特征点匹配对处理设备，包括特征点不变量获取模块，用于提取待匹配图像的特征点，并获取特征点的不变量；
区域匹配对获取模块，用于提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；特征点匹配对获取模块，用于根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。本发明实施例提供了一种图像检索设备，包括待检索图像信息获取模块，用于提取待检索图像的显著性区域，并获取该显著性区域的不变量；提取待检索图像的特征点，并获取该特征点的不变量；第一匹配模块，用于在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；第二匹配模块，用于在第一匹配模块获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。从以上技术方案可以看出，相对于现有技术，本发明实施例包括如下有益效果本发明实施例的图像特征点匹配对处理方法中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为图像之间的特征点匹配对的，空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小图像特征点匹配对的误匹配率，提高了获取的图像特征点匹配对的准确性。本发明实施例的图像检索方法中，先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像，再在这一组图像中基于特征点的不变量进行图像检索，因此，本实施例只有在显著性区域的不变量能够匹配的条件下，才进行特征点的不变量的匹配；而现有技术中仅仅基于特征点的不变量进行图像检索，可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够提高图像检索的准确性。 并且，本实施例先将检索范围缩小为一组图像，再在该一组图像中进行基于特征点的不变量的图像检索，在图像库具有大量图像的情况下，可以提高图像检索的速度。
图1是本发明实施例中图像特征点匹配对处理方法的一个实施例示意图；图2是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图；图3是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图；图4是本发明实施例中图像检索方法的一个实施例的示意图；图5是本发明实施例中图像检索方法的另一实施例的示意图；图6是本发明实施例中图像特征点匹配对处理设备的一个实施例示意图7是本发明实施例中图像特征点匹配对处理设备的另一实施例示意图；图8是本发明实施例中图像检索设备的一个实施例的示意图。
具体实施例方式本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。以下分别进行详细说明。请参阅图1，本发明实施例中图像特征点匹配对处理方法的一个实施例包括101、提取待匹配图像的特征点；本实施例中，可以采用基于图像灰度图提取局部特征(SIFT，Scale InvariantFeature Transformation)算法或其它公知算法提取待匹配图像的特征点。本发明实施例中，待匹配图像为待进行特征点匹配，即获取特征点匹配对的图像。 步骤101包括分别获取一对待匹配图像的特征点。102、获取特征点的不变量；步骤102包括分别获取一对待匹配图像特征点的不变量。可以用特征点的描述子表示特征点的不变量，获取特征点的描述子的具体方法为现有公知技术，此处不作赘述。103、提取待匹配图像的显著性区域；步骤103包括分别获取每幅待匹配图像的显著性区域。提取每幅待匹配图像的显著性区域可以采用以下两种方式。方式1具体包括(1)划分特征点的归属集合，具体包括针对每幅待匹配图像所有的特征点进行如下操作以任一特征点为目标特征点，对于每一个位于目标特征点周围的特征点，若其与目标特征点之间连线上的图像点的灰度跳变在预定灰度阈值内，则将其与目标特征点归属于同一个集合。(2)确定显著性区域的边界，具体可以包括以下(a) (b)两个步骤(a)确定具有粗边界的多个区域，可以包括下面三个步骤1)先把图像尺寸缩减为预设的阈值，再将图像傅立叶变换到频谱域。2)计算图像的对数谱以及谱残差，把谱残差图像反变换到空间域，即可得到包括多个具有粗边界的区域的图像，也称为区域边界图像。3)把区域边界图像恢复到原始图像大小，恢复后的图像包括多个具有粗边界的区域的图像。(b)确定显著性区域，具体可以包括判断步骤(1)划分的一个归属集合中的所有特征点是否均包含在(a)中确定的一个区域的边界内，若是，则确定该有边界的区域为显著性区域；否则对该归属集合内的所有特征点进行如下操作以该归属集合内的任一特征点作为初始点，以预定灰度阈值进行搜索，当大于预定灰度阈值时停止搜索，并将停止时的像素点作为该归属集合的边界点，将归属集合的所有边界点构成的区域确定为显著性区域。方式2具体包括将待匹配图像等分成多块小片，再将特征点的分布密度及位置的相似度满足预定阈值的小片合并为一个区域作为显著性区域。
104、获取待匹配图像之间的显著性区域匹配对；在一对待匹配图像之间，例如待匹配图像1、2，若待匹配图像1中的显著性区域A 与待匹配图像2中的显著性区域B相匹配，则将显著性区域A、B称为待匹配图像1、2之间的显著性区域匹配对。在提取待匹配图像的显著性区域之后，可以先获取显著性区域的区域不变量，再根据该区域不变量，采用最佳欧式距离法或其它方法获取待匹配图像之间的显著性区域匹配对；也可以将待匹配图像之间，特征点的分布密度及位置的相似度满足预定阈值的显著性区域对作为显著性区域匹配对。105、根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。假设待匹配图像1中的显著性区域A与待匹配图像2中的显著性区域B为待匹配图像1、2之间的显著性区域匹配对，那么，可以采用最佳欧式距离法或其它方法，将显著性区域A中的所有特征点与显著性区域B中的所有特征点进行特征点匹配，获取显著性区域 A、B之间的特征点匹配对作为待匹配图像之间的特征点匹配对，从而保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，限定了待匹配图像之间的特征点匹配对的空间位置。此处需要说明的是，若未获取到显著性区域匹配对，则可以采用现有技术获取待匹配图像之间的特征点匹配对，即将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，获取待匹配图像之间的特征点匹配对。本实施例中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为特征点匹配对的、空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小图像特征点匹配对的误匹配率，提高了获取的图像特征点匹配对的准确性。在获取到待匹配图像之间的特征点匹配对之后，还可以对特征点匹配对进行，根据获取的特征点匹配对获取对极几何(EG，Epipolar Geometry)参数，进而判断图像是否匹配，下面对上述处理过程进行详细描述。请参阅图2，本发明实施例中图像特征点匹配对处理方法的另一实施例包括201、提取待匹配图像的特征点；步骤201请参照对步骤101的说明。202、获取特征点的不变量；步骤202请参照对步骤102的说明。203、提取待匹配图像的显著性区域；步骤203请参照对步骤103的说明。204、获取待匹配图像之间的显著性区域匹配对；步骤204请参照对步骤104的说明。
205、根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹
配图像之间的特征点匹配对； 步骤205请参照对步骤105的说明。206、判断获取到的待匹配图像之间的特征点匹配对数目是否大于等于预设的阈值，若是，则执行步骤209，否则执行步骤207 ；预设的阈值可以根据EG参数的准确性要求进行设置，EG参数的准确性要求越高， 预设的阈值越大。一般需要将阈值设置大于等于6，即待匹配图像特征点匹配对数目需要满足大于等于6，才执行步骤209，否则执行步骤207。可以理解的是，若步骤205中获取的待匹配图像之间的特征点匹配对数目小于预设的阈值，也可以采用现有公知技术重新获取待匹配图像之间的特征点匹配对，即执行步骤 207。207、将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，获取待匹配图像之间的特征点匹配对；步骤207具体可以为对于待匹配图像1的每一个特征点j，根据特征点的不变量，从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k，将特征点j、k作为待匹配图像1、2之间的特征点匹配对。步骤207具体可以采用最佳欧式距离法或其它现有公知方式实现。可以理解的是，在执行步骤204之后，可以先获取一对显著性区域匹配对之间的特征点匹配对，判断这些特征点匹配对数目是否大于等于预设的阈值，若是，则根据该对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数，否则获取下一对显著性区域匹配对之间的特征点匹配对，并判断已经获取的两对显著性区域匹配对之间的特征点匹配对数目是否大于等于预设的阈值，若是，则根据这两对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数，依次循环。若在所有显著性区域匹配对中总共获取到的特征点匹配对数目还不到预设的阈值，则执行步骤207。208、判断步骤207中获取的特征点匹配对数目是否大于等于预设的阈值，若是， 则执行步骤209，否则结束操作；209、根据特征点匹配对获取待匹配图像之间的对极几何参数。根据特征点匹配对获取待匹配图像之间的对极几何参数的具体实现方式可为现有公知技术，此处不作赘述。在获得对极几何参数之后，可以采用对极几何参数对一幅待匹配图像进行变换， 再将变换后的该图像与另一幅待匹配图像进行比对，若相似值在预定值内，则确定两幅待匹配图像相匹配。具体的变换与比对方式为现有公知技术，此处不作赘述。本实施例中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小，从而能够减小待匹配图像特征点匹配对的误匹配率，提高获取待匹配图像之间的对极几何参数的准确性。为便于理解，下面通过另一具体实施例对本发明实施例中的图像特征点匹配对处理方法进行详细阐述。
请参阅图3，本发明另一实施例中图像特征点匹配对处理方法包括301、提取待匹配图像的特征点并获取特征点的不变量；302、提取待匹配图像的显著性区域；本实施例中采用步骤103中所述的方式1，并且，在执行方式1中的( 之后，进一步包括(3)筛选显著性区域，具体可包括如下三个步骤1)若显著性区域中特征点个数小于预定个数(具体实施中可以定义预定个数为 5)，则把该显著性区域剔除。2)对于跨边界或者所包含的特征点个数占了整幅图像所有特征点个数的80%以上的显著性区域，其边界取为以该区域的中心特征点为圆心、半径为窗口大小的圆，具体实施中，窗口大小W可以为W = 30，O为获取特征点的不变量时所取的尺度大小。3)对于纹理复杂的显著性区域，其边界取为以该区域的中心特征点为圆心、窗口大小为半径的圆，具体实施中，窗口大小W可以为W = 30，σ为获取特征点的不变量时所取的尺度大小。按上述步骤筛选显著性区域，可提高提取显著性区域的准确性。303、获取显著性区域的区域不变量；本实施例中，在提取显著性区域后，先获取显著性区域的区域不变量，再根据区域不变量获取待匹配图像之间的显著性区域匹配对。本实施例中，获取显著性区域的区域不变量的具体方式如下
权利要求
1.一种图像特征点匹配对处理方法，其特征在于，包括 提取待匹配图像的特征点，并获取特征点的不变量；提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对； 根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
2.根据权利要求1所述图像特征点匹配对处理方法，其特征在于，所述获取待匹配图像之间的显著性区域匹配对，具体包括获取显著性区域的区域不变量；根据区域不变量获取待匹配图像之间的显著性区域匹配对。
3.根据权利要求2所述图像特征点匹配对处理方法，其特征在于，所述获取显著性区域的区域不变量，具体包括
4.根据权利要求3所述图像特征点匹配对处理方法，其特征在于，所述rk通过如下方式获得假设Ok为显著性区域Ak的中心特征点，显著性区域Ak的面积为Δ k，不同于Ok的两个特征点(i，力0”化和中心特征点Ok组成的三角形面积为Auk，则
5.根据权利要求1所述图像特征点匹配对处理方法，其特征在于，还包括若获取到的待匹配图像之间的特征点匹配对数目大于等于预设的阈值，则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。
6.一种图像检索方法，其特征在于，包括提取待检索图像的显著性区域，并获取该显著性区域的不变量； 提取待检索图像的特征点，并获取该特征点的不变量；在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像；所述第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；在获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
7.根据权利要求6所述图像检索方法，其特征在于，第一类索引库的预置过程具体包括对图像库所有图像的所有显著性区域的不变量进行聚类得到聚类中心，根据所述聚类中心对图像库中每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量，作为该幅图像在第一类索引库中的索引；所述在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，具体包括根据所述聚类中心对待检索图像所有显著性区域的不变量进行量化和矢量化得到待检索图像的第一矢量，在图像库中获取第一矢量与待检索图像的第一矢量匹配度满足第一预定阈值的一组图像。
8.根据权利要求6所述图像检索方法，其特征在于，第二类索引库的预置过程具体包括对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心，根据所述聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量， 作为该幅图像在第二类索引库中的索引；所述在获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像，具体包括根据所述聚类中心对待检索图像所有特征点的不变量进行量化和矢量化得到待检索图像的第二矢量，在所述一组图像中，获取在第二类索引库中，第二矢量与待检索图像的第二矢量的匹配度满足第二预定阈值的图像。
9.根据权利要求6所述方法，其特征在于，在预置第一类索引库和第二类索引库之前， 还包括对于图像库中所有图像作如下处理假设图像库中一幅图像的一个特征点Pi的描述子进行归一化后表示为巧，该副图像的其它特征点的描述子表示为《(i )，待检索图像中有一个特征点Px的描述子为 ,若 ^dl-CiiYdjt <t-\有解，其中，t为预设阀值，则将特征点Pi从图像库中的该副图像中剔除。
10.一种图像特征点匹配对处理设备，其特征在于，包括特征点不变量获取模块，用于提取待匹配图像的特征点，并获取特征点的不变量； 区域匹配对获取模块，用于提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；特征点匹配对获取模块，用于根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
11.根据权利要求10所述图像特征点匹配对处理设备，其特征在于，所述设备还包括 参数获取模块，用于若获取到的待匹配图像之间的特征点匹配对数目大于等于预设的阈值，则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。
12.—种图像检索设备，其特征在于，包括待检索图像信息获取模块，用于提取待检索图像的显著性区域，并获取该显著性区域的不变量；提取待检索图像的特征点，并获取该特征点的不变量；第一匹配模块，用于在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，所述第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；第二匹配模块，用于在第一匹配模块获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
全文摘要
本发明实施例公开了一种图像特征点匹配对处理方法，包括提取待匹配图像的特征点，并获取特征点的不变量；提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。本发明实施例还提供图像检索方法以及相关设备。本发明实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小特征点匹配对的误匹配率，提高了特征点匹配对获取准确性。
文档编号G06F17/30GK102236675SQ20101016562
公开日2011年11月9日 申请日期2010年4月30日 优先权日2010年4月30日
发明者冯德瀛, 史胜利, 张翼, 杨杰 申请人:华为技术有限公司