专利名称：点特征图像配准中的双重最近邻优先搜索方法
技术领域：
本发明涉及图像特征匹配领域，尤其涉及点特征图像配准中的双重最近邻优先搜 索方法。
背景技术：
基于特征的图像匹配方法是图像配准中很重要的一类方法，此类方法的主要流程 如下首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点 对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像 配准。特征提取和匹配是图像配准技术中的关键。基于尺度不变特征变换(Scale Invariant Features Transform, SIFT)点特征的图像配准方法是近年来研究得较广泛的 一种基于特征的图像配准方法。SIFT算法是David Lowe于2004年正式完整提出的一种图 像局部特征描述算法，SIFT点特征是基于图像金字塔的多尺度极值点检测并采用极值点邻 域的梯度方向直方图进行描述的一种图像局部特征。它对于图像的尺度缩放、旋转、平移以 及一定程度的仿射和光照变化具有良好的不变性，其建议SIFT特征向量为128维。在特征 匹配中，一般采用欧式距离、马氏距离以及标准k-d树搜索等相似性度量方法。最近邻优先 (Best Bin First, BBF)搜索算法是 Jeffrey S. Beis 和 David Lowe 于 1997 年提出的一种 针对标准k-d树搜索算法回溯次多、耗时长等缺点而改进的算法，它保证在接近标准k-d树 搜索算法的配准率的基础上大幅度减少匹配耗时。在k-d树中，每一节点都有一个超矩形，且节点在超矩形里面。超矩形是一个向量 空间，其维数与特征空间的维数相同，空间里的每一维分量都在一个区间范围内。兄弟节点 的超矩形中只有某一维的分量区间不同，但却是相邻的，比如左兄弟节点的某一维向量区 间为(0，100]，右兄弟节点的相同维的向量区间为(100，200]，其余所有维的分量区间都相 同。父亲节点的超矩形是两个儿子的超矩形所组合而成的。标准k-d 树搜索算法(作者 Jon Louis Bentley.文章名Multidimensional binary search trees used for associativesearching.杂志Communi cat ions of the ACM(Association forComputing Machinery), 18 (9) :509517，1975.)在算法回溯时，需要 在兄弟节点所在的相邻超矩形里检查是否含有离目标更近特征向量，这大大增加算法时 间。BBF 搜索算法(作者 Jeffrey S. Beis andDavid G.Lowe.文章名Shape indexing using approximatenearest-neighbor search in high dimensional spaces ；期干Ij : Proceedings of the IEEE Conference on Computer Vision andPattern Recognition, pages 1000-1006,1997)是在标准k_d树搜索算法在算法回溯前，先计算目标向量与相邻 超矩形的距离，而且按从近到远的顺序将这些超矩形排序，然后在算法回溯时，则依次从最 近超矩形起搜索比较。另外，BBF搜索算法限制相邻超矩形的数目(SearchSt印)。BBF搜 索算法图像配准率，随着SearchSt印增加而提高，当SearchSt印大到一定数时，BBF的配 准率与标准k-d树搜索算法的配准率相等。虽然BBF搜索算法效率有很大提高，但配准率没有提高。双重最近邻优先(Double Best Bin First, DBBF)搜索方法是BBF搜索算法上增 加匹配验证功能。在特征匹配过程中，分别建立基图和待配准图的k-d树，特征匹配在这两 棵k-d树上进行。DBBF搜索方法的配准率比BBF搜索算法有较大的提高，原因是它在BBF 搜索算法匹配结果中再次利用BBF搜索算法去除一些不正确的匹配对。DBBF搜索方法与标 准k-d树搜索算法相比，匹配率和效率都有很大的提高。
发明内容
本发明所解决的技术问题是提供匹配率高和效率高的点特征图像配准中的双重 最近邻优先搜索方法。本发明所采用的技术方案是点特征图像配准中的双重最近邻优先搜索方法，其 特征在于该方法包括A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量 空间 _Left ；B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配 图的特征向量空间 _Right ；采用SIFT点特征，其匹配性能明显高于同类型的局部特征；C、利用基图的特征向量空间θ _Left建立标准的k-d树kdTree_Left，利用待匹配 图的特征向量空间 _Right建立标准的k-d树kdTree_Right ；D、在待匹配图的特征向量空间 _Right中取出一特征向量T_Right ；E、利用最邻近优先搜索算法，在基图的k-d树kdTree_Left中分别找出与特征向 量T_Right距离最近的特征向量T-Left_NeareSt和与特征向量T-Right距离次近的特征 向量 T-Left_Nearer ；
基图的特征向量空间 _Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I ； 若比值小于0.8，转至步骤G;其中T_Right[k]表示特征向量T_Right中的第k维分量；T_Left_Nearest[k]表示特征向量 T_Left_Nearest 中的第 k 维分量；T_Left_Nearer [k]表示特征向量 T_Left_Nearer 中的第 k 维分量；k = 0，1，· · ·，127 ；G、利用最邻近优先搜索算法，在待匹配图的特征向量空间 _Right建立的标 准的k-d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_ Right，；H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right 与特征向量T_Right’不同，则认为在基图的特征向量空间 _Left中没有与特征向量T_
Y4 (T_Right[k] — T_Left_Nearest[k])
的比值，若比值大于0. 8，则认为在Right相匹配的特征向量，转至步骤I ；若特征向量T_Right与特征向量T_Right’相同，则 特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；I、判断待匹配图的特征向量空间 _Right中的特征向量是否取完，若待匹配图 的特征向量空间 _Right中的特征向量取完，则方法停止，否则转至步骤D。根据本发明所述的点特征图像配准中的双重最近邻优先搜索方法的优选方案，所 述利用基图的特征向量空间 _Left建立标准的k-d树的方法包括Cl、制定k-d树节点分辨器的原则利用基图的特征向量空间 _Left, _Left = (T1, T2, ... , ΤΝ}，其中，每个特征 向量Ti的维数为128，i = 1，2，...，N;遍历特征向量空间 _Left，找出每一维的最大值 max (TiM) = maxk 和最小值 HiinCTi [k]) = mink，其中 k = 0，1，· · ·，127 ；计算每一维的最 大值maxk与最小值mink的差值Distk = maxk-mink, (1)然后找出其中最大的差值Distmax = max (Dist0, Dist1, . . . , Dist127), (2)根据(2)式得出Distmax所对应的k，其中，k叫做分辨维；然后在基图的特征向量 空间 _Left中找出特征向量Ti,特征向量Ti必须满足条件min (I Ti [k] - (maxk+mink)/2 I)，(3)其中，TiM表示特征向量Ti在分辨维k的分量值；i = 1,2, ... ,N ；C2、构造k-d 树C21、将在基图的特征向量空间 _Left中找出符合分辨器原则的特征向量Ti作 为k-d树的根节点，然后在基图的特征向量空间 _Left中去掉Ti,并遍历基图的特征向量 空间 _Left 如果特征向量&在分辨维k的分量值小于等于特征向量Ti在分辨维k的 分量值 Ti [k]，即 Tj [k]彡 Ti [k]，其中，j = 1，2，· · ·，N，k = 0，1，· · ·，127，且 j 兴 i，则把特 征向量Tj放在根节点左边，进入步骤C22 ；如果特征向量1^在分辨维k的分量值1^[ 大于 特征向量Ti在分辨维k的分量值Ti [k]，则把特征向量L放在根节点右边，进入步骤C23 ；C22、将放在根节点左边的特征向量Tj组成一个新的特征向量空间，利用上述比较 分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立 一个新k-d树，新k-d树是当前根节点的子树，进入步骤C24 ；C23、将放在根节点右边的特征向量Tj组成一个新的特征向量空间，利用上述比较 分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立 一个新k-d树，新k-d树是当前根节点的子树；C24、判断基图的特征向量空间 _Left中的特征向量是否都被包含到k_d树中， 当特征向量空间 _Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21 ； 当特征向量空间 _Left中的特征向量全部都被包含到k-d树中时，结束构造k-d树。一个好的分辨器有助于生成平衡的k-d树，平衡的k-d树可明显提高搜索效率。本发明所述的点特征图像配准中的双重最近邻优先搜索方法的有益效果是双重 最近邻优先搜索方法DBBF在BBF搜索算法上增加匹配验证功能，在特征匹配过程中，分别 建立基图和待配准图的k-d树，特征匹配在这两棵k-d树上进行，同时，由于在BBF搜索算法匹配结果中再次利用BBF搜索算法去除一些不正确的匹配对，使双重最近邻优先搜索方 法DBBF的配准率比BBF搜索算法有较大的提高，并且双重最近邻优先搜索方法DBBF与标 准k-d树搜索算法相比，匹配率和效率都有很大的提高；可广泛的应用在图像特征匹配领 域。
以下将结合附图对本发明的实施例作进一步的说明。图1是图像配准算法部分流程图。图2是提取图像SIFT特征的算法流程图。图3是DBBF搜索方法流程图。图4是将基图旋转15度作为待配准图的配准率比较图。图5是将基图旋转45度作为待配准图的配准率比较图。图6是将基图旋转75度作为待配准图的配准率比较图。图7是将基图旋转15度作为待配准图的耗时比较图。图8是将基图旋转45度作为待配准图的耗时比较图。图9是将基图旋转75度作为待配准图的耗时比较图。
具体实施例方式参见图1，点特征图像配准中的双重最近邻优先搜索方法，其特征在于该方法包 括A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量 空间 _Left ；B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配 图的特征向量空间 _Right ；其中，在步骤A、B中，提取图像的SIFT点特征的主要流程如图2所示；C、利用基图的特征向量空间θ _Left建立标准的k_d树kdTree_Left，利用待匹配 图的特征向量空间 _Right建立标准的k-d树kdTree_Right ；其中，所述利用基图的特征向量空间 _Left建立标准的k-d树的方法包括Cl、制定k-d树节点分辨器的原则利用基图的特征向量空间 _Left, Left = (T1, T2, ... , ΤΝ}，其中，每个特征 向量Ti的维数为128，i = 1，2，...，N;遍历特征向量空间 _Left，找出每一维的最大值 max (TiM) = maxk 和最小值 HiinCTi [k]) = mink，其中 k = 0，1，· · ·，127 ；计算每一维的最 大值maxk与最小值mink的差值Distk = maxk-mink, (1)然后找出其中最大的差值Distmax = max (Dist0, Dist1, . . . , Dist127), (2)根据⑵式得出Distmax所对应的k，其中，k叫做分辨维；然后在基图的特征向量 空间 _Left中找出特征向量Ti,特征向量Ti必须满足条件min (I Ti [k] - (maxk+mink)/2 I)，(3)
其中，TiM表示特征向量Ti在分辨维k的分量值；i = 1,2, ... ,N ；C2、构造k-d 树C21、将在基图的特征向量空间 _Left中找出符合分辨器原则的特征向量Ti作 为k-d树的根节点，然后在基图的特征向量空间 _Left中去掉Ti,并遍历基图的特征向量 空间 _Left 如果特征向量η在分辨维k的分量值TJk]小于等于特征向量Ti在分辨维k的 分量值 Ti [k]，即 Tj [k]彡 Ti [k]，其中，j = 1，2，· · ·，N，k = 0，1，· · ·，127，且 j 兴 i，则把特 征向量Tj放在根节点左边，进入步骤C22 ；如果特征向量1^在分辨维k的分量值1^[ 大于 特征向量Ti在分辨维k的分量值Ti [k]，则把特征向量L放在根节点右边，进入步骤C23 ；C22、将放在根节点左边的特征向量Tj组成一个新的特征向量空间，利用上述比较 分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立 一个新k-d树，新k-d树是当前根节点的子树，进入步骤C24 ；C23、将放在根节点右边的特征向量Tj组成一个新的特征向量空间，利用上述比较 分辨维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立 一个新k-d树，新k-d树是当前根节点的子树；C24、判断基图的特征向量空间 _Left中的特征向量是否都被包含到k_d树中， 当特征向量空间 _Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21 ； 当基图的特征向量空间 _Left中的特征向量全部都被包含到k-d树中时，结束构造k-d 树。利用待匹配图的特征向量空间 _Right建立标准的k-d树kdTree_Right的方法 同利用基图的特征向量空间 _Left建立标准的k-d树的方法，在此不累述；D、在待匹配图的特征向量空间 _Right中取出一特征向量T_Right ；E、利用最邻近优先搜索算法BBF，在基图的k-d树kdTree_Left中分别找出与特征 向量T_Right距离最近的特征向量T_Left_NeareSt和与特征向量T_Right距离次近的特 征向量 T_Left_Nearer ；
基图的特征向量空间 _Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I ； 若比值小于0.8，转至步骤G ；其中T_Right [k]表示特征向量T_Right中的第k维分量；T_Left_Nearest[k]表示特征向量 T_Left_Nearest 中的第 k 维分量；T_Left_Nearer [k]表示特征向量 T_Left_Nearer 中的第 k 维分量；k = 0,1, . . . , 127 ；G、利用最邻近优先搜索算法BBF，在待匹配图的特征向量空间 _Right建立的 标准的k-d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_ Right，；
Σ (T—Right[k] - T—Left—Nearest[kJ)
的比值，若比值大于0. 8，则认为在
H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right 与特征向量T_Right’不同，则认为在基图的特征向量空间 _Left中没有与特征向量T_ Right相匹配的特征向量，转至步骤I ；若特征向量T_Right与特征向量T_Right’相同，则 特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；I、判断待匹配图的特征向量空间 _Right中的特征向量是否取完，若待匹配图 的特征向量空间 _Right中的特征向量取完，则方法停止，否则转至步骤D ；其中，步骤D 至步骤I的方法流程如图3所示；J、显示匹配结果。本发明所述的点特征图像配准中的双重最近邻优先搜索方法DBBF在BBF搜索算 法上增加匹配验证功能，在BBF搜索算法匹配结果中去除一些不正确的匹配，使匹配率有 较大的提高，本发明所述的双重最近邻优先搜索方法DBBF与标准的k-d树搜索算法相比， 匹配率和效率都有很大的提高。下面结合图4至图9具体说明采用不同算法进行图像配准的实验结果实验将一幅256*256大小的灰度图像作为基图，在基图的(50，50)位置截取大小 为151*201，并分别旋转15、45、75度的图作为待配准图，将所得到的三张待配准图分别和 基图做配准实验，每次实验中，采用BBF搜索算法和采用DBBF搜索方法中的相邻超矩形的 数目SearchStep从1到20依次取值，分别做20次配准。另外再采用遍历搜索算法和标准 k-d树搜索算法做配准，比较配准所用的时间和配准率，并显示其结果。图4、5、6是三个配 准实验的配准率比较图，图7、8、9是三个配准实验的耗时比较图，从三个实验结果中可以 得出以下结论UDBBF搜索方法的配准率最高，标准k_d树搜索算法次之，BBF和遍历搜索算法最 低；2、在相同的相邻超矩形的数目SearchSt印s的情况下，DBBF搜索方法比BBF搜索 算法的配准率高出10-30% ；3、随着相邻超矩形的数目SearchSt印s的增大，BBF搜索算法的配准率越来越接 近标准k-d树搜索算法；4、在相同的相邻超矩形的数目SearchSt印s的情况下，DBBF搜索方法比BBF搜索 算法的耗时约多，但是与标准k-d树和遍历搜索算法耗时相比，依然很少。
权利要求
点特征图像配准中的双重最近邻优先搜索方法，其特征在于该方法包括A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；C、利用基图的特征向量空间Θ_Left建立标准的k d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k d树kdTree_Right；D、在待匹配图的特征向量空间Θ_Right中取出特征向量T_Right；E、利用最邻近优先搜索算法，在基图的k d树kdTree_Left中分别找出与特征向量T_Right距离最近的特征向量T_Left_Nearest和与特征向量T_Right距离第二近的特征向量T_Left_Nearer；F、判断的比值，若比值大于0.8，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若比值小于0.8，转至步骤G；其中T_Right[k]表示特征向量T_Right中的第k维分量；T_Left_Nearest[k]表示特征向量T_Left_Nearest中的第k维分量；T_Left_Nearer[k]表示特征向量T_Left_Nearer中的第k维分量；k＝0，1，...，127；G、利用最邻近优先搜索算法，在待匹配图的特征向量空间Θ_Right建立的标准的k d树kdTree_Right中找出与特征向量T_Left_Nearest最近距离的特征向量T_Right’；H、判断特征向量T_Right与特征向量T_Right’是否相同，若特征向量T_Right与特征向量T_Right’不同，则认为在基图的特征向量空间Θ_Left中没有与特征向量T_Right相匹配的特征向量，转至步骤I；若特征向量T_Right与特征向量T_Right’相同，则特征向量T_Right和特征向量T_Left_Nearest成为一对匹配；I、判断待匹配图的特征向量空间Θ_Right中的特征向量是否取完，若待匹配图的特征向量空间Θ_Right中的特征向量取完，则方法停止，否则转至步骤D。FSA00000326912500011.tif
2.根据权利要求1所述的点特征图像配准中的双重最近邻优先搜索方法，其特征在 于所述利用基图的特征向量空间 _Left建立标准的k-d树的方法包括 Cl、制定k-d树节点分辨器的原则利用基图的特征向量空间 _Left, _Left = (T1, T2, ... , ΤΝ}，其中，每个特征向 量凡的维数为128，i = 1,2, ...，N;遍历特征向量空间 _Left，找出每一维的最大值 max (TiM) = maxk 和最小值 HiinCTi [k]) = mink，其中 k = 0，1，· · ·，127 ；计算每一维的最 大值maxk与最小值mink的差值 Distk = maxk_mink，(1)然后找出其中最大的差值的比值，若比值大于0. 8，则认为在基图Distmax = max (Dist0, Dist1,…，Dist127)， (2)根据(2)式得出Distmax所对应的k，其中，k叫做分辨维；然后在基图的特征向量空间 _Left中找出特征向量Ti,特征向量Ti必须满足条件 min (I Ti [k] - (maxk+mink) /2 |), (3)其中，Ti [k]表示特征向量Ti在分辨维k的分量值；i = 1，2，...，N ;C2、构造k-d树 C21、将在基图的特征向量空间 _Left中找出符合分辨器原则的特征向量Ti作为k-d 树的根节点，然后在基图的特征向量空间 _Left中去掉Ti,并遍历基图的特征向量空间 _Left 如果特征向量Ti在分辨维k的分量值Ti [k]小于等于特征向量Ti在分辨维k的分量值 Ti [k]，即 Tj. [k]彡1\[10，其中，」=1，2，...，N，k = 0，1，...，127，且 j Φ i，则把特征向量 Tj放在根节点左边，进入步骤C22 ；如果特征向量1^在分辨维k的分量值1^[ 大于特征向 量Ti在分辨维k的分量值Ti [k]，则把特征向量L放在根节点右边，进入步骤C23 ；C22、将放在根节点左边的特征向量Tj组成一个新的特征向量空间，利用上述比较分辨 维对应特征向量的分量方法，找出新根节点作为k-d树根节点的左子根节点，再建立一个 新k-d树，新k-d树是当前根节点的子树，进入步骤C24 ；C23、将放在根节点右边的特征向量Tj组成一个新的特征向量空间，利用上述比较分辨 维对应特征向量的分量方法，找出新根节点作为k-d树根节点的右子根节点，再建立一个 新k-d树，新k-d树是当前根节点的子树；C24、判断基图的特征向量空间 _Left中的特征向量是否都被包含到k-d树中，当特 征向量空间 _Left中的特征向量还没有全部都被包含到k-d树中时，返回步骤C21 ；当基 图的特征向量空间 _Left中的特征向量全部都被包含到k-d树中时，结束构造k-d树。
全文摘要
本发明提供一种点特征图像配准中的双重最近邻优先搜索方法，其特征在于该方法包括A、读取基图，提取基图的尺度不变特征变换(SIFT)点特征，组成基图的特征向量空间Θ_Left；B、读取待匹配图，提取待匹配图的尺度不变特征变换(SIFT)点特征，组成待匹配图的特征向量空间Θ_Right；C、利用基图的特征向量空间Θ_Left建立标准的k-d树kdTree_Left，利用待匹配图的特征向量空间Θ_Right建立标准的k-d树kdTree_Right；D、在待匹配图的特征向量空间Θ_Right中取出特征向量T_Right；E、利用最邻近优先搜索算法，本发明可广泛的应用在图像特征匹配领域。
文档编号G06F17/30GK101976256SQ20101052724
公开日2011年2月16日 申请日期2010年11月1日 优先权日2010年11月1日
发明者刘一鸣, 周尚波, 李昆, 钟将 申请人:重庆大学