专利名称：一种基于重叠区域sift特征点的图像拼接方法
技术领域：
本发明涉及一种图像拼接方法，尤其涉及一种基于重叠区域SIFT特征点的图像拼接方法，属于图像处理技术领域。
背景技术：
图像拼接是把描述同一场景的相互之间有部分重叠的一系列图像拼接成一幅宽视角图像的技术，它解决了图像视野和图像分辨率之间的矛盾，通过图像拼接即可得到宽 视野、高分辨率的图像。图像拼接技术有着广泛的应用。图像拼接技术包括图像配准和图像融合，其中图像配准是图像拼接的核心和关键。目前常用的图像配准方法主要分为基于灰度信息的图像配准方法、基于变换域的图像配准方法和基于特征的图像配准方法等三种方法。基于特征的图像配准方法速度快、对灰度变化、图像形变和遮挡等都有一定的鲁棒性(Barbara Zitova, Jan Flusser.Imageregistration methods: a survey[J]. Image and Vision Computing,2003,21 (11):977-1000.)，所以它是目前图像配准和图像拼接技术中最常用的方法。1999年，David G. Lowe提出用尺度不变的特征(Scale-Invariant Feature)来进行物体识别和图像匹配等(David G. Lowe. Distinctive Image Features from Scale-InvariantKeypoints[J]. International Journal ofComputer Vision, 2004, 60 (2):91-110.),并于2004年总结了当时的基于不变量技术的特征检测方法，正式提出了尺度不变特征变换，简称 SIFT (SIFT Scale-Invariant FeatureTransform) (David G.Lowe. DistinctiveImage Features from Scale-Invariant Keypoints[J]. International Journal ofComputer Vision, 2004，60 (2) :91-110. )。SIFT算子是一种图像的局部描述子，基于尺度空间，对图像平移、旋转、缩放保持不变性，而且对于仿射变换、光照变化和3D投影变换也具有一定的鲁棒性。2005年，K. Mikolajczyk和C. Schmid对包括SIFT算子在内的十种局部描述子做了对比性实验，实验结果表明SIFT算子在同类算子中具有最强的健壮性(Krystian Mikolajczyk and Cordelia Schmid. A performanceevaluation of localdescriptors[J]. IEEE Transactions on Pattern Analysis and Machinelntelligence, 2
005,27(10) :1615-1630.)。所以图像拼接中经常使用SIFT算法提取图像的特征点。目前，基于SIFT的图像拼接算法的一般流程是首先利用SIFT算法提取两幅待拼接图像的全部特征点；然后根据特征点之间的欧氏距离匹配特征点，形成匹配对，并对匹配对提纯；再根据匹配对进行图像融合，完成图像拼接。假设利用SIFT算法提取的两幅图像的特征点数分别为M个和N个，在计算欧氏距离时，共需要计算MXN个欧氏距离。对于一幅图像来说，其具有的特征点数往往超过数百甚至上千个，这样就需要计算数十万个欧氏距离，计算量较大，影响算法运行速度。图像拼接技术中，决定拼接能否成功的关键是图像重叠区域，非重叠区域对图像拼接没有直接作用。所以非重叠区域的特征点提取不但增加计算量，而且容易产生错误的匹配对，影响匹配效果。
发明内容
本发明所要解决的技术问题在于克服现有技术中存在的计算量过大的不足，提出一种基于重叠区域SIFT特征点的图像拼接方法，只提取图像重叠区域内的特征点，大量减少提取的特征点数和算法计算量，同时减少错误的匹配对，提高匹配效果。本发明具体采用以下技术方案一种基于重叠区域SIFT特征点的图像拼接方法，首先确定待拼接的两幅图像的重叠区域；确定两幅待拼接图像重叠区域中的SIFT特征点，并提取各特征点的SIFT特征向量；根据SIFT特征向量对两幅图像的特征点进行匹配，并对匹配对进行提纯；根据提纯后的匹配对对两幅待拼接图像的重叠区域进行图像融合。传统的SIFT算法采用128维描述子对特征点进行特征描述，考虑到图像拼接不同于图像识别，只需要特征点的少量描述信息，而特征点过多的描述信息会增加特征点匹配时间。为了进一步降低不必要的特征点匹配时间，本发明进一步对SIFT特征向量提取方法 进行了改进，具体按照以下方法提取各特征点的SIFT特征向量步骤A、选取以特征点为中心，半径为k个像素的圆环形邻域，k为大于2的整数；将该圆环形邻域沿径向划分为m个同心的小圆环子区域，m为大于等于2小于k的整数；m个同心的小圆环子区域由内向外依次编号为i=l，2, ···, m ；步骤B、计算所述圆环形邻域中每个像素点的梯度值和梯度方向；步骤C、将梯度的方向等分为η个方向范围，η为大于等于2的整数，统计每个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和；以第i个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和作为该第i个小圆环子区域的特征向量Vi (i = I, 2, -,m)的η个元素；从最内层的第I个小圆环子区域中，选出梯度方向落在其内的所有像素点的梯度值之和最大的方向范围，循环左移/右移特征向量V1中的元素，使得该方向范围的梯度值之和为特征向量4的第一个元素，其余小圆环子区域的特征向量做相同的移动，得到Vi=(Vii，Vi2,…，vij，…vin) ；W'J nXm维的向量V=W1, V2,…，Vm) = (vn, V12,…，vln, V21, V22,…，v2n,…，Vij,…，vml, Vm2,…，Vnin)即为该特征点的 SIFT特征向量。优选地，本发明利用以下方法确定待拼接的两幅图像的重叠区域步骤I、对于两幅待拼接图像I1 (X，y)、I2 (X，y)，设其大小分别为Qrow1, Col1]和[row2, col2],通过尾部补O,使得两幅图像大小均为[rowmax, colmax],其中，rowmax=max Irow1, row2}，colmax=max (Col1, col2}；步骤2、利用相位相关法计算I2 (X，y)相对于I1 (x, y)的位移量Δ x、Ay ；步骤3、比较 Δ X、Δ y,若 Δ x | > | Ay 且 Δ χ〈0,贝丨J I2 (χ, y)在 I1 (χ, y)下方，重叠区域范围近似为 Il [rowl-1 Δ χ I :rowl, I: coll]和 12 [I: | Δ χ |, I col2];若
Δχ|>| Ay且Δχ>0,贝丨J I2(x, y)在I1U, y)上方，重叠区域范围近似为Ι1[1: I Δχ|, I coll]和 12 [row2- Δ χ :row2, I: col2]；若 Δ χ | < | Δ y | & Δ y<0,则 I2 (x, y)在 I1 (x, y)右边，重叠区域范围近似为 Il [I: rowl, coll- Δ y | :coll]和 I2[l:row2, I: I Δ y | ];若Δχ|〈| Ay |&Ay>0,则 I2(x, y)在 I1U, y)左边，重叠区域范围近似为 Il [I: rowl, I: | Ay|]和 12[I:row2, col2- Δ y|col2]。本发明针对现有基于特征的图像拼接算法因提取整幅图像特征而导致算法计算量大、非重叠区域特征容易造成后续匹配错误和计算冗余等问题，提出一种基于重叠区域SIFT特征点的图像拼接方法，仅提取图像重叠区域的特征点，减少了特征点数量，大幅降低了算法计算量；并采用改进的SIFT特征向量提取方法表述特征点，进一步降低了特征点匹配时的计算量，并降低了误匹配率。
图I是本发明的图像拼接算法的流程图；图2是现有技术中的极值点检测示意图；图3(a)、图3(b)分别是本发明提取特征点SIFT特征向量时的圆环形邻域的径向划分、圆周方向划分示意图；
图4是大小相同、无旋转且光照相同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(C)是拼接效果图；图5是大小不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(C)是拼接效果图；图6是有旋转角度的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(C)是拼接效果图；图7是光照不同的两幅图像采用本发明方法的拼接效果图；其中，图(a)、(b)是待拼接的图像，图(C)是拼接效果图；图8是利用本发明方法在柱面坐标空间中对图7(a)、7 (b)进行拼接得到的柱面全景图；图9是本发明方法与现有SIFT算法的效果比较；其中图(a)是算法提取到的特征点数比较，图(b)是算法正确匹配对数比较，图(C)是算法正确匹配率比较，图(d)是算法总消耗时间比较；图10是重叠区域比例为50%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(C)为拼接效果图；图11是重叠区域比例为25%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(C)为拼接效果图；图12是重叠区域比例为10%的图像采用本发明方法的拼接效果图，其中图(a)、(b)是待拼接图像，图(C)为拼接效果图；图13是1X6型的图像系列拼接效果图，其中(ar(f)是待拼接的图像系列，(g)是采用本发明方法的拼接效果图；图14是3X3型的图像系列拼接效果图，其中(a广(h)是待拼接的图像系列，(j)是采用本发明方法的拼接效果图。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明本发明的思路是针对现有基于SIFT特征点的图像拼接算法，存在计算量大和非重叠区域内的特征点容易发生匹配错误等问题，首先确定待拼接图像的重叠区域，然后在重叠区域内提取图像的SIFT特征点，并利用改进的SIFT特征向量描述描述特征点，进行后续的匹配等运算，减少了算法运算量，提高了运算速度和匹配率。本发明的图像拼接方法，其流程如图I所示，具体按照以下步骤步骤I、确定待拼接的两幅图像的重叠区域。图像重叠区域的确定可采用现有的各种方法，例如[王悦，吴云东，张愧珂.自由像片重叠区域的确定与拼接·海洋测绘[J]，2008，28(5) :65-68]，[ang K H, Jung S K, LeeM
H.Constructing cylindrical panoramic image using equidistant matching[J].Electr onicsLetters, 1999, 35 (20) : 1715-1716.]等文献中记载的方法，为了减少计算量并实现大小不同的两幅图像的拼接，本发明利用相位相关法近似计算图像的重叠区域，具体如下对于大小不同的两幅待拼接图像I1U, y)、I2(x，y)，其大小分别为Qrow1, colj、 [row2, col2],记 rOwmax= {row^ rowj，Colmax= (Col1, colj ,经过尾部补 O 使得两幅图像大小均为[r0Wmax，COlfflaJ，此时两幅图像分别变为Γ i (X，y)和Γ 2 (x, y)。假设两者之间存在一个大小为(ΛΧ，Δγ)的平移量，用函数表示两幅图像之间的关系为I1(Xj)=I2(X-AXj-Ay) (I)对上式作傅里叶变换,F1 (U，V)和F2 (U，V)分别是Γ ! (x, y)和Γ 2 (x, y)的傅里叶变换，由傅里叶变换的时移性质得F1 (U，V) = F2 (U，V) e_J2 π (ιιΔχ+νΔ ) (2)那么两幅图像Γ I (X，y)和Γ 2 (x, y)的互功率谱为 Piu V) =( /，V) =)其中<0^，)是匕(11，0的复共轭。而互功率谱P(u，v)又可以表示为P(u,V)==\^(α,ν)\β^.\Ε；(η,ν)\β^- =g ((句
，\Fx{u,v)F*{u,v)\\Fx{u,v)F*(u,v)\由式(3)和式(4)，可以得到ρΙ^Ψι-Ψι) _ e-j2z(n&,y+v&y)(5)可以看出两幅图像之间的相位差等于两幅图像的互功率谱的相位。式(5)傅里叶反变换得p(x，y) =—y)} = δ (χ- Δ χ, y- Δ y) (6)函数p(x，y)是一个冲击函数，在两幅图像相对位移为(Λχ，Ay)处取得最大值，其他位移处趋向于零，求出式出)中冲击函数的峰值点所对应的位置，即可确定两幅图像之间的位移量
(7)(Ar, Δι·) = arg max ρ{λ\ y)
**X'V取Λ X、Ay绝对值大者为参考量，比较得Λ χ绝对值大时，若Λ χ为负，则I2 (x，y)在I1Uy)下方，反之则在上方，此时两幅图像是上下重叠的，且重叠区域可以限定为[rowmax_ I Δ X I rowmax, ColmaJ 和[I: I Δ χ I，colmax]；比较得 Δ y 绝对值大时，若 Δ y 为负，则I2(x, y)在I1Oc, y)右边，反之则在左边，此时两幅图像是左右重叠的，且重叠区域可以限定为[rowmax，coImax-I ΔΥ COlmaJ 和[rowmax, I: I Ay I]。由此便确定了重叠区域的范围。步骤2、确定两幅待拼接图像重叠区域中的SIFT特征点。
本发明中重叠区域中的SIFT特征点的确定采用传统SIFT算法，David. Lowe提出的SIFT算法可以分为以下几个步骤(I)选用高斯差分函数G(x，y，σ)与输入图像I (x，y)卷积得到尺度空间D(x, y, σ )为D (x, y, σ ) = (G (x, y, k σ ) -G (χ, y, σ )) *1 (χ, y) =L (χ, y, k σ )-L(x, y, σ )；(2)将高斯差分图像中的每个像素点和它周围26个像素点(相同尺度的8个相邻点和上下相邻尺度对应的9个邻近像素点)比较，如图2所示，只有当此像素点比它相邻的26个像素点都大或者都小时,才选择此像素点作为极值点；(3)在某极值点A处对高斯差分图像D(x，y，σ )进行泰勒展开
权利要求
1.一种基于重叠区域SIFT特征点的图像拼接方法，其特征在于，首先确定待拼接的两幅图像的重叠区域；确定两幅待拼接图像重叠区域中的SIFT特征点，并提取各特征点的SIFT特征向量；根据SIFT特征向量对两幅图像的特征点进行匹配，并对匹配对进行提纯；根据提纯后的匹配对对两幅待拼接图像的重叠区域进行图像融合。
2.如权利要求I所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述提取各特征点的SIFT特征向量具体按照以下方法 步骤A、选取以特征点为中心，半径为々个像素的圆环形邻域j为大于2的整数；将该圆环形邻域沿径向划分为 个同心的小圆环子区域， 为大于等于2小于々的整数#个同心的小圆环子区域由内向外依次编号为i =1，2， ，》; 步骤B、计算所述圆环形邻域中每个像素点的梯度值和梯度方向； 步骤C、将梯度的方向等分为/7个方向范围，/7为大于等于2的整数，统计每个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和；以第i个小圆环子区域中梯度方向落在各方向范围的所有像素点的梯度值之和作为该第i个小圆环子区域的特征向量^(1 = 1,2,--^)的个元素；从最内层的第I个小圆环子区域中，选出梯度方向落在其内的所有像素点的梯度值之和最大的方向范围，循环左移/右移特征向量Ti中的元素，使得该方向范围的梯度值之和为特征向量K的第一个元素，其余小圆环子区域的特征向量做相同的移动，得到G = hl，Vi2维的向量7 = …VlfV2VV2'2,-’…今--、Vml’Vm2r 即为该特征点的SIFT特征向量。
3.如权利要求2所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述ITl的取值满足MX 2 <128。
4.如权利要求3所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述hnun的取值分别为8、4、8。
5.如权利要求2所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述步骤C之后还包括 步骤D、将步骤C所得到的向量T中值大于0. 2的元素值替换为0. 2。
6.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，利用以下方法确定待拼接的两幅图像的重叠区域 步骤101、对于两幅待拼接图像i)、Z2 (x, y)，设其大小分别为[Kw1^oi1]和[層2’吨],通过尾部补0，使得两幅图像大小均为[rowmax，Colmsi ],其中，_丽=max {row1； ToW2J , Colmx = max{c￡ i1；cc/2}； 步骤102、利用相位相关法计算/2fey)相对于Z1(Xj)的位移量Al Ly , 步骤103、比较Ax, Ay ,若卜M且Ax <0 ,则hi\y)在从下方，重叠区域范围近似为|Ax|: rewl，l: coH]和 /2[1: |Ax|，l: m 2];若 |Ax| > ^y\ 且 Az > 0 ,则 A(U)在Z1(U)上方，重叠区域范围近似为謂I: |Ax|,l: coil]和/2[row2- |圳:row2,l: eoi2];若|Ax| <|知|&4>'<0 ,则l2(x,y)在I1(Xj)右边，重叠区域范围近似为/1[1: TOwl,coil - |Aj|: co/1]和 /2[1: row2,l: |Ay|]；若 |Ax| < |Ay|&Ay > 0 ,则 I2 (x,y)在 Z1(U)左边,重叠区域范围近似为 Al. rowl,l: |Ay|]和 /攻1: raw2’c0l'2-|Aj|: co!2]。
7.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，在根据SIFT特征向量对两幅图像的特征点进行匹配之前，先对SIFT特征向量进行归一化处理。
8.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，采用随机采样一致性算法对匹配对进行提纯。
9.如权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法，其特征在于，所述根据SIFT特征向量对两幅图像的特征点进行匹配，具体按照以下方法对于其中一幅待拼接图像的任意一个特征点T利用Best-Bin-First算法搜索另一幅待拼接图像中与特征点P的SIFT特征向量距离最近和次近的特征占/和g';然后判断P与f'以及与的SIFT特征向量之间的距离比值是否小于一预设阈值，如是，则特征点匹配成功，即i.P,q)为一对匹配点；否则，特征点匹配失败。
10.一种存在光学成像差异的图像拼接方法，其特征在于，首先将两幅存在光学成像差异的待拼接图像利用投影变换变换到柱面坐标空间，然后利用权利要求1-5任一项所述基于重叠区域SIFT特征点的图像拼接方法进行图像拼接。
全文摘要
本发明公开了一种基于重叠区域SIFT特征点的图像拼接方法，属于图像处理技术领域。本发明针对现有基于特征的图像拼接算法因提取整幅图像特征而导致算法计算量大、非重叠区域特征容易造成后续匹配错误和计算冗余等问题，提出一种基于重叠区域SIFT特征点的图像拼接方法，仅提取图像重叠区域的特征点，减少了特征点数量，大幅降低了算法计算量；并采用改进的SIFT特征向量提取方法表述特征点，进一步降低了特征点匹配时的计算量，并降低了误匹配率。本发明还公开了一种存在光学成像差异的图像拼接方法，首先将两幅存在光学成像差异的待拼接图像利用投影变换变换到柱面坐标空间，然后本发明基于重叠区域SIFT特征点的图像拼接方法进行图像拼接。
文档编号G06T3/40GK102968777SQ20121047298
公开日2013年3月13日 申请日期2012年11月20日 优先权日2012年11月20日
发明者吴学文, 王慧斌, 沈洁, 王鑫, 蔡明星, 刘娜, 顾欣, 陈松 申请人:河海大学