专利名称：适用于宽基线图像密集匹配的描述符的构建方法
技术领域：
本发明涉及数字图像处理和计算机视觉技术领域，特别涉及一种适用于宽基线图像密集匹配的描述符的构建方法。
背景技术：
密集匹配是计算机视觉领域的重要研究内容之一，被广泛应用于三维重建、模式识别、图像检索等领域。目前，窄基线图像的密集匹配已经取得令人满意的结果。但是，宽基线图像间往往存在旋转角度、尺度缩放、视点变换以及光照变化等差异，再加上噪声、遮挡等外在因素的影响，因而不同视点的图像差异很大，这给精确匹配带来很大困难。基于不变描述符的匹配方法是宽基线图像的密集匹配方法之一，该方法首先对邻域窗口内的局部特征进行描述，构建出一个具有较强区分能力的高维描述符，即描述阶段；然后通过高维向量间的距离来衡量点的相似程度，即匹配阶段。该方法构建的描述符对图像间存在的各种变化能保持不变，对图像中物体运动、遮挡、噪声等因素也可以实现较鲁棒的匹配。主要从两个方面来衡量不变描述符的优劣一是描述符在各种变化情况下的区分能力；二是描述符在描述和匹配两个阶段的效率。近年来，宽基线图像特征点(稀疏点)的提取和描述技术已经取得很大进展，国内外学者相继提出了很多优秀的描述符。2004年Lowe等人提出了一种基于尺度空间的图像局部特征描述符—— SIFT (Scale Invariant Feature Transform)描述符。SIFT描述符通过直方图对特征点周围邻域内像素点梯度的模值和方向进行统计，构建1 维特征向量。SIFT描述符对图像间的尺度变化、旋转变换、光照变化和仿射变换(AfTine Transformation)均能保持不变，并具有很强的可区分性和抗噪声能力，对宽基线图像能够实现较好的描述和匹配效果。考虑到SIFT描述符维数较高，Ke等人提出了改进的PCA-SIFT描述符，通过使用主成分分析(Principal component analysis,PCA)将高维向量降维，在保证较强区分性的前提下，大大提高了匹配速度。2005 年 Mikolajczyk 等人提出一种扩展的 SIFT 描述符，即 GLOH(Gradient Location and Orientation Histogram)描^胃。SIFT、PCA-SIFT和GLOH三种描述符的本质类似，均采用梯度直方图进行统计，只是GLOH描述符在结构上采用极坐标生成梯度直方图中的每个柱。上述三种描述符的计算复杂度都很高，计算耗时都很长。2006 年 Herbert Bay 等人提出了一种快速描述符，即 SURF (Speeded Up Robust Features)描述符，该描述符利用积分图像计算梯度直方图，不仅在重复性 (r印eatability)、独特性(distinctiveness)禾口鲁棒性(robustness)三个方面均接近或超过以往的同类描述符，而且计算速度具有明显优势。但是由于SURF描述符主要考虑的是如何提高计算速度，因此在构建描述符时，每个像素的梯度方向对于方向直方图每个柱的贡献一样大，违背了越靠近关键点，像素梯度方向信息贡献越大的原则，从而降低了 SIFT描述符的优越性。尽管上述SIFT、PCA-SIFT、GLOH和SURF四种描述符在稀疏特征点的匹配上取得很大进展，但是由于高维向量的描述和匹配过程需要耗费大量时间，因此上述四种描述符不适用于宽基线图像间的密集匹配。2010年Tola等人提出一种有效的、适用于宽基线图像的密集匹配描述符，即 DAISY [Ε. Tola, V. Lepetit, and P. Fua, DAISY :An Efficient Dense Descriptor Applied to Wide-Baseline Stereo, IEEE Trans, on PAMI, vol.32, no. 5, pp. 815-830, 2010. ]。DAISY描述符基于SIFT描述符和GLOH描述符，有效地改进了描述过程，并保持了 SIFT在计算梯度直方图时的优越性，即越靠近关键点，像素梯度方向信息贡献越大。但是 DAISY描述符生成的特征向量有200维，因此，高维向量间的匹配仍需要较大的计算量。上述SIFT、PCA-SIFT、GL0H、SURF和DAISY五种描述符均基于灰度图像进行描述， 即首先将彩色图像变为灰度图像，然后再进行描述。然而，颜色信息在匹配中也可以提供较强的区分能力。Abdel-Hakin等人提出一种基于SIFT描述符的颜色不变局部描述符，即 CSIFT (Color SIFT)描述符[Alaa Ε.Abdel-Hakim, and Aly A.Farag, CSIFT :A SIFT descriptor with color invariant characteristics. In CVPR, vol. 2, pp.1978-1983, 2006.]，该描述符提取彩色图像的稀疏特征点并对其进行描述，由最近邻法得到初始匹配点对后再删除误匹配。当光照方向和亮度发生变化时，CSIFT描述符比SIFT描述符更鲁棒， 但是当光源的颜色发生变化时，CSIFT描述符不能保持不变。此外，由于CSIFT描述符基于 SIFT描述符，如果将CSIFT描述符用在密集匹配中计算耗时同样会很长。目前，非常需要一种有效的、适用于宽基线图像密集匹配的描述符。
发明内容
本发明的目的是提供一种有效的、适用于宽基线图像密集匹配的描述符F的构建方法，该方法吸取DAISY描述符和SURF描述符在描述阶段具有较高效率的优点，并结合图像的灰度信息和颜色信息，从而提高所构建描述符的独特性和鲁棒性。用本发明的方法构建的描述符F包括基于Haar小波响应构建的子描述符H和基于颜色比率不变模型构建的子描述符C。本发明提供的适用于宽基线图像密集匹配的描述符的构建方法包括以下步骤输入一幅图像，以所述图像中的任一像素点为中心点m。划分出25个矩形子区域， 该25个矩形子区域构成该像素点的描述区域；利用图像的灰度信息，基于Haar小波响应构建子描述符H ；利用图像的颜色信息，基于颜色比率不变模型构建子描述符C ；基于图像的灰度信息和颜色信息构建描述符F。具体地，划分出25个矩形子区域的步骤进一步包括以所述图像中的任一像素点为中心点(m。)，以2、为边长确定1个矩形子区域
(S0)；分别以与所述中心点(m。)距离为、，且与所述图像的χ轴正向夹角为0°、45°、 90°、135°、180°、225°、270°、315° 的 8 个像素点(mn、m12、m13、m14、m15、m16、m17、m18)为中心，以Zw1为边长确定8个矩形子区域(s 11> S12、s13> s14> s15、s16> s17> S18)，其中 tj > W1 = W0 ；所述矩形子区域(S。)和(sn、s12, s13、s14, s15, s16, s17, S18)称为第1层子区域；分别以与所述中心点(m。)距离为t2，且与所述图像χ轴正向夹角分别为0°、 45°、90°、135°、180°、225°、270°、315° 的 8 个像素点(m21、m22、m23、m24、m25、m26、m27、 m28)为中心，以 2w2 为边长确定 8 个矩形子区域( 21、 22、 23、 24、 25、 26、 27、 28)，其中 t2 >
t17 W2 > W1 ；所述矩形子区域k21、S22, s23> s24, s25, s26, s27, S28)称为第2层子区域；分别以与所述中心点(m。)距离为t3，且与所述图像χ轴正向夹角为0°、45°、 90° ,135° ,180° ,225° ,270° ,315° 的 8 个像素点(m31、m32、m33、m34、m35、m36、m37、m38)为中心，以2w3为边长确定8个矩形子区域S32> S33> S34> S35> S36> s37> s38)，其中t3 > t2，W3
> W2 ；所述矩形子区域(s31、s
32、S33、S34、S35、S36、S37、S38 )称为第3层子区域。上述W(1，W1, w2, w3, ti; t2，t3的取值大小根据所述图像的分辨率及其他因素确定。 以分辨率为1024X768的图像为例，w0, W1, w2, w3, t” t2，t3的取值分别优选为=W0 = 2. 5，W1 =w0, w2 = 3w0, W3 = 6w0,4 ^ tj ^ 6, t2 = 2tj, t3 = 3t10具体地，所述子描述符H的构建包括以下步骤计算所述图像的Haar小波响应图；利用不同标准差的高斯核对所述Haar小波响应图卷积，得到多个卷积后的Haar 小波响应图；基于所述多个卷积后的Haar小波响应图构建子描述符H。具体地，所述计算图像的Haar小波响应图为基于所述图像的积分图像，分别计算每个像素点m(x，y)在χ和y两个方向上的 Haar小波响应值，所有像素点的Haar小波响应值及其绝对值构成所述图像的Haar小波响应图。具体地，所述基于多个卷积后的Haar小波响应图构建子描述符H为对所述描述区域中的每个矩形子区域统计卷积后的Haar小波响应值并作出直方图；将每个矩形子区域对应的直方图单独归一化；用在所述描述区域的25个矩形子区域中得到的归一化的响应直方图构建 4* (3*8+1) = 100维的子描述符H。具体地，所述子描述符C的构建包括以下步骤构建颜色比率不变模型；根据所述颜色比率不变模型计算颜色比率图；利用不同标准差的高斯核对每一个所述颜色比率图卷积，得到多个卷积后的颜色比率图；基于所述多个卷积后的颜色比率图构建子描述符C。具体地，所述构建颜色比率不变模型的步骤进一步包括对所述图像中的任一像素点m。，假设Hii是以像素点m。为中心的邻域内的像素点，则
权利要求
1.适用于宽基线图像密集匹配的描述符的构建方法，其特征在于，该方法包括以下步骤输入一幅图像，以所述图像中的任一像素点为中心点(m。)划分出25个矩形子区域，该 25个矩形子区域构成该像素点的描述区域；利用图像的灰度信息，基于Haar小波响应构建子描述符H ； 利用图像的颜色信息，基于颜色比率不变模型构建子描述符C ； 基于图像的灰度信息和颜色信息构建该像素点的描述符F。
2.如权利要求1所述的方法，其特征在于，所述划分出25个矩形子区域的步骤进一步包括以所述图像中的任一像素点为中心点(m。)，以2、为边长确定1个矩形子区域(S。)； 分别以与所述中心点(m。)距离为、，且与所述图像的χ轴正向夹角为0°、45°、90°、 135° ,180° ,225° ,270° ,315° 的 8 个像素点(mn、m12、m13、m14、m15、m16、m17、m18)为中心， 以2Wl为边长确定8个矩形子区域(s 11、S12、S13、S14、S15、S16、S17、，其中 > W1 = W0 ；分别以与所述中心点(m。)距离为t2，且与所述图像χ轴正向夹角分别为0°、45°、 90° ,135° ,180° ,225° ,270° ,315° 的 8 个像素点(m21、m22、m23、m24、m25、m26、m27、m28)为中心，以2W2为边长确定8个矩形子区域k21、S22, S23> S24, S25, S26, S27, ，其中t2 > W2> W1 ；分别以与所述中心点(m。)距离为t3，且与所述图像X轴正向夹角为0°、45°、90°、 135°、180°、225°、270°、315° 的 8 个像素点 0 、！i^2、m33、m34、m35、i%；、m37、1 )为中心， 以2w3为边长确定8个矩形子区域(S31 、s32、S33、S34> S35> S36> s37、S38 )，其中 t3 > t2, W3 > W2O
3.如权利要求1所述的方法，其特征在于，所述基于Haar小波响应构建子描述符H的步骤进一步包括计算所述图像的Haar小波响应图；利用不同标准差的高斯核对所述Haar小波响应图卷积，得到多个卷积后的Haar小波响应图；基于所述多个卷积后的Haar小波响应图构建子描述符H。
4.根据权利要求3所述的方法，其特征在于，所述计算图像的Haar小波响应图的步骤进一步包括基于所述图像的积分图像，分别计算每个像素点m(x，y)在χ和y两个方向上的Haar 小波响应值，所有像素点的Haar小波响应值及其绝对值构成所述图像的Haar小波响应图。
5.根据权利要求3所述的方法，其特征在于，所述基于多个卷积后的Haar小波响应图构建子描述符H的步骤进一步包括对所述描述区域中的每个矩形子区域统计卷积后的Haar小波响应值并作出直方图； 将每个矩形子区域对应的直方图单独归一化；用在所述描述区域的25个矩形子区域中得到的归一化的响应直方图构建100维的子描述符H。
6.如权利要求1所述的方法，其特征在于，所述基于颜色比率不变模型构建子描述符C 的步骤进一步包括构建颜色比率不变模型；根据所述颜色比率不变模型计算颜色比率图；利用不同标准差的高斯核对每一个所述颜色比率图卷积，得到多个卷积后的颜色比率图；基于所述多个卷积后的颜色比率图构建子描述符C。
7.根据权利要求6所述的方法，其特征在于，所述构建颜色比率不变模型的步骤进一步包括对所述图像中的任一像素点m。，m,是以像素点m。为中心的邻域内的像素点，则
8.根据权利要求6所述的方法，其特征在于，所述根据颜色比率不变模型计算颜色比率图的步骤进一步包括对所述图像中的任一像素点m。，mi是以像素点m。为中心的邻域内的像素点，计算f1;f2， f3的值，其绝对值If1I, |f2|，If3I作为像素点Hii处的颜色比率值，所述图像中所有像素点的颜色比率值构成所述图像的颜色比率图。
9.根据权利要求6所述的方法，其特征在于，所述基于多个卷积后的颜色比率图构建子描述符C具体为对所述描述区域中的每个矩形子区域统计颜色比率值并作出直方图；将每个矩形子区域对应的直方图单独归一化；用在所述描述区域的25个矩形子区域中得到的归一化的颜色比率直方图构建75维的子描述符C。
10.如权利要求1所述的方法，其特征在于，构建所述描述符F具体为以ω和(l-ω)分别作为子描述符H和子描述符C的权值因子，即分别为灰度信息和颜色信息分配不同的权重，所述描述符F的定义为
全文摘要
本发明公开了一种适用于宽基线图像密集匹配的描述符的构建方法。用本发明的方法构建的描述符包括基于Haar小波响应构建的子描述符和基于颜色比率不变模型构建的子描述符。用本发明的方法构建的描述符不仅提高了现有DAISY描述符的描述和匹配速度，而且能够结合图像的灰度信息和颜色信息，提高了现有描述符的独特性和鲁棒性。本发明构建出一种颜色比率不变模型，该模型可用于构建颜色不变子描述符。该模型对视点变化、光照方向变化、光照强度变化和光照颜色变化均能保持不变。
文档编号G06K9/46GK102306383SQ201110185779
公开日2012年1月4日 申请日期2011年7月1日 优先权日2011年7月1日
发明者万艳丽, 唐振, 苗振江 申请人:北京交通大学