一种仿射不变的宽基线图像密集匹配方法
【专利摘要】本发明涉及一种仿射不变的宽基线图像密集匹配方法，该方法用可靠匹配对作为参考建立新匹配对，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤：1)读取待匹配的宽基线立体图像对：基准图像I和参考图像I′，对这两幅图像进行初始稀疏匹配；2)利用初始稀疏匹配得到扩展稀疏匹配；3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；4)输出匹配结果。与现有技术相比，本发明具有匹配结果更密集，精度更高等优点。
【专利说明】一种仿射不变的宽基线图像密集匹配方法
【技术领域】
[0001]本发明涉及一种图像处理技术，尤其是涉及一种仿射不变的宽基线图像密集匹配方法。
【背景技术】
[0002]图像匹配是计算机视觉领域的基本问题，也是三维重建、图像拼接、目标跟踪、运动估计等应用的核心技术。图像匹配的目的是在两幅或者多幅图像中建立点和点的对应关系。D.Scharstein和R.Szeliski总结了传统的双目视觉密集匹配算法(D.Scharstein,R.Szelisk1.66k Taxonomy and Evaluat1n of Dense Two-Frame Stereo CorrespondenceAlgorithms.”IJCV，2002，pp.7_42.)，这些算法主要针对窄基线图像，即输入图像对大致相同，通常只存在一个方向的微小视差(如Middlebury数据库中的图像)。当图像视角变化较大时，待匹配图像中存在明显的几何形变，这给匹配带来了困难。传统的宽基线图像匹配算法主要基于鲁棒的局部图像特征，可分为三步:首先检测关键点，然后在关键点邻域内提取特征描述子，最后通过比较特征描述子的相似度建立匹配关系。T.Tuytelaars和K.Mikolajczyk 比较了具有局部不变性的检测子(T.Tuytelaars, K.Mikolajczyk.“LocalInvariant Feature Detectors:A Survey.，，Foundat1ns and Trends in ComputerGraphics and Vis1n, 2008, 3 (3):pp.177-280.)，认为 DoG 和 SURF 检测子计算效率较高，而Harris-Affine、Hessian-Affine和MSER检测子适用于存在明显几何形变的图像，因为它们具有仿射不变性。在匹配中，SIFT特征描述子被广泛应用，该特征的可区分性强，并且具有尺度和旋转不变性，能够鲁棒地表达图像中的局部结构。虽然基于局部不变性特征的匹配方法取得了巨大的成功，但是这类方法只能建立可靠的稀疏匹配，却无法实现密集匹配，因为在图像的低纹理区域很难提取出关键点，而且对于重复纹理区域，匹配存在较大的不确定性，因此无法获得准确而稠密的匹配。
[0003]Kannala J.和fcandt S.S.提出了一种基于“匹配传播”策略的匹配方法(Kannala J., Brandt S.S..“Quas1-dense wide baseline matching using matchpropagat1n.” CVPR，2007pp.2126-2133.)。其思想是先利用局部不变性特征进行稀疏匹配，然后以它们为参考在相邻像素点建立新的匹配，循环往复直到遍历整幅图像。这类算法能够获得较为稠密的匹配结果，精度较高，然而有些区域依然无法找到匹配，因为这些区域的稀疏匹配对数量稀少，而且传播在物体边缘难以继续。
[0004]宽基线图像的匹配技术还很不成熟，发明一种具有仿射不变性的宽基线密集匹配方法具有十分重要的意义，有利于把图像匹配技术更好地应用到实际问题中去。
【发明内容】
[0005]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种仿射不变的宽基线图像密集匹配方法。
[0006]本发明的目的可以通过以下技术方案来实现:
[0007]—种仿射不变的宽基线图像密集匹配方法，该方法用可靠匹配作为参考建立新匹配，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤:
[0008]I)读取待匹配的宽基线立体图像对:基准图像I和参考图像，对这两幅图像进行初始稀疏匹配；
[0009]2)利用初始稀疏匹配结果得到扩展稀疏匹配结果；
[0010]3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配；
[0011]4)输出匹配结果。
[0012]所述步骤I)具体包括步骤:
[0013]101)读取待匹配的宽基线立体图像对:基准图像I和参考图像，分别提取两幅图像的仿射不变特征，构建仿射不变的特征描述子，所述特征描述子包括Hessian-Affine关键点的坐标、类SIFT特征向量和二阶矩矩阵M ；
[0014]102)比较特征向量之间的欧氏距离，采用最近邻方法进行初始关键点匹配得到初始稀疏匹配结果。
[0015]所述步骤2)具体包括步骤:
[0016]201)对每一对初始稀疏匹配，计算与相关联的仿射变换矩阵，利用仿射变换矩阵A归一化邻域窗口，计算归一化窗口图像的匹配代价，将初始稀疏匹配结果中匹配代价低于阈值T1的匹配对加入种子点集合S ；
[0017]202)对集合S中的匹配按匹配代价进行排序，取出匹配代价最小的匹配作为种子匹配，在该匹配周围寻找新的匹配；
[0018]203)确定新的匹配的传播范围，该范围是以种子为中心的椭圆内部，具体为:
[0019]xTCx < D
[0020]其中:传播范围中的点的坐标，椭圆参数C由二阶矩矩阵M求得，椭圆大小由阈值D确定；
[0021]204)对传播范围内所有Hessian-Affine关键点进行匹配，关键点匹配代价综合考虑特征向量的相似度和关键点空间位置的一致性，具体为:
[0022]Cost (P1, p/ ) = spacial_err.*feature_err
[0023]其中:Cost (P1, p/ )为传播范围内一对候选匹配的匹配代价，feature_err为特征向量的欧式距离，spacial_err为空间不一致性,具体为:
[0024]
【权利要求】
1.一种仿射不变的宽基线图像密集匹配方法，其特征在于，该方法用可靠匹配作为参考建立新匹配，逐步计算出待匹配图像中点和点的对应关系，所述方法具体包括以下步骤: 1)读取待匹配的宽基线立体图像对:基准图像I和参考图像I,，对这两幅图像进行初始稀疏匹配； 2)利用初始稀疏匹配结果得到扩展稀疏匹配结果； 3)以扩展匹配结果作为种子，在它们的相邻像素建立新匹配，采用区域增长策略逐渐传播到整幅图像，实现密集匹配； 4)输出匹配结果。
2.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤I)具体包括步骤: 101)读取待匹配的宽基线立体图像对:基准图像I和参考图像，分别提取两幅图像的仿射不变特征，构建仿射不变的特征描述子，所述特征描述子包括Hessian-Affine关键点的坐标、类SIFT特征向量和二阶矩矩阵M ； 102)比较特征向量之间的欧氏距离，采用最近邻方法进行初始关键点匹配得到初始稀疏匹配结果。
3.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤2)具体包括步骤: 201)对每一对初始稀疏匹配，计算与之相关联的仿射变换矩阵，利用仿射变换矩阵A归一化邻域窗口，计算归一化窗口图像的匹配代价，将初始稀疏匹配结果中匹配代价低于阈值T1的匹配对加入种子点集合S ； 202)对集合S中的匹配按匹配代价进行排序，取出匹配代价最小的匹配作为种子匹配，在该匹配周围寻找新的匹配； 203)确定新的匹配的传播范围，该范围是以种子为中心的椭圆内部，具体为: xTCx < D 其中:传播范围中的点的坐标，椭圆参数C由二阶矩矩阵M求得，椭圆大小由阈值D确定; 204)对传播范围内所有Hessian-Affine关键点进行匹配，关键点匹配代价综合考虑特征向量的相似度和关键点空间位置的一致性，具体为:
Cost(P1, P1' ) = spacial_err.*feature_err 其中Kosi^ppp/ )为传播范围内一对候选匹配的匹配代价，feature_err为特征向量的欧式距离，spacial_err为空间不一致性,具体为:
其中:p/为候选匹配在参考图像中的点，
其中:P。ePo'是种子匹配，P。和Pc/分别为基准图像I和参考图像V中的点，Atl是与种子匹配关联的仿射变换矩阵； 205)对每一个基准图像I中传播范围内的关键点P，在参考图像中寻找对应的关键点P’，P’为使匹配代价最小的关键点，如果Cost(p，p' ) < T2，则把妒加入种子点集合S，并计算与这对匹配关联的仿射变换矩阵，阈值T2控制匹配对的数量和匹配的准确性； 206)判断S是否为空集，若不是空集，则执行步骤202)，若为空集，则执行步骤3)。
4.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤3)具体包括步骤: 301)将步骤2)中得到的所有稀疏匹配加入种子点集合； 302)计算种子点集合中所有匹配的可靠性，取出可靠性最高的匹配凡/V，提取以它为中心的图像块，并用仿射变换矩阵归一化； 303)对基准图像I中每一个与Ptl相邻的像素点P1，根据仿射变换矩阵得到它在参考图像Γ中的中心对应点p/ ,记p/附近的点为P1的可能对应点，计算P1与所有对应点的匹配代价； 304)选择匹配代价最小的可能对应点，判断其对应匹配代价是否小于阈值T，若为是，则接受为新的匹配对P1 Ο/V，加入种子点集合，同时加入密集匹配结果，若为否，则不加A ； 305)计算与新匹配对相关联的仿射变换矩阵，并计算该新匹配的可靠性； 306)判断种子点集合是否为空集，若为否，则执行步骤302)，若为是，执行步骤4)。
5.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述可靠性R具体为:
R(p) = 0.5X [s(p)+s(p/ ) ] X [1-Cost (p, p')] 其中:R(P)为匹配pop.的可靠性，Cost(p，p')为匹配pep’酌匹配代价，s(p)=mean {n(p, q), q e N2 (ρ)},其中:Ν2(ρ)为与ρ距离为2以内的像素,N2 (p')为与ρ’距离为2的像素，n (p, q)=0..299 I rp-rq | +0.587 | gp-gq | +1 bp-bq |, 其中，rp，gp，bp为像素P的颜色。
6.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤303)中P1为与Ptl距离为2以内的像素点，所述可能对应点为与p/距离为2以内的像素点。
7.根据权利要求4所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述步骤304)中，所述p/若已存在与稀疏匹配或密集匹配中，则此处灼O/V:不加入种子点集合，也不加入密集匹配结果。
8.根据权利要求1所述的一种仿射不变的宽基线图像密集匹配方法，其特征在于，所述匹配结果包括稀疏匹配和密集匹配。
【文档编号】G06T7/00GK104167000SQ201410421828
【公开日】2014年11月26日 申请日期:2014年8月25日 优先权日:2014年8月25日
【发明者】石繁槐, 高健 申请人:同济大学