专利名称：一种图像匹配方法及其装置的制作方法
技术领域：
本发明涉及计算机视觉和图像处理领域，尤其涉及图像匹配技术中的消除错误匹配的技术。
背景技术：
图像匹配技术作为计算机视觉领域的一项基础工作，广泛应用导航、地图、地形识别、环境监测和生理病变研究等领域。图像匹配重要的是在建立两图像间的点对点的对应关系，或对某种感兴趣的特征建立关联。现有匹配算法中，由于图像的视角变化，光照变化等影响，不可避免会出现错误的匹配点。这些错误的匹配点，对正确估计图像变换模型参数，获取图像深度信息，建立图像三维模型都会产生很大的影响，导致后续的图像对齐配准、拼接及物体识别等任务出现较大的困难和错误。在图像匹配中，去除错误匹配点，保留正确匹配点，是建立匹配的重要的不可缺少的环节。在现有匹配算法中，主要分为基于相关匹配算法和基于特征的匹配算法。基于相关的匹配算法，只能在图像间发生平移时有效，虽然其方法匹配率高，但是需要处理的信息量很大，计算复杂而且容易出错，很难达到实时匹配的要求，而且对图像间的细微差别很敏感，一个很小的变化都有可能对匹配的结果产生较大的影响，所以该算法看噪声及其他抗干扰的能力比较差。基于特征的匹配算法，通过提取具有平移，旋转，尺度，光照，视点等变换具有不变性的特征进行匹配，该算法具有很好的稳定性和适用性。主要的特征匹配算法有尺度不变特征变换(Scale Invariant i^eatureTransform，简称SIFT)算法及其衍生算法。其算法包括特征检测和特征匹配两个步骤。SIFT算子对尺度变化，旋转，尺度缩放，部分三维视角变化和光照变化保持不变，公认为稳定性、适应性较强的局部特征匹配算子。SIFT算法产生的匹配点，是根据兴趣点的周边领域信息，采用特征向量(特征描述符)距离比率来确定的。其前提条件，一是图像存在灰度梯度显著变化的兴趣点，二是兴趣点的周边在两图像间基本保持不变。该方法对图像中存在多个局部相似结构，极易出现错误匹配，例如随着摄像视角的增大(如宽基线摄影测量)，图像的局部区域出现很大的变化，该算法随着视角增大，其误匹配率也会显著增高。实践表明，当视点角度超过25° 30°时，匹配准确率大为下降，误匹配率都将低于50%。因此去除误匹配点在特征匹配中必不可少，对提高匹配正确率和匹配效率有重要意义。现有去除错误匹配点的算法主要有，随机采样一致性算法(Randomsample consensus, RANSAC)和利用极线几何约束算法(Epipolar lineconstraints)。这两种算法都需利用特征点集的内在约束关系，要估计单应性矩阵(Homography)或基础矩阵 (Fundamental matrix)，估计精度受错误匹配率影响很大。RANSAC算法的前提是建立在大样本的基础之上，并假定匹配只符合一个平面约束，得到存在符合这一约束的最大集合。其算法迭代次数受错误匹配率影响很大，错误匹配率越大，迭代的次数越大，但是实际中错误匹配率都需要假定。RANSAC虽然可以去除误匹配，但同时也去除了较多原本正确的匹配点对，即损失的正确匹配率较高，这在大视角变化时，尤为显著，其去除误匹配的效率很低，有效的匹配数目过少，不能满足图像匹配的要求。
发明内容
本发明所要解决的技术问题是提供一种在大视角变化下的有效的去除错误匹配点的图像匹配方法及其装置。根据本发明的一方面，提供了一种图像匹配方法。该图像匹配方法包括步骤一， 提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集；步骤二，通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习， 在每次迭代中获得所述参考匹配点集和所述目标匹配点集的函数关系；步骤三，分别根据在各次迭代中所获得所述参考匹配点集和所述目标匹配点集的各所述函数关系，对所述参考匹配点集进行逐次估计，得到各匹配估计点集，并针对每个所述匹配估计点集，计算匹配估计点集中的每个点与所述目标匹配点集中相应的点的残差值，以获得各残差点集；步骤四，根据各所述残差点集的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集；步骤五，将所述参考匹配点集赋值为所述参考匹配点集与所述错误匹配点集的差，并根据所述参考匹配点集获得相应的所述目标匹配点集；步骤六，判断是否满足预设的结束迭代条件，如果判断为是，参考各所述错误匹配点集来进行所述参考图像与所述目标图像之间的图像匹配，反之，则返回所述步骤二。根据本发明另一方面的图像匹配方法，根据尺度不变特征变换算法提取参考图像与目标图像各自的特征初始匹配点集。根据本发明另一方面的图像匹配方法，在所述步骤二中，通过相关向量机RVM来进行所述迭代学习。根据本发明另一方面的图像匹配方法，所述结束迭代条件是迭代次数大于预设最大迭代次数。根据本发明另一方面的图像匹配方法，还包括在所述步骤四中，根据各所述残差点集和所述参考匹配点集中各个点的各所述残差序列的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集， 其中，各所述残差点集中对应于所述参考匹配点集中的同一个点的残差值，构成该点的所述残差序列。根据本发明另一方面的图像匹配方法，还包括所述步骤二还包括根据各所述函数关系分别获得参考匹配点集的各噪声水平；以及基于各所述函数关系得到最佳函数关系；在第一次筛选中，根据各所述噪声水平来设定误匹配判别阈值，基于所述误匹配判别阈值对所述参考匹配点集进行筛选，将各所述残差点集中残差值大于所述误匹配判别阈值的点判别为潜在误匹配点，以获得潜在误匹配点集；以及在第二次筛选中，根据所述潜在误匹配点的残差序列与所述最佳函数关系之间的相似度系数，对所述潜在误匹配点集进行筛选，将所述潜在误匹配点集中相似度系数小于预设相似度阈值的点判别为错误匹配点，以获得错误匹配点集。根据本发明另一方面的图像匹配方法，还包括所述步骤二还包括通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习，从所述参考匹配点集中去除冗余的参考匹配点，以获得回归预测数据；以及基于所述最佳函数关系得到回归预测数据的噪声水平；根据所述回归预测数据的噪声水平来设定结束迭代条件。根据本发明的另一方面，还提供了一种图像匹配装置，其中，所述图像匹配装置包括如下模块提取模块，其提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集；迭代模块0 ，其获取错误匹配点集；以及匹配模块(23)，所述匹配模块参考所述迭代模块0 所获取的各所述错误匹配点集来进行所述参考图像与所述目标图像之间的图像匹配；所述迭代模块0 通过如下处理来获取错误匹配点集通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习，在每次迭代中获得所述参考匹配点集和所述目标匹配点集的函数关系；分别根据在各次迭代中所获得所述参考匹配点集和所述目标匹配点集的各所述函数关系，对所述参考匹配点集进行逐次估计，得到各匹配估计点集，并针对每个所述匹配估计点集，计算匹配估计点集中的每个点与所述目标匹配点集中相应的点的残差值，以获得各残差点集；根据各所述残差点集的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集；将所述参考匹配点集赋值为所述参考匹配点集与所述错误匹配点集的差，并根据所述参考匹配点集获得相应的所述目标匹配点集；判断是否满足预设的结束迭代条件，如果判断为是，进入匹配模块03)的处理， 反之，重复所述迭代模块0 的上述处理。根据本发明另一方面的图像匹配装置，其中，所述迭代模块0 根据各所述残差点集和所述参考匹配点集中各个点的各所述残差序列的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集，其中，各所述残差点集中对应于所述参考匹配点集中的同一个点的残差值，构成该点的所述残差序列。根据本发明另一方面的图像匹配装置，其中，所述迭代模块0 还进行如下处理根据各所述函数关系分别获得参考匹配点集的各噪声水平，基于各所述函数关系得到最佳函数关系；在第一次筛选中，根据各所述噪声水平来设定误匹配判别阈值，基于所述误匹配判别阈值对所述参考匹配点集进行筛选，将各所述残差点集中残差值大于所述误匹配判别阈值的点判别为潜在误匹配点，以获得潜在误匹配点集；以及
在第二次筛选中，根据所述潜在误匹配点的残差序列与所述最佳函数关系之间的相似度系数，对所述潜在误匹配点集进行筛选，将所述潜在误匹配点集中相似度系数小于预设相似度阈值的点判别为错误匹配点，以获得错误匹配点集。与现有技术相比，本发明具有以下优点本发明通过采用迭代相关向量机RVM回归的方法获得(学习)参考匹配点集与目标匹配点集的对应函数关系，用“剥洋葱”的策略， 对残差点集进行分析，有效地剔除错误匹配点。本发明克服已有方法需要大量样本、计算效率低、算法稳定性差、不能够在大视角下有效正确去除错误匹配和无法满足实际需要的问题，显著提高图像匹配的精度和效率，尤其在大视角图像匹配情况下具有更好的效果。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。虽然在下文中将结合一些示例性实施及使用方法来描述本发明，但本领域技术人员应当理解为并不旨在将本发明限制于这些实施例；反之，旨在覆盖包含在所附的权利要求书所定义的本发明的精神与范围内的所有替代品、修正及等效物。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中图1是根据本发明第一实施例的图像匹配方法的流程示意图；图2是根据本发明第二实施例的图像匹配装置的结构示意图；图3是参考图像在视角为20°、30°、40°、50°和60°的图像变换的灰度图像示意图；图4是根据本发明方法在视角为60°的图像匹配示意图；图5是采用本发明的图像匹配方法和其他图像匹配方法的匹配效率性能评价示意图；图6是采用本发明的图像匹配方法和其他图像匹配方法的匹配精度性能评价示意图。
具体实施例方式以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合， 所形成的技术方案均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。第一实施例图1示出根据本发明第一实施例的图像匹配方法的流程示意图。下面参考图1来说明本实施例的各步骤。
步骤110，提取參考图像与目标图像各自的特征初始匹配点集，分別作为參考匹配 点集和目标匹配点集，參考匹配点集和目标匹配点集为一一对应关系。具体地，根据尺度不 变特征变换算法SIFT以获取SIFT特征初始匹配点集。更具体地，在该步骤中，两个图像为參考图像和目标图像，令參考图像为I(x，y)， 目标图像为r (x'，y')，目标图像也称为待匹配图像，其中(x，y)和U'，y')分別表 示參考图像I和目标图像I ‘上的点。对參考图像和目标图像建立图像的尺度空间表示，将 两个图像进行尺度不变变换处理，通过检测尺度空间极值获取初始关键点，根据SIFT算法 中的函数(例如，拟合三维二次函数)，去除低对比度的关键点和不稳定的边缘相应点以确 定最佳关键点的位置及其所处尺度。对最佳关键点附加详细的信息，生成特征点。特征点中 含有反映图像的重要结构信息，容易与别的像素点区別，特征点可为灰度局部极值点、边缘 点、角点和拐点等，特征点可包括3个信息位置、对应尺度、方向。通过对參考图像和目标 图像的特征点进行相似性判定度量，找出相互匹配的特征初始匹配点集，如公式(1)所示。S={(pi，p' i) = (Xi, Yi, x' i，y' i)，i = l，...n}(1)其中，pi、p' i分別表示參考匹配点集和目标匹配点集；i表示第i个特征匹配点。需要说明的是，本实施例中的目标图像是针对參考图像进行了大视角的变换，较 优选地，例如參考图像进行20° 60°角度旋转变换。特征点的生成是利用关键点邻域像 素的梯度方向分布特性为锋个特征点指定方向维数，计算特征点的描述信息而获取的。步骤120，通过机器学习方法针对步骤110所得的參考匹配点集和目标匹配点集 进行迭代学习，在锋次迭代中获得參考匹配点集和目标匹配点集的函数关系。具体地，根据机器学习方法获得(学习)參考匹配点集P(x，y)与目标匹配点集 P(x',ず)的各函数关系(亦称作模型)，亦即，找出X'、ず分別与(x，y)的函数关系， 如公式(2)所示为參考匹配点集与目标匹配点集之间的函数关系。
权利要求
1.一种图像匹配方法，其特征在于，包括步骤一，提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集；步骤二，通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习，在每次迭代中获得所述参考匹配点集和所述目标匹配点集的函数关系；步骤三，分别根据在各次迭代中所获得所述参考匹配点集和所述目标匹配点集的各所述函数关系，对所述参考匹配点集进行逐次估计，得到各匹配估计点集，并针对每个所述匹配估计点集，计算匹配估计点集中的每个点与所述目标匹配点集中相应的点的残差值，以获得各残差点集；步骤四，根据各所述残差点集的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集；步骤五，将所述参考匹配点集赋值为所述参考匹配点集与所述错误匹配点集的差，并根据所述参考匹配点集获得相应的所述目标匹配点集；步骤六，判断是否满足预设的结束迭代条件，如果判断为是，参考各所述错误匹配点集来进行所述参考图像与所述目标图像之间的图像匹配，反之，则返回所述步骤二。
2.根据权利要求1所述的图像匹配方法，其特征在于，根据尺度不变特征变换算法提取参考图像与目标图像各自的特征初始匹配点集。
3.根据权利要求1所述的图像匹配方法，其特征在于， 在所述步骤二中，通过相关向量机RVM来进行所述迭代学习。
4.根据权利要求1所述的图像匹配方法，其特征在于， 所述结束迭代条件是迭代次数大于预设最大迭代次数。
5.根据权利要求1所述的图像匹配方法，其特征在于，在所述步骤四中，根据各所述残差点集和所述参考匹配点集中各个点的各所述残差序列的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集，其中，各所述残差点集中对应于所述参考匹配点集中的同一个点的残差值，构成该点的所述残差序列。
6.根据权利要求1至5所述的图像匹配方法，其特征在于， 所述步骤二还包括根据各所述函数关系分别获得参考匹配点集的各噪声水平；以及基于各所述函数关系得到最佳函数关系；在第一次筛选中，根据各所述噪声水平来设定误匹配判别阈值，基于所述误匹配判别阈值对所述参考匹配点集进行筛选，将各所述残差点集中残差值大于所述误匹配判别阈值的点判别为潜在误匹配点，以获得潜在误匹配点集；以及在第二次筛选中，根据所述潜在误匹配点的残差序列与所述最佳函数关系之间的相似度系数，对所述潜在误匹配点集进行筛选，将所述潜在误匹配点集中相似度系数小于预设相似度阈值的点判别为错误匹配点，以获得错误匹配点集。
7.根据权利要求6所述的图像匹配方法，其特征在于，所述步骤二还包括通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习，从所述参考匹配点集中去除冗余的参考匹配点，以获得回归预测数据；以及基于所述最佳函数关系得到回归预测数据的噪声水平； 根据所述回归预测数据的噪声水平来设定结束迭代条件。
8.一种图像匹配装置，其特征在于，所述图像匹配装置包括如下模块提取模块，其提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集；迭代模块(22)，其获取错误匹配点集；以及匹配模块(23)，所述匹配模块参考所述迭代模块0 所获取的各所述错误匹配点集来进行所述参考图像与所述目标图像之间的图像匹配；所述迭代模块0 通过如下处理来获取错误匹配点集通过机器学习方法针对所述参考匹配点集和所述目标匹配点集进行迭代学习，在每次迭代中获得所述参考匹配点集和所述目标匹配点集的函数关系；分别根据在各次迭代中所获得所述参考匹配点集和所述目标匹配点集的各所述函数关系，对所述参考匹配点集进行逐次估计，得到各匹配估计点集，并针对每个所述匹配估计点集，计算匹配估计点集中的每个点与所述目标匹配点集中相应的点的残差值，以获得各残差点集；根据各所述残差点集的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集；将所述参考匹配点集赋值为所述参考匹配点集与所述错误匹配点集的差，并根据所述参考匹配点集获得相应的所述目标匹配点集；判断是否满足预设的结束迭代条件，如果判断为是，进入匹配模块03)的处理，反之， 重复所述迭代模块0 的上上述处理。
9.根据权利要求8所述的一种图像匹配装置，其特征在于，所述迭代模块0 根据各所述残差点集和所述参考匹配点集中各个点的各所述残差序列的分布情况，对所述参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集，其中，各所述残差点集中对应于所述参考匹配点集中的同一个点的残差值，构成该点的所述残差序列。
10.根据权利要求8或9所述的一种图像匹配装置，其特征在于， 所述迭代模块0 还进行如下处理根据各所述函数关系分别获得参考匹配点集的各噪声水平， 基于各所述函数关系得到最佳函数关系；在第一次筛选中，根据各所述噪声水平来设定误匹配判别阈值，基于所述误匹配判别阈值对所述参考匹配点集进行筛选，将各所述残差点集中残差值大于所述误匹配判别阈值的点判别为潜在误匹配点，以获得潜在误匹配点集；以及在第二次筛选中，根据所述潜在误匹配点的残差序列与所述最佳函数关系之间的相似度系数，对所述潜在误匹配点集进行筛选，将所述潜在误匹配点集中相似度系数小于预设相似度阈值的点判别为错误匹配点，以获得错误匹配点集。
全文摘要
本发明公开了一种图像匹配方法及其装置，该方法包括提取参考图像与目标图像各自的特征初始匹配点集，分别作为参考匹配点集和目标匹配点集；针对参考匹配点集和目标匹配点集进行多次迭代学习以获得两匹配点集之间的函数关系；分别根据在每次迭代中获得的函数关系，对参考匹配点集进行逐次估计，得到各匹配估计点集，然后计算每个匹配估计点集与目标匹配点集的残差值，以获得各残差点集；根据各残差点集的分布情况，对参考匹配点集进行两次或两次以上筛选，以获得错误匹配点集；将参考匹配点集赋值为参考匹配点集与错误匹配点集的差；判断是否满足预设的结束迭代条件。本发明在大视角下有效地剔除错误匹配，显著提高图像匹配的精度和效率。
文档编号G06K9/64GK102236798SQ20111021892
公开日2011年11月9日 申请日期2011年8月1日 优先权日2011年8月1日
发明者刘安, 周东华, 陈茂银 申请人:清华大学