专利名称：一种用于图像匹配的控制点均匀化方法
技术领域：
本发明涉及图像处理技术，具体地说，是在图像匹配流程中加入控制 点均勻化步骤，使控制点分布均勻，减少误匹配控制点，提高匹配精度。
技术背景目前常用的图像几何精纠正方法是基于控制点的几何精纠正，即先对 图像进行匹配生成控制点，再用控制点坐标拟合纠正函数参数进行纠正。常用的匹配方 法是基于模板匹配的自动匹配方法，该方法的一般流程是首先使用特征点提取算子在 图像上提取特征点作为控制点，再以控制点为中心，分别在两幅图像中提取模板窗口和 搜索窗口，最后以一定的匹配准则对两幅图像进行匹配，以达到象元级的匹配精度。模 板窗口是指从基准图像中提取的用来进行模板匹配的模板，搜索窗口是指从原始图像中 提取出来的待匹配区域，模板匹配的过程就是用模板窗口在搜索窗口中逐点移动，利用 相似性判别准则计算模板和其重叠区域的匹配度，找到匹配度最大的位置，如果匹配度 大于设定的阈值，就认为找到了一个匹配点。但该方法得到的控制点完全依赖于图像的 特征分布，对提取出的控制点进行匹配、筛选时，通常以匹配度作为唯一筛选依据，因 而对于某些特征分布不均的图像会造成最后生成的控制点分布不均勻。而在进行纠正 时，每一对控制点都具有相同的权重，在控制点分布较密的区域，精度高，在控制点分 布稀疏的区域则精度较差，并且图像特征会受到噪声等的影响，使得匹配结果存在一定 数量的误匹配点，从而影响了匹配精度。
因此需要在匹配过程中或者匹配后对控制点进行处理，使控制点分布均勻，减 少误匹配点，提高匹配精度。目前，一些方法是在匹配流程中使用随机采样一致性方法 (RANSAC方法)迭代筛选表现一致的子集，消除误匹配点影响；一些方法在匹配流程中 使用Hough变换消除误匹配点；一些结合实际应用提出消除误匹配点的方法。虽然这些 方法有效的消除了误匹配点，但并没有进行控制点均勻化处理，匹配结果的控制点分布 依然不均勻。文献“张翼、曾庆业、唐娉.获取均勻控制点的遥感影像自动空间匹配方 法[J].中国图象图形学报，2009，14(8) 1475-1479.”，对控制点均勻化进行了研究， 提出了两种均勻化方法控制点提取时均勻化、匹配后均勻化，其匹配后均勻化只是在 划分网格后保留了匹配度最大的控制点。该方法不能消除误匹配点，对于没有控制点的 网格也没有进行处理。匹配过程中，由于受到噪声、匹配方法本身等的影响，可能会导 致局部区域没有控制点，因此控制点均勻化需要对这些区域进行加点处理，已保证控制 点分布均勻。本发明针对匹配后控制点均勻化提出了一个合理、高效的解决方法，既能 有效消除误匹配点，又能对没有控制点的网格进行处理，尽可能的保证每个网格都有控 制点，提高了整体图像的匹配精度，具有很好的实际应用价值
发明内容
本发明公开一种技术方案，使用多种图像处理技术，对匹配后的控制 点进行均勻化，使控制点分布更均勻，减少误匹配点，提高图像的整体匹配精度。本发 明实施的前提是自动匹配找到了较多的匹配度较高的控制点。
本发明的基本思路为首先进行传统的图像自动匹配，生成控制点；然后使用 RANSAC方法对生成的控制点进行筛选，利用筛选后的控制点建立两幅图像之间的对应 关系；再对原始图像进行网格划分，网格大小为MXM，网格划分后，把所有控制点按照坐标分配到不同的网格中；最后，对于有控制点和没控制点的网格分别进行筛点和加 点处理，尽可能保证每个网格都有一个控制点。
实现本发明思路的技术方案流程如图1所示，其优点是使用RANSAC方法筛 选控制点，有效减少了误匹配点；根据网格内控制点分布情况，采取加点、删点、保留 点三种策略，尽可能的保证每个网格都有控制点。最终的结果控制点分布更均勻，精度 更高；计算复杂度低，计算速度快，易于实现。具体描述如下
A.图像自动匹配对图像进行自动匹配，生成控制点；
B.RANSAC方法筛选控制点使用RANSAC方法筛选出匹配度较好的控制点， 减少误匹配的控制点；
C.建立图像间的对应关系在筛选出控制点后，使用最小二乘法建立两幅图像 之间的对应关系；
D.划分网格、分配控制点对原始图像进行网格划分，网格大小为MXM，网 格划分后，把所有原始图像控制点按照坐标分配到不同的网格中；
E.控制点均勻化对于有控制点和没控制点的网格分别进行处理(1)对于有 控制点的网格，取匹配度Y最大的控制点作为该网格的控制点；(2)对于没有控制点的 网格，在原始图像上取网格中心点作为原始图像待匹配点，然后在一个小的区域范围内 进行图像自动匹配，筛选符合条件的基准图像上的控制点。如果图像自动匹配失败，利 用已经建立的两幅图像之间的对应关系，估算对应的基准图像上的控制点。
其中，步骤C的建立图像间的对应关系也可以调到步骤D后进行。
图像自动匹配可以根据实际情况，选择不同的图像匹配方法，目的是找出足够 多的，且存在一些精度较高的控制点，从而使控制点均勻化达到好的效果。步骤A中的 自动匹配和步骤E中的自动匹配可以是相同方法，也可以不同。
网格划分中网格的大小为经验选择，但不能太小，否则就会导致计算速度降 低、控制点过多。网格大小可以是固定的，比如200X200，或者300X300，也可以根据图像大小动态调整。
和直接的匹配结果相比，经过控制点均勻化后，控制点分布更加均勻，同时也 减少了误匹配控制点，提高了图像匹配精度。
图1是技术方案流程示意图
图2是划分网格、分配控制点后控制点分布情况示意图
图3是控制点相对密集的网格控制点分布情况示意图
图4是只有一个控制点的网格示意图
图5是没有控制点的网格示意图
图6模板匹配示意图
具体实施方式
现在结合附图，描述本发明的一种具体实施方式
。
依据技术方案流程示意1和“发明内容”中的具体描述，控制点均勻化的 过程主要包括图像自动匹配，RANSAC方法筛选控制点，划分网格、分配控制点，控 制点均勻化。
第一步是图像自动匹配。图像自动匹配就是结合实际图像，选择一种适合实际 图像的匹配方法，生成初始控制点。不管采用什么匹配方法，一般要求生成的控制点尽可能的多，且存在一些精度较高的控制点，如果太少就会影响控制点均勻化的效果。
第二步是RANSAC方法筛选控制点。RANSAC方法是从一个观察数据集合中， 估计模型参数(模型拟合)的迭代方法。它是一种随机算法，每次运算求出的结果不完 全相同，但多次迭代后总能给出点集中整体表现一致的子集，筛除与整体模型相差远的 点，为了提高精度必须提高迭代次数。本发明中采用一般的RANSAC方法，把RANSAC 方法认为是内点的控制点保留下来，把其它控制点筛除掉。
第三步是建立图像间的对应关系。该步骤的目的是根据筛选后的控制点使用最 小二乘法建立原始图像和基准图像之间的对应关系，然后把该对应关系作为控制点均勻 化步骤的约束关系和估算控制点的计算依据，本步骤中拟合模型使用一阶多项式。
第四步是划分网格、分配控制点。对原始图像进行网格划分，网格大小为 MXM,把原始图像分为大小相等的若干个网格。然后根据原始图像的控制点坐标和网 格的坐标范围，把原始图像的控制点分配到不同的网格中，并记录相对应的基准图像的 控制点。网格大小可以根据图像的宽、高进行选择，尽可能的保证大部分网格都有控制 点ο
第五步是控制点均勻化。控制点均勻化是指通过不同的处理方式，尽可能的保 证每个网格都有一个控制点。对有控制点和没控制点的网格分别进行处理，这样处理可 充分使用匹配中已经找到的控制点，还可以对没有控制点的网格进行加点，使图像的控 制点分布比较均勻。
控制点均勻化策略划分网格、分配控制点后，控制点整体分布情况如图2所 示，网格内控制点分布一般分为三种情况(1)控制点相对密集的网格，如图3所示，只 保留一个匹配度最高的控制点，起到“删点”效果；(2)只有一个控制点的网格，如图4 所示，保留仅有的控制点；⑶没有控制点的网格，如图5所示，则重新在小区域内进行 自动匹配，如果匹配失败，则估算控制点，起到“加点”效果。
具体处理方法如下
(1)有控制点的网格把网格内的控制点按照匹配度从大到小进行排序，然后 取匹配度最大的一个控制点作为该网格的控制点。
(2)没有控制点的网格不再进行特征点提取，而是取每个网格的中心点作为 特征点，然后在一个图像的一个小范围内进行模板匹配，把匹配成功的点作为相关网格 的控制点。对于自动匹配没有找到控制点的网格，按照已经建立的图像之间的对应关 系，利用原始图像上的控制点在基准图像上估算一个点，把控制点和估算的点作为一对 控制点。
由于只是在一个小的网格内进行匹配，并且已经进行了自动匹配和用匹配度较 高的控制点建立了两幅图像之间的对应关系，所以简化和改进了一般的模板匹配步骤， 方法如下直接把网格的中心点作为特征点，再以特征点为中心，根据图像间的对应关 系分别在两幅图像中提取很小的模板窗口和搜索窗口，然后以某种匹配度判定准则对两 幅图像进行模板匹配。一般情况下，为了找到最佳的控制点，模板窗口和搜索窗口会取 的比较大，速度比较慢。本发明中，由于有了较准确的图像之间的对应关系，所以取一 个非常小的模板窗体和搜索窗体，比如模板窗体为5X5，搜索窗体为10X10。该值为经 验选择，可以取更小，但不需要太大。这样做的好处是既可以提高匹配速度和精度，又可以防止模板匹配偏离正确位置，出现误匹配点。模板匹配过程示意图如图6所示，分 别从基准图像和原始图像中提取的模板窗口在提取的搜索窗口，模板窗口在搜索窗口中 逐点移动，计算每次移动后的匹配度，匹配度最大值对应的位置就是在搜索窗体中找到 的控制点的位置。
该步骤中，把图像间的对应关系作为自动匹配中提取模板窗口和搜索窗口的依 据以及估算控制点的依据是合理的，因为经过RANSAC筛选控制点后，保留的控制点匹 配度较高，依据这些控制点建立的图像之间的对应关系是比较准确的。
本发明在自动匹配后进行控制点均勻化，采取加点、删点、保留点三种策略， 尽可能的保证每个网格都有一个控制点。本发明的一个实施例在PC平台实现，可以使控 制点分布更均勻，图像匹配精度更高，并且计算复杂度低，计算速度快，易于实现。
权利要求
1.一种技术方案，使用多种图像处理技术，对匹配后的控制点进行均勻化，使控制 点分布更均勻，减少误匹配点，提高图像的匹配精度，包括如下步骤A.图像自动匹配对图像进行自动匹配，生成控制点；B.RANSAC方法筛选控制点使用RANSAC方法筛选出匹配度较好的控制点，减少 误匹配的控制点；C.建立图像间的对应关系在筛选出控制点后，使用最小二乘法建立两幅图像之间 的对应关系；D.划分网格、分配控制点对原始图像进行网格划分，网格大小为MXM，网格划 分后，把所有原始图像控制点按照坐标分配到不同的网格中；E.控制点均勻化对于有控制点和没控制点的网格分别进行处理(1)对于有控制 点的网格，取匹配度Y最大的控制点作为该网格的控制点；(2)对于没有控制点的网 格，在原始图像上取网格中心点作为原始图像待匹配点，然后在一个小的区域范围内进 行图像自动匹配，筛选符合条件的基准图像上的控制点；如果图像自动匹配失败，利用 已经建立的两幅图像之间的对应关系，估算对应的基准图像上的控制点；其特征在于步骤C的建立图像间的对应关系也可以调到步骤D后执行；图像自动匹配可以根据实际情况，选择不同的图像匹配方法，目的是找出足够多 的，且精度较高的控制点，从而使控制点均勻化达到好的效果；步骤A中的自动匹配和 步骤E中的自动匹配可以是相同方法，也可以不同；网格划分中网格的大小为经验选择，但不能太小，否则就会导致计算速度降低、控 制点过多；网格大小可以是固定的，比如200X200，或者300X300，也可以根据图像大 小动态调整。
2.根据权利要求1中所述的控制点均勻化方法，其特征在于步骤C中的最小二乘法，也可以使用二阶或者更高阶的多项式，其目的是建立比较 准确的图像间的对应关系。
3.根据权利要求1中所述的控制点均勻化方法，其特征在于步骤E中的模板匹配中，也可以使用某种特征提取方法在网格中进行特征点提取， 而不是直接以网格的中心点作为特征点。
4.根据权利要求1中所述的控制点均勻化方法，其特征在于步骤E中的控制点均勻化策略中，对于有多个控制点的网格，也可以保留两个或者 多个匹配度高的控制点；对于只有一个控制点的网格，如果控制点的匹配度低于某一阈 值，可以抛弃该控制点，重新进行自动匹配。
全文摘要
本发明公开一种技术方案，综合使用多种图像处理技术，对自动匹配后的控制点进行均匀化，均匀化后，控制点分布更均匀，减少了误匹配控制点，图像匹配精度更高。处理过程为首先进行传统的图像自动匹配，生成控制点；然后使用RANSAC方法对生成的控制点进行筛选，利用筛选后的控制点建立两幅图像之间的对应关系；再对原始图像进行网格划分，网格大小为M×M，网格划分后，把所有控制点按照坐标分配到不同的网格中；最后，对于有控制点和没控制点的网格分别进行筛点和加点处理，尽可能保证每个网格都有一个控制点。
文档编号G06K9/64GK102024154SQ201010560790
公开日2011年4月20日 申请日期2010年11月26日 优先权日2010年11月26日
发明者刘伟卿, 单小军, 唐亮, 张翼, 王开栋 申请人:中国人民解放军第二炮兵装备研究院第五研究所, 中国科学院遥感应用研究所