基于极线插入图像的ransac特征匹配优化方法
【专利摘要】本发明公开了一种基于极线插入图像的ransac特征匹配优化方法，该方法能够提高匹配质量，增加特征点优质匹配数量，解决了ransac算法图像特征点优质匹配少、准确度不高的问题。该方法首先对待匹配的图像进行特征点检测、描述及匹配，通过比率和对称性测试对匹配集合进行初步筛选，剔除掉错误匹配；其次使用ransac算法获得原始优质匹配集合以及它支持的基础矩阵；再利用基础矩阵计算特征匹配点的极线，并对获得的极线进行挑选，以保证极线尽可能地在图像上均匀分布；然后对挑选的极线进行厚度及极线数量的处理，再插入图像中；最后对处理后的图像重新基于ransac算法进行优质匹配的获取过程。本方法效果良好，适用于各种图像。
【专利说明】基于极线插入图像的ransac特征匹配优化方法
【技术领域】
[0001] 本发明涉及计算机图像处理【技术领域】，特别涉及一种基于极线插入图像的ransac 特征点匹配优化方法。
【背景技术】
[0002] 在计算机视觉中，图像匹配的概念被大量应用于物体识别，视觉跟踪，三维重建等 问题。它依赖于这样的想法，即先利用特征检测器（本发明使用surf特征检测器）检测图 像上某些特殊的点，再对它们进行描述，最后利用描述的内容对特征点进行匹配，从而实现 图像与图像之间的匹配。
[0003] 图像匹配可以大致分为基于像素灰度的匹配和基于图像特征的匹配，其中图 像特征又分为区域特征、边缘特征和点特征。基于特征点的图像匹配技术能够达到 有效、快速和鲁棒性高的图像匹配的基本要求，因此被广泛应用。目前，基于特征点 (ORB,BRISK,FAST,SURF,SIFT等）的图像匹配技术应用在不同的图像之间，由于这些图像 存在尺度、旋转角度、亮度、遮挡以及镜面反射等变化，因此经过初步匹配后，存在大量的劣 质匹配。匹配结果的不准确将导致诸如目标跟踪丢失、图像拼接畸形、三维重建效果差等问 题。在上述技术中引入随机采样一致算法（即：ransac)，可以更加可靠地匹配图像特征，提 高匹配质量。它的基本思想是随机地选取一些匹配对，根据双视角的极性约束计算他们的 对应关系。之后，匹配集合中剩下的匹配子集都用来支持这样的关系，最终获得最大支持这 种关系的匹配集合。ransac算法具有支持集合越大越准确、获得正确结果的可能性越大的 特性。但是，该方法得到的匹配数量偏少，不能满足应用需求。而本发明能够很好地解决上 面的问题。
【发明内容】
[0004] 本发明目的在于解决了ransac算法图像特征点优质匹配少、准确度不高的问题。 针对ransac算法需要匹配支持集合中含有更多元素这一要求，根据ransac算法的原理，提 出了一种特征点匹配优化方法。该方法增加了基于surf特征点的优质匹配对的数量，适用 于各种图像数据，诸如：对大场景、局部对象、含噪声图像等，通过该方法得到的结果可应用 于三维重建，目标跟踪，人脸识别等【技术领域】中。
[0005] 本发明解决其技术问题所采取的技术方案是：一种基于极线插入图像的ransac 特征匹配优化方法。该方法首先利用ransac算法得到基础矩阵，在此基础上基于特征匹配 点，通过极性几何关系得到准确极线集合。然后从极线集合中挑选合适的极线。极线挑选 的标准是挑选出的极线能够尽可能地在待匹配的两幅图上均匀分布。将选择的极线插入图 像中，设置图像上极线区域的像素与其它部分不同。最后对待匹配图像重新进行surf特征 点检测，描述，最近邻匹配，比率测试，对称测试，经过ransac算法来获得更多的优质匹配 集合。
[0006] 在上述过程中，surf特征匹配的原理是根据surf特征描述子之间的欧式距离进 行表达；ransac算法的原理是多次地随机挑选8个匹配（即：计算得到基础矩阵的数量），计算它们的基础矩阵，集合中剩余的匹配集用来支持这个基础矩阵，最后保留具有最大匹 配支持集合的基础矩阵，并返回它的匹配支持集合；双视角的极性几何原理是当前图像中 的特征点经过空间投影在对应图像中形成直线，这条直线就是当前特征点的极线。
[0007] 方法流程：
[0008] 步骤1 :读取待匹配的两张图像（图像1和图像2)，获得待匹配两幅图像的初始匹 配集合；
[0009] 步骤1-1 :用surf特征检测器分别检测两幅图像的特征点；
[0010] 步骤1-2:用surf描述器分别计算两幅图像上特征点的描述子；
[0011] 步骤1-3 :利用匹配器对描述子进行双向匹配，找到图像1的每个特征点到图像2 的两个最佳匹配，找到图像2中每个特征点在图像1中的两个最佳匹配；
[0012] 步骤1-4 :比率测试，分别处理两个匹配集合（即：图像1到图像2的匹配集合，以 及图像2到图像1的匹配集合），计算最优匹配与次优匹配的距离比值，移除比率大于给定 阈值的匹配；
[0013] 步骤1-5:对称性测试，两个匹配集合中的索引值相互对称时，提取这个匹配集 合，移除不对称的匹配集合，返回对称匹配集合；
[0014] 步骤2:使用ransac随机采样一致算法，计算最大支持匹配集合的基础矩阵，返回 满足此基础矩阵的优质匹配集合和支持这个特征匹配集的基础矩阵；
[0015] 步骤3:利用原算法得到的基础矩阵，计算匹配点在对应图像上的极线；
[0016]步骤4:在极线集合中获取能够在图像上均匀分布的极线；
[0017] 步骤4-1:计算极点，判断极点在图像内还是图像外；
[0018] 步骤4-2:极点在图像外时，根据极线与图像边缘的交点关系，分别选取1、2、3或4 条极线做研究；
[0019] 步骤4-3:极点在图像内时，根据极线之间的夹角关系，分别选取1、2、3或4条极 线做研究；
[0020] 步骤5:利用选择的极线对图像进行处理；
[0021] 步骤5-1:将1、2、3或4条极线插入待匹配的图像1和图像2上；
[0022] 步骤5-2 :将极线处的图像像素设置成0,并且将极线的厚度分别设置为1、5、10或 15个像素的不同厚度；
[0023] 步骤6 :对处理后的图像重新进行优质匹配集的计算；
[0024] 步骤6-1 :进行上述步骤1操作过程，获得初始匹配集合；
[0025] 步骤6-2:进行上述步骤2操作过程，获得优质匹配集合。
[0026] 有益效果：
[0027] 1、本发明能获得数量更多、质量更优、准确度更高的匹配集合。
[0028] 2、本发明能够适用于任何图像。
[0029]3、本发明对极线集合进行挑选时，使用简单的步骤挑选出能够在图像上近乎均匀 分布的极线；无论极点是在图像内还是图像外，极线是否存在，极线是否均匀分布，都能对 其进行良好的筛选；不同于原ransac算法，本发明针对不同数量的极线，在极线处对不同 厚度区域，都能够分析得到优质匹配集合。
【专利附图】
【附图说明】
[0030] 图1为本发明的方法流程图。
[0031 ] 其中，虚线箭头表示包含部分的原算法流程；实线箭头表示新算法新增加的流程。
[0032] 图2为本发明所涉及的算法细节流程图。
[0033] 图3为本发明提出的流程图有关极线处理的细节流程图。
【具体实施方式】
[0034] 为了更好的理解本发明实现的优化方法，下面结合附图，对本发明的具体实施方 式作进一步描述。实施的例子在描述中使用的语言不造成对本发明权利要求的限制。
[0035] 实施例一
[0036] 如图1所示，应用本发明进行图像特征优化匹配的具体流程如下：
[0037] 步骤1 :求基础矩阵，获得原算法的优质匹配集，细节流程如图2所示；
[0038] 步骤1-1 :输入待匹配的两幅图像imagel，image2 ;
[0039] 步骤1-2 :分别用surf检测器检测两幅图像的关键点keypoints，使用surf描述 器计算keypoints的64维描述子；
[0040] 步骤1-3 :利用匹配器对描述子进行双向匹配。即：找到imagel的每个特征点到 image2的两个最佳匹配，然后找到image2中每个特征点在imagel中的两个最佳匹配。
[0041] 步骤1-4:进行比率检测。即：分别处理两个匹配集合，对每个匹配集合中存在的 两个匹配值，计算两个值的距离比值，当比值大于比率阈值rati〇TH(0.5f)时，删除此匹 配，小于ratioTH的匹配保留；
[0042] 步骤1-5 :进行对称性检测。即两个集合要满足：（1)每个匹配集合的当前匹配值 有两个；（2) -个匹配集合的参考索引值与另一个匹配集合中对应的训练索引值相等，同 时一个匹配集合的训练索引值与另一个匹配集合中对应的参考索引值相等。条件都满足的 匹配得到保留，作为良好匹配集；
[0043] 步骤1-6 :使用随机采样一致算法ransac计算。在匹配集合中多次随机挑选8个 匹配计算基础矩阵，一旦计算出基础矩阵，集合中剩下的所有匹配都将与矩阵对应的极性 约束进行测试，基础矩阵得到的一个最大支持集合即作为最终的优质匹配集，并返回此基 础矩阵；
[0044] 步骤2 :极线选择的细节处理流程如图3所示，分别计算图像特征点对应极线，选 择不同数量的极线，这些极线要求能够尽可能在图像上均匀分布；
[0045] 步骤2-1 :计算极线。根据步骤1求得的基础矩阵以及特征点匹配集合，用公式 (1)计算imagel上的匹配点在图像image2上的极线polarsO，image2上的匹配点在图像 imagel上的极线polarsl;
[0046] 极线的表示方程如下式：
[0047] polars[n][0] ?x+polars[n][1] ?y+polars[n][2] = 0 (1)
[0048] 其中y=image,rows，x=image,cols，n为极线数量。
[0049] 步骤2-2 :计算极线极点，极线与边缘的交点；
[0050] 用公式⑵计算极线极点（x0,y0)，其中lines[j] =polars0[0]，lines[k]= polarsO] [1]〇
【权利要求】
1. 一种基于极线插入图像的ransac特征匹配优化方法，其特征在于，所述方法包括如 下所述步骤： 步骤1 :读取待匹配的两张图像，即：图像1和图像2,获得待匹配两幅图像的初始匹配 集合； 步骤2 :使用ransac随机采样一致算法，计算最大支持匹配集合的基础矩阵，返回满足 此基础矩阵的优质匹配集合和支持这个特征匹配集的基础矩阵； 步骤3 :利用原算法得到的基础矩阵，计算匹配点在对应图像上的极线； 步骤4 :在极线集合中获取能够在图像上均匀分布的极线； 步骤5 :利用选择的极线对图像进行处理； 步骤6 :对处理后的图像重新进行优质匹配集的计算。
2. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤1是对图像获取初始匹配的过程，包括如下步骤： 步骤1-1 :用surf特征检测器分别检测两幅图像的特征点； 步骤1-2 :用surf描述器分别计算两幅图像上特征点的描述子； 步骤1-3 :利用匹配器对描述子进行双向匹配，找到图像1的每个特征点到图像2的两 个最佳匹配，找到图像2中每个特征点在图像1中的两个最佳匹配； 步骤1-4 :比率测试，分别处理两个匹配集合，即：图像1到图像2的匹配集合，以及图 像2到图像1的匹配集合，计算最优匹配与次优匹配的距离比值，移除比率大于给定阈值的 匹配； 步骤1-5 :对称性测试，两个匹配集合中的索引值相互对称时，提取这个匹配集合，移 除不对称的匹配集合，返回对称匹配集合。
3. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤2是获得原算法的图像特征点优质匹配集合和基础矩阵的过程。
4. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤3是利用基础矩阵计算匹配点在对应图像上的极线集的获取过程。
5. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤4是在极线集中挑选合适的极线使其能够均匀分布在图像上，其过程包括 如下步骤： 步骤4-1 :计算极点，判断极点在图像内还是图像外； 步骤4-2 :极点在图像外时，根据极线与图像边缘的交点关系，分别选取1、2、3或4条 极线做研究； 步骤4-3:极点在图像内时，根据极线之间的夹角关系，分别选取1、2、3或4条极线做 研究。
6. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤5是对挑选的极线插入图像中，其极线的处理过程如下步骤： 步骤5-1 :将1、2、3或4条极线插入待匹配的图像上； 步骤5-2 :将极线处的图像像素设置成0,并且将极线的厚度分别设置为1、5、10或15 个像素的不同厚度。
7. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述步骤6是对处理过的图像重新获得优质匹配集合的过程，其处理过程的步骤如 下： 步骤6-1 :进行上述步骤1操作过程，获得初始匹配集合； 步骤6-2 :进行上述步骤2操作过程，获得优质匹配集合。
8. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述方法应用于三维重建，目标跟踪，人脸识别【技术领域】中。
9. 根据权利要求1所述的一种基于极线插入图像的ransac特征匹配优化方法，其特征 在于，所述方法首先利用ransac算法得到基础矩阵，在此基础上基于特征点匹配，通过极 性几何关系得到准确极线集合；然后从极线集合中挑选合适的极线，极线挑选的标准是挑 选出的极线能够尽可能地在待匹配的两幅图上均匀分布；将选择的极线插入图像中，设置 图像上极线区域的像素与其它部分不同；最后对待匹配图像重新进行surf特征点检测，描 述，最近邻匹配，比率测试，对称测试，经过ransac算法来获得更多的优质匹配集合。
【文档编号】G06T7/00GK104392453SQ201410720152
【公开日】2015年3月4日 申请日期:2014年12月1日 优先权日:2014年12月1日
【发明者】高志强, 陈洁, 密保秀 申请人:南京邮电大学