一种利用RANSAC消除Brisk关键点错误匹配点对的方法与流程

本发明涉及一种提高匹配精度方法，特别是一种利用RANSAC（RandomSamplingConsensus）消除Brisk（BinaryRobustInvariantScaleKeypoint）关键点错误匹配点对的方法，从而提高匹配精度的方法，主要用于图像处理、计算机视觉、目标识别和匹配、3D场景重建和目标跟踪。

背景技术：
将图像分解为局部感兴趣区域或‘特征’是计算机视觉中广泛应用的技术。图像表达、目标识别和匹配、3D场景重建和运动跟踪都依赖于图像中稳定、表达性强的特征，这些都导致了越来越多对特征提取方法的研究。理想的关键点检测子发现图像显著性区域，以便发生视角变化时仍然能够重复检测；更一般的是对所有的图像变换都比较鲁棒。类似的，理想的关键点描述子捕捉被检测的图像区域最重要和最具区分性的信息，以便遇到同样地结构时仍然能够被识别。此外，在获得了这些需要的性能之后，检测和描述的速度也需要优化，以满足实时性需求。目前，SIFT作为一种高性能方法而被广泛接受，独特性强、对许多图像变换具有不变性——然而以计算复杂度作为代价。将FAST检测子和BRIEF描述方法结合起来提供一个更合适的实时应用方法。然而，尽管在速度上面的优势，但它的可靠性和稳健性对图像的变形和变换具有较小的容忍性，尤其是平面旋转和尺度变化。从图像中抽取合适的特征的内在困难在于平衡两个矛盾的目标：高质量描述和低计算量。对高质量、高速度的特征日益增长的需求导致了更多的学者研究以更高的速率处理更丰富的数据的方法。为此，Stefanetal在2011年提出一种高质量、快速的关键点检测、描述和匹配的方法——Brisk(BinaryRobustInvariantScaleKeypoint)。然而，由于环境因素等影响，会出现多个点对应到一个点的错误匹配情况，从而降低了关键点的重复性。因此，如何在保持关键点快速的检测、描述和匹配的基础上，进一步提高匹配精度是目前需要解决的问题。

技术实现要素：
本发明技术解决问题：针对现有技术的不足，提供一种利用RANSAC（RandomSamplingConsensus）消除Brisk（BinaryRobustInvariantScaleKeypoint）关键点错误匹配点对的方法，在保持关键点快速的检测、描述和匹配的基础上，进一步提高匹配精度。为实现这样的目的，本发明的技术方案：一种利用RANSAC消除Brisk关键点错误匹配点对的方法，包括如下步骤：步骤一、图像预处理：采用高斯平滑滤波对待处理的两幅图像分别进行处理，去除噪声的影响，得到滤波后的平滑图像；步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk（BinaryRobustInvariantScaleKeypoint）关键点检测、描述和匹配，得到两幅图像的对应匹配点对；步骤三、利用RANSAC（RandomSamplingConsensus）对步骤二得到的对应匹配点对进行处理，消除错误匹配点对，最终获得正确的匹配点对。其中，所述步骤二中，对得到的两幅平滑图像分别进行Brisk（BinaryRobustInvariantScaleKeypoint）关键点检测、描述和匹配的方法为：步骤（21）、尺度空间特征点检测：使用AGAST（AdaptiveandGenericAcceleratedSegmentTest）进行特征提取，尺度不变性是获得高质量特征点的前提，因此，不只在图像平面搜索最大值，同时在尺度空间内用FAST（FeaturesfromAcceleratedSegmentTest）分数s作为显著性测量值，尺度空间金字塔包括n个octaves，第i个octave用ci表示，每个octave包含n个intra-octavesdi，i＝{0,1,2,...,n-1},一般n＝4，Octave是原始图像渐进半采样形成，di存在于ci与ci+1之间，第一个intra-octave由原始图像以1.5的采样因子降采样得到，其余的di由连续半采样得来，如果t表示尺度，那么t(ci)＝2i，t(di)＝2i．1.5，Brisk算法采用FAST9-16（FeaturesfromAcceleratedSegmentTest，需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小）提取特征点的方法如下：步骤（211）、对每一个octave和每一层intra-octave应用FAST9-16，取相同的阈值T来分辨潜在的感兴趣区域；步骤（212）、对步骤（211）得到的潜在感兴趣区域的点进行非极大值抑制：首先，问题点需要满足极大值条件，即在同层中八邻域的FASTscores最大，s定义为极大值是考虑到此点是图像角点；其次，同层和上下层的scores都应比此点的scores小,由此得到满足极大值条件的感兴趣点和所在层的尺度；步骤（213）、检查步骤（212）得到的感兴趣点所在层上的patch，由于相邻层离散程度不同，需要在patch边缘进行插值，至此得到一系列具有亚像素精度和浮点尺度的关键点集；步骤（22）、关键点描述：对于由步骤（21）得到的一系列关键点集，该关键点集由亚像素精确定位和相关浮点尺度组成，Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成，在Brisk中，确定每个关键点的特征方向来获得方位归一化描述子，因此赢得旋转不变性；步骤（23）、描述子匹配：匹配两个Brisk描述子是一个简单的汉明距离的计算，两个描述子中不同的比特位的数量为不相似度的度量。其中，所述步骤三中，利用RANSAC算法对步骤二得到的匹配点对进行处理，消除错误匹配点对的方法为：步骤（31）、随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对，根据选取出的匹配点对计算仿射变换矩阵M；步骤（32）、针对匹配图像中的所有特征点X，计算仿射变换M·X，选出满足|MX-X'|＜ε的点对构成内点，其中X'为对应X的匹配点对，ε为选定的阈值，如果内点数大于预设的阈值t，使用这些内点在最小二乘意义下重新计算变换矩阵M，再次更新内点数目，若内点数目小于t，返回步骤（31）；步骤（33）、经过N次迭代后，如果最大内点集合内包含的点的个数趋于稳定收敛且大于t，则可根据内点集合计算变换矩阵M，算法结束；否则，若最大内点集合内包含的点的个数不再改变且小于阈值t，则算法失败。其中，所述步骤（22）中，对于由步骤（21）得到的一系列关键点集，该关键点集由亚像素精确定位和相关浮点尺度组成，Brisk描述子生成方法为：步骤（41）、在每个关键点邻域内使用确定的采样模式，定义N个位置均匀分布在以关键点为圆心的同心圆上，其中小的黑色实心圆表示采样位置；大的虚线圆半径对应于平滑该采样点的灰度值所用的高斯核的标准差，模式尺度为1，对于图像中一个特定的关键点，考虑所有采样点对集，定义短距离点对和长距离点对；步骤（42）、建立描述子：为了获得旋转和尺度归一化描述子，在关键点周围采用旋转采样模式，通过执行所有短距离点对的灰度比较获得二值比特矢量描述子。本发明与现有技术相比的有益效果在于：（1）本发明采用基于Brisk（BinaryRobustInvariantScaleKeypoint）的特征点检测、描述和匹配方法，与传统基于sift、surf相比在保持较高质量的同时具有更高的匹配速度；（2）本发明在基于Brisk（BinaryRobustInvariantScaleKeypoint）的特征点检测、描述和匹配的基础上，利用RANSAC（RandomSamplingConsensus）消除关键点错误匹配点对，在保持原有方法高质量和快速的同时，进一步提高了匹配精度。（3）本发明采用基于Brisk（BinaryRobustInvariantScaleKeypoint）的特征点检测、描述和匹配方法，在此基础上利用RANSAC（RandomSamplingConsensus）消除关键点错误匹配点对，对视角变化、尺度、旋转和模糊情况均能适应。附图说明图1为本发明方法实现流程图；图2为本发明采用Brisk关键点描述时使用的采样模式；图3为本发明采用Brisk方法对两幅待匹配图像进行关键点检测、描述和匹配后的结果；图4为本发明采用RANSAC方法消除错误匹配点对后得到的匹配结果；图5为本发明对发生视角变化情况下的图像进行匹配后的结果；图6为本发明对发生旋转和尺度变化情况下的图像进行匹配后的结果；图7为本发明对发生模糊情况下的图像进行匹配后的结果。具体实施方式下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。本发明基于Brisk（BinaryRobustInvariantScaleKeypoint）关键点检测、描述和匹配，输入图像为网上公开的数据集。如图1所示，本发明提供了一种利用RANSAC（RandomSamplingConsensus）消除Brisk（BinaryRobustInvariantScaleKeypoint）关键点错误匹配点对的方法，包含以下步骤：步骤一、图像预处理。由于光照或成像系统的缺陷，获取的待处理图像会受到噪声的影响，从而影响后续的处理。因此，在执行后续的处理算法之前，对待处理图像进行预处理。本方法采用高斯平滑滤波来去除噪声的影响，得到滤波后的平滑图像。步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk（BinaryRobustInvariantScaleKeypoint）关键点检测、描述和匹配，得到两幅图像的对应匹配点对，具体方法如下：（2.1）尺度空间特征点检测：由于焦点聚集在计算有效性上，使用Mairetal提出的AGAST（AdaptiveandGenericAcceleratedSegmentTest）方法进行特征提取。AGAST（AdaptiveandGenericAcceleratedSegmentTest）是目前流行的FAST的加速性能的一种扩展。尺度不变性是获得高质量特征点的前提，因此，为了获得尺度不变性，不只在图像平面搜索最大值，同时在尺度空间内用FAST分数s作为显著性测量值。尽管离散化的尺度轴比可选高性能的检测子得间隔粗糙，但是Brisk检测子是在连续尺度空间估计每个特征点的真实尺度。尺度空间金字塔包括n个octaves，第i个octave用ci表示，每个octave包含n个intra-octavesdi,i＝{0,1,2,...,n-1},一般n＝4，Octave是原始图像渐进半采样形成。di存在于ci与ci+1之间。第一个intra-octave由原始图像以1.5的采样因子降采样得到。其余的di由连续半采样得来。如果t表示尺度，那么t(ci)＝2i，t(di)＝2i·1.5。AGAST在特征点检测中提供多种不同模式的采样模板，Brisk算法大部分采用其中的FAST9-16提取特征点，其需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小，具体方法如下：（2.1.1）对每一个octave和每一层intra-octave应用FAST9-16，取相同的阈值T来分辨潜在的感兴趣区域；（2.1.2）对上述（211）得到的潜在感兴趣区域的点进行非极大值抑制：首先，问题点需要满足极大值条件，即在同层中八邻域的FASTscores最大。s定义为极大值是考虑到此点是图像角点。其次，同层和上下层的scores都应比此点的scores小，由此得到满足极大值条件的感兴趣点和所在层的尺度。检测等大小的方形patch内部：边长选择两个像素。既然相邻层是不同离散化的，就需要在patch边缘进行插值。由于在半采样和降采样时可能滤掉了潜在的最大值，因此需要进行插值，通过曲线拟合把最大值定位出来。由于确定一个特征点需要除本层以外的上下两层，但c0层是最底层，因此需要虚拟一个d-1层，但这层不使用FAST9-16，而使用FAST5-8，即在8个像素的圆上至少有连续5个像素的灰度值比中心像素灰度值更大或更小。在这种情况下，不要求d-1层的patch分数比c0层上检测的点的分数低。考虑到图像显著性不仅在图像上同时沿着尺度维作为一个连续的数量，对于每个检测到的极大值执行亚像素和连续尺度精确提取。为了约束提炼过程的复杂度，首先对每个三分数块（关键点所在层、上下层）在最小均方意义上拟合一个2D二次函数，生成三个亚像素显著性最大值。为了避免重采样，在每一层考虑一个3*3的分数块。其次，这些精细分数用来拟合沿着尺度轴的1D抛物线，生成最终的最大值上的分数估计和尺度估计。作为最后一步，在确定的尺度周围的层中块之间的图像坐标上进行重新差值，至此得到一系列具有亚像素精度和浮点尺度的关键点集。（2.2）关键点描述：对于由步骤（2.1）得到的一系列关键点集（由亚像素精确定位和相关浮点尺度组成），Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成。在Brisk中，确定每个关键点的特征方向来获得方位归一化描述子，因此赢得旋转不变性。此外，为了最大化描述性能，仔细选择亮度比较。（2.2.1）采样模式和旋转估计。在关键点邻域内使用一种确定的采样模式。如图2所示，定义N个位置均匀分布在以关键点为圆心的同心圆上。其中小的黑色实心圆表示采样位置；大的虚线圆半径对应于平滑该采样点的灰度值所用的高斯核的标准差。图中所示的模式尺度为1。为了避免混叠效应，在模式中采样点pi的图像灰度时，应用高斯平滑，其标准差σi与独立圆中点之间的距离成正比。对于图像中一个特定的关键点k，考虑N·(N-1)/2个采样点对(pi,pj)中的一个，其中N为关键点k周围同心圆上的采样点数。这些点上的平滑灰度值分别为I(pi,σi)和I(pj,σj)，通过式（2-1）估计局部梯度g(pi,pj)其中pi，pj分别为第i和第j个采样点的位置矢量，I(pi,σi)和I(pj,σj)分别为第i和第j个采样点上高斯平滑核标准差分别为σi和σj的平滑灰度值，g(pi,pj)为点对(pi,pj)上的局部梯度。考虑所有采样点对集Α：其中N为关键点k周围同心圆上的采样点数。定义短距离点对子集S和长距离点对子集L：δmax}⊆A]]>其中阈值距离设置为δmax＝9.75t和δmin＝13.67t(t为关键点k的尺度)，A为所有采样点对集。迭代长距离点对子集L中的点对，根据式（2-4）估计关键点k的特征模式方位其中g(pi,pj)表示点对(pi,pj)上的局部梯度，L为长距离点对子集的长度，gx和gy分别为点对(pi,pj)上沿X和Y方向的梯度值，g为关键点k上的梯度矢量。采用长距离点对计算局部梯度是基于这样一个假设：局部梯度互相抵消，因此对全局梯度的确定没有影响。（2.2.2）建立描述子。为了形成旋转和尺度归一化描述子，Brisk应用在关键点周围旋转α＝arctan2(gy,gx)的采样模式。通过执行所有短距离点对（即旋转模式）的灰度比较形成比特矢量描述子dk，每个比特对应于：I(Piα,σi)0,otherwise---(2-5)]]>其中表示第i个采样点处平滑灰度值的高斯核标准差为σi、旋转角度为α的旋转模式下的灰度值，表示第j个采样点处平滑灰度值的高斯核标准差为σj、旋转角度为α的旋转模式下的灰度值，b为描述子矢量中的比特位。BRIEF（BinaryRobustIndependentElementaryFeatures）描述子也可以通过亮度比较获得，除了预先的尺度化和旋转Brisk有一些基本的不同。首先，Brisk使用确定性的采样模式在关键点周围给定的半径内形成一个均匀的采样点密度。接下来，定制的高斯平滑不会扭曲亮度比较的信息内容，通过模糊两个作比较的采样点对。此外，Brisk使用更少的采样点，限制了查找灰度值的复杂度。最后，从空间上限制比较以便于亮度变化仅限于局部连续。有采样模式和距离阈值，获得512长度的比特串。（2.3）描述子匹配：匹配两个Brisk描述子是一个简单的汉明距离的计算。两个描述子中不同的比特位的数量为不相似度的度量。对castle.jpg与castle_1.jpg进行测试，其发生了视角和尺度变化，阈值为70，利用Brisk方法进行关键点检测、描述和匹配后得到的匹配结果如图3所示。其中黑色圆心表示检测到的对应匹配点所在位置，半径大小代表了该点所在的尺度大小，从圆心到圆上的黑色半径表示该点的方位，两幅图像中的灰色线段表示对应匹配点对。实验发现，左边检测到285个关键点，右边检测到299个关键点，匹配对数有16对。从图中可看到，结果会出现多个点匹配到一个点的情况，因此有错误匹配。步骤三、利用RANSAC（RandomSamplingConsensus）对步骤二得到的对应匹配点对进行处理，消除错误匹配点对，最终获得正确的匹配点对，具体步骤如下：（3.1）随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对，根据选取出的匹配点对计算仿射变换矩阵M；（3.2）针对匹配图像中的所有特征点X，计算仿射变换M·X，选出满足|MX-X'|＜ε的点对构成内点。其中X'为对应X的匹配点对，ε为选定的阈值。如果内点数大于预设的阈值t，使用这些内点在最小二乘意义下重新计算变换矩阵M，再次更新内点数目。若内点数目小于t，返回步骤（31）；（3.3）经过N次迭代后，如果最大内点集合内包含的点的个数趋于稳定收敛且大于t，则可根据内点集合计算变换矩阵M，算法结束；否则，若最大内点集合内包含的点的个数不再改变且小于阈值t，则算法失败。利用步骤三所述方法对上述步骤二得到的匹配结果进行错误匹配消除后得到的匹配结果如图4所示。实验发现，经过错误匹配消除后得到的正确匹配点数为9对。从图中可以看出，得到的对应匹配点对均为正确匹配点，从而进一步提高了匹配精度。为了说明采用Brisk方法对视角变化、尺度、旋转和模糊情况下的不变性，用从网上下载的数据集进行测试，使用本发明进行错误匹配点对消除后得到的匹配结果分别如图5、6、7所示，其中两幅图像间的灰色线段表示对应的匹配点对，线段的两个端点分别表示两幅图像中找到的对应匹配点,以端点为圆心的黑色圆半径大小表示该点的尺度大小，半径取向表示该点的方位。图5发生了视角变化，图6发生了旋转和尺度变化，图7发生了模糊。从图中可以看出，当图像发生视角、旋转、尺度、模糊等变化时，综合利用Brisk以及RANSAC后得到的匹配结果比单一使用Brisk方法更精确，匹配精度更高。为了定量评估匹配算法的性能，对以上图像进行测试，计算匹配的特征比(匹配点对与两幅匹配图中检测到的特征点中最小个数之比，RatioofMatchingFeatureswithAllFeatures,RMFAF)、正确匹配的特征百分比(正确匹配点对与两幅匹配图中检测到的特征点中最小个数之比，RatioofCorrectMatchingFeatureswithAllFeatures,RCMFAF)以及正确匹配的特征点对与所有匹配的特征点对的百分比(RatioofCorrectMatchingFeatureswithMatchingFeatures,RCMFMF)，如表一所示。从表中可以看出，不管图像出现何种变化，均会出现错误匹配点对，经过RANSAC消除错误匹配点对后，进一步提高了匹配精度，为后续用于跟踪应用场景提供了基础。表一不同图像测试性能比较ImagesetRMFAFRCMFAFRCMFMFFigure45.6%3.15%56.25%Figure539.4%38.2%96.9%Figure641.75%41.47%99.35%Figure769.4%61.1%88%本发明未详细阐述部分属于本领域技术人员的公知技术。本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变型都将落在本发明权利要求书的范围内。