一种筛除图像不稳定特征点的方法与流程

本发明涉及图像处理技术领域，具体涉及一种筛除图像不稳定特征点的方法。

背景技术：

图像特征匹配是实现图像搜索、图像分类、目标识别、图像拼接的重要基础。为提高匹配性能，通常借助局部特征提取算法，如sift、surf、brief等，来完成匹配。与全局特征（如直方图等）相比，局部特征能更好的应对旋转、尺度等变化。sift因其良好的匹配性能，得到广泛的运用。在此基础上，研究人员从各方面提出更具有适应性的算子（如pca-sift和affine-sift），进一步增强sift的鲁棒性和描述能力，以期获得更好的匹配性能。然而改进算法在提高匹配性能的同时却降低了匹配速度，其中，以affine-sift算法尤为明显。为了在保留匹配性能的同时不影响匹配速度，研究者提出了各种优化速度的sift算子：如通过canny算子去除边缘点，然后通过k-l变换降低描述子维度；这可以在提高速度的同时保持较高的正确匹配率，但是所剩匹配点的数量过少；或者采用24维特征描述符代替128维特征描述符，并引入最小优先队列和马氏距离，这在一定程度上提高了匹配速度，但最终获得的匹配数量仍然比较少；sar-sift采用一种新的梯度计算方法，并对sar(syntheticapertureradar)图像中的斑点噪声具有鲁棒性,但这限于分析sar图像。此外，基于fpga平台的并行加速算法也被提出，但这种算法需要消耗额外的计算资源，并没有从本质上降低算法所需的计算量。

技术实现要素：

针对上述现有技术的不足，本发明提出一种筛除图像不稳定特征点的方法，在对提取特征点生成描述符之前，先筛除部分无效特征点，降低所需描述无效特征点的数量，达到提速效果。

为实现上述目的，本发明的技术方案是：一种筛除图像不稳定特征点的方法，包括：

步骤1：提取待匹配图像的特征点；

步骤2：对提取出的每个特征点，计算该特征点的m×m邻域熵hm及n×n邻域熵hn；

步骤3：计算每个特征点的m×m邻域熵hm与n×n邻域熵的差，即每个特征点的差熵；

步骤4：如果差熵绝对值小于预设的阈值，则判定为不稳定特征点，否则认为是稳定特征点参与图像匹配。

优选地，所述步骤1采用sift算法进行特征点提取。

优选地，所述步骤2具体为：

计算每个特征点m×m邻域和n×n邻域像素中不同灰度级出现的概率；

为了更好地表示邻域熵与灰度值之间的关联，而不只是表示邻域内灰度值分布的均匀程度，邻域熵计算公式如下：

其中，表示特征点邻域内像素灰度值i的分布概率。

优选地，m×m邻域大小为7×7，n×n邻域大小为19×19。

与现有技术相比，本发明具有有益效果：

在对所提取特征点生成描述符之前，先通过特征点邻域灰度值的熵分布特性来筛除部分无效特征点，以降低所需描述无效特征点的数量，从而达到提速的效果，大幅地提高特征点匹配的实时性、匹配率及正确匹配率。

附图说明

图1是现有技术中传统图像匹配步骤示意图；

图2是本发明的熵特征筛选算法流程图；

图3（a）是本发明实施例1的待匹配目标图像特征点筛选结果图；

图3（b）是本发明实施例1的待匹配参考图像特征点筛选结果图；

图4（a）是本发明实施例2的待匹配目标图像；

图4（b）是本发明实施例2的待匹配参考图像

图5（a）是本发明实施例2的原始算法匹配结果图；

图5（b）是本发明实施例2的改进算法匹配结果图；

图6（a）是本发明实施例3的待匹配目标图像；

图6（b）是本发明实施例3的待匹配参考图像

图7是本发明与原始算法的平均匹配率对比图；

图8是本发明与原始算法的正确匹配率对比图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

传统的基于局部特征点的图像匹配流程可以分为四个步骤，特征点提取、描述符生成、粗匹配及误匹配剔除，如图1所示。

以图4（a）、图4（b）中待匹配图像对为例，按现有技术中传统图像匹配步骤进行图像匹配，各步骤所须运行时间及特征点匹配情况如表1所示（实验环境为i33220tcpu@2.80ghz，4.0gbram的pc机）。由表1可得，后半阶段时间占了74%(30.13sec:40.59sec)）。从表1的数据可得，对所提取的大量特征点生成描述符的过程耗费大量的时间，而这些特征点中有极大部分的特征点是无效特征点，即无法被匹配。对大量无效特征点的描述大大降低了sift算法的运行效率。

在sift算法中，通过dog(differenceofgaussian)检测特征点的过程中会保留着较强的边缘效果，尽管后续可以通过hessian矩阵能够排除部分的不稳定点，但是仍然有大量的无效特征点无法被移出，如图4(a)图4（b）所示例子中，所剩不稳定特征点数量仍然很多，这导致特征点的有效匹配率低。

通过对特征点匹配与否进行研究可得：一个特征点是否能够得到匹配除了依赖于视角不同所导致的当前特征点在对应的图像中是否存在相应的匹配点问题，还依赖于特征点是否包含足够的信息量以区别于其他特征点；一个特征点如果包含足够大的信息量，则可视为是一个稳定特征点。

本发明提出的一种筛除图像不稳定特征点的方法，包括：

步骤1：采用sift算法提取待匹配图像的特征点；将所提取特征点放大，可得如若包含一个稳定的特征点，特征点邻域灰度的变化较为明显；如果包含不稳定特征点，则此不稳定特征点邻域灰度地变化情况次明显；如若不包含特征点的区域，其邻域的灰度值变化不明显。

步骤2：对提取出的每个特征点，计算该特征点的m×m邻域熵hm及n×n邻域熵hn；

具体为：

计算每个特征点m×m邻域和n×n邻域像素中不同灰度级出现的概率；

为了更好地表示邻域熵与灰度值之间的关联，而不只是表示邻域内灰度值分布的均匀程度，邻域熵计算公式如下：

其中，表示特征点邻域内像素灰度值i的分布概率。

步骤3：计算每个特征点的m×m邻域熵hm与n×n邻域熵的差，即每个特征点的差熵；

步骤4：如果差熵绝对值小于预设的阈值，则判定为不稳定特征点，否则认为是稳定特征点参与图像匹配。

通过差熵绝对值可获得邻域灰度变化程度的稳定表征，而不受特征点的尺度及灰度值的绝对值的影响。

阈值并非固定，可以根据实际所希望保留的特征点比例、稳定程度进行相应调节。

上述熵特征筛选算法流程图如图2所示。

优选地，m×m邻域大小为7×7，n×n邻域大小为19×19。

实施例1

采用原始算法sift与ransac相结合的方案，基于sift算法来匹配图3（a）和图3（b）两张图片，sift分别从图3(a)、图3(b)中提取了1021和638个特征点（在图中以*标记），最终共得到78对匹配，经过ransac筛选后可得，其中正确匹配的有67对。在此过程中，特征点的匹配率仅为7.6%（图3（a））和12%（图3（b）），其余92.3%和88%的特征点虽然最终没有匹配,但作为候选匹配特征点，未匹配特征点的描述符也必须被计算，因此降低了算法的效率。

采用本发明的改进算法，在计算特征点描述符之前，先基于其邻域的差熵来筛选特征点，以去除部分不稳定匹配特征点，以减少对不稳定特征点计算描述符所需的时间。通过计算图3(a)、图3(b)中特征点邻域的差熵，并将据此筛选出的不稳定特征点标记为ｏ（478个和380个）。据测试可得未标记点中共有61对匹配，且全部为正确匹配，即匹配率提高为11.5%和23.6%。由此可以判定，本发明所提出的方法可以成功地筛除部分不稳定特征点。

实施例2

本实施例采用1224*1636的复杂图像作为实验素材。首先使用sift算法提取图片特征点，然后通过本发明算法过滤掉无效特征点，在此基础上实现特征点描述符的计算及特征点匹配。实验中涉及到算法的两个参数，计算差熵所需邻域大小以及阈值。本实施例将计算差熵的邻域大小设置为优选值7×7以及19×19，阈值设置为平均值加上一个很小的偏移系数-0.03。

对图4(a)图4（b）的待匹配图像进行测试，图5（a）为原始算法sift与ransac相结合的匹配结果，图5（b）为利用本发明改进算法的匹配结果，可看到本发明算法成功保存了大量的匹配点对。

实施例3

与实施例2不同之处仅在于对已知单应矩阵的不同场景下的图片进行测试。

如图6(a)图6（b）所示，为boat角度旋转的待匹配图像对。

box-scene待匹配图像对如图3（a）、图3（b）所示，streetview待匹配图像对如图4(a)图4（b）所示，boat待匹配图像对如图6(a)图6（b）所示，对上述每对图像所提取的特征点总数，匹配特征点数及正确匹配点数如表2所示。

由于同一对图像中两幅图像所提取的特征点数量不尽相同，所以表中用（目标图特征点数量，参考图特征点数量）的格式来表示。图7显示了原始算法与改进算法的匹配率（匹配的点数/目标图特征点总数），图8显示了原始算法与改进算法的正确匹配率（正确匹配点数/匹配特征点数）。据表2和图7、图8可知，在相同条件下，相比原始算法，改进算法筛除了大部分的特征点数量，而最终正确匹配点对的数量却变化不大。针对不同类型的图片对，改进算法在匹配率上有了大幅了提高，这说明改进算法成功的剔除一部分不稳定的特征点。同时保留了大部分的正确匹配点数，这说明算法能较好地保存稳定特征点对。因此，本发明所提出的根据稳定性系数来剔除不稳定特征点的方法是行之有效的。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。