一种基于图像金字塔的特征并行提取方法

本发明属于计算机视觉领域，具体涉及一种基于图像金字塔的特征并行提取方法。

背景技术：

1、在过去的二十年中，同步定位与建图(slam)已成为机器人和计算机视觉研究的热点领域，并广泛应用于例如移动机器人、自动驾驶和虚拟现实(vr)设备等现实世界应用领域。由于相机价格低廉且能够获取丰富的环境信息，视觉slam已被广泛研究。目前，采用手工制作的特征在一般场景下表现良好，是视觉slam领域的主流方法。然而，在面对一些具有挑战性的场景(如低光照和低纹理场景)时可能存在局限性。传统的手工制作的特征方法可能无法识别和关联当前周围环境中的特征，导致不能提供一致的特征检测和准确的匹配结果，从而给姿态估计带来不可消除的误差。随着深度学习技术的发展，许多研究人员开始探索利用深度神经网络从图像中提取特征，以提高系统的鲁棒性和准确性。然而，当前大部分基于深度学习的方法在使用图像金字塔提取多尺度特征时，通常会面临着系统计算量陡增的问题，影响了系统的实时性和效率。

技术实现思路

1、针对现有技术中的上述不足，本发明提出的一种基于图像金字塔的特征并行提取方法，以降低特征提取阶段的计算负担，提高系统的响应速度和实时性。

2、为了达到以上目的，本发明采用的技术方案为：

3、本方案提供一种基于图像金字塔的特征并行提取方法，其特征在于，包括以下步骤：

4、s1、接收输入的图像数据，构造图像金字塔；

5、s2、计算整个图像金字塔的总面积；

6、s3、确定图像金字塔单位面积需要提取的特征点数量，并根据金字塔的不同层级，计算得到每一层应提取的特征点数量；

7、s4、将图像金字塔中各层图像的特征提取任务分配给不同的处理单元，在每层图像中并行地提取指定数量的特征点；

8、s5、对提取的特征点进行去重处理，确保最终的特征点集合中没有重复的特征点；

9、s6、输出处理后的特征点结果，应用于视觉slam的实现中。

10、进一步地，所述步骤s1包括以下步骤：

11、s101、系统输入图像数据，原图像宽度为w，高度为h，其分辨率为w×h；

12、s102、从最底层到最上层是一个降采样的过程，缩放因子为λ(0<1/λ<1)，图像金字塔的层数为n，我们将λ设为1.2，n设为8。然后每一层的宽度和高度都以λ的幂次方依次向上递减，直到达到n层，完成金字塔的构造；

13、再进一步地，所述步骤s2包括以下步骤：

14、对每一层应提取的特征点数量与该层图像的面积大小进行关联，从而获取涵盖更多的尺度的特征点。整个图像金字塔总的面积为s，计算公式为：

15、

16、再进一步地，所述步骤s3包括以下步骤：

17、s301、计算单位面积需要提取的特征点数量，记作navg，计算公式为：

18、

19、其中，n为图像金字塔提取的特征点总数量；

20、s302、那么，可以计算得到图像金字塔各层图像应分配提取的特征点数量。以第α(0≤α≤n)层为例，应提取的特征点数量为：

21、

22、再进一步地，所述步骤s4包括以下步骤：

23、s401、对图像金字塔中的每层图像，按照金字塔层级顺序依次分配给不同的处理单元；

24、s402、在每层图像中采用多线程技术并通过高效的深度神经网络(superpoint)特征提取算法并行地提取指定数量的特征点；

25、s403、确保在每层图像中提取的特征点数量达到设定值，以覆盖足够丰富的图像尺度信息。

26、再进一步地，所述步骤s5包括以下步骤：

27、s501、在特征点输出时，计算图像中现有的候选特征点为qj所在的某网格区域与已有特征点为pi坐标之间的距离。其中pi和qj保存了特征点的像素坐标与相应阈值，设定距离的临界阈值为l，候选特征点所在的坐标和响应阈值为qj＝{xj,yj,εj}；

28、s502、求解出候选特征点为qj＝{xj,yj,εj}与特征点为p＝{p1,p2,…,pi}之间的坐标距离，筛选出小于临界阈值l的候选特征点为q′j＝{xj,yj,εj}；

29、s503、计算按照步骤s502求出的候选特征点为q′j＝{xj,yj,εj}的响应阈值ε′j，根据候选特征点响应阈值的激烈程度(即ε′j数值大小)将这些候选特征点进行降序排序；

30、s504、按照非极大值抑制算法，搜索响应阈值为ε′j的局部极大值，并选择其对应的候选特征点为q′j＝{xj,yj,εj}进行保留，得到特征点所处最佳位置的邻近特征点。并将低阈值的邻近候选特征点剔除，将经过去重处理后的特征点集合作为最终的特征点结果。

31、再进一步地，所述步骤s6包括以下步骤：

32、s601、通过修改传统的视觉slam系统(如orb-slam2，一种经典的视觉slam框架)的架构和模块，将步骤s1～步骤s6中的特征点提取和去重的方案进行嵌入与替代优化；

33、s602、验证改进优化后的系统在纯视觉slam算法中的性能和效果，实现系统在定位和建图功能中性能的提升。

34、与现有技术相比，本发明的有益效果是：

35、本发明提出了一种基于图像金字塔的特征并行提取方法。对图像金字塔中的每层图像，按照金字塔层级顺序依次分配给不同的处理单元；在每层图像中采用多线程技术并通过高效的深度神经网络(superpoint)特征提取算法并行地提取指定数量的特征点；确保在每层图像中提取的特征点数量达到设定值，以覆盖足够丰富的图像尺度信息。通过在图像金字塔中并行地提取多尺度特征，本发明在保持良好鲁棒性的同时，也有效应对了大多数方法存在的计算负担增加问题，大幅降低特征提取阶段的计算负担，提高系统的响应速度，更好地满足slam系统对实时性的要求。

技术特征：

1.一种基于图像金字塔的特征并行提取方法，其特征在于，包括以下步骤：

技术总结
本发明提供了一种基于图像金字塔的特征并行提取方法，属于计算机视觉领域。包括以下步骤：步骤S1，接收输入的图像数据，构造图像金字塔；步骤S2，计算整个图像金字塔的总面积；步骤S3，确定图像金字塔单位面积需要提取的特征点数量，并根据金字塔的不同层级，计算得到每一层应提取的特征点数量；步骤S4，将图像金字塔中各层图像的特征提取任务分配给不同的处理单元，在每层图像中并行地提取指定数量的特征点；步骤S5，对提取的特征点进行去重处理，确保最终的特征点集合中没有重复的特征点；步骤S6，输出处理后的特征点结果，应用于视觉同步定位与建图(SLAM)系统的实现中。通过将本发明提出的基于图像金字塔的特征并行提取方法应用于SLAM系统中，在提高了系统定位精度的同时，大幅降低了计算负担，提高了系统的鲁棒性与实时性。

技术研发人员：武畅,赵志奇,吕泽杰,宋子为,李其炎,杜小琦,孔孝童,袁翼飞
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/5/10