一种具有CNN辅助特征提取的SLAM方法、装置及储存介质

本发明涉及一种具有cnn辅助特征提取的slam方法、装置及储存介质，属于计算机视觉。

背景技术：

1、随着计算机技术的发展，自动驾驶技术也有了很大的突破，其中，最关键的定位模块是避障检测，路径规划的基本保障。slam近年来被更多的应用于自动驾驶定位模块，但对于使用传统的特征点法的slam系统，在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的情况。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种具有cnn辅助特征提取的slam方法、装置及储存介质，具有在低纹理、运动模糊或图片模式重复的区域产生高质量匹配的效果。

2、为达到上述目的/为解决上述技术问题，本发明是采用下述技术方案实现的：

3、第一方面，一种具有cnn辅助特征提取的slam方法，包括：

4、获取连续多帧rgb图像当前帧的orb特征点；

5、当连续多帧rgb图像当前帧质量满足预设条件时，则获取rgb图像当前帧的loftr特征点；

6、对orb特征点和loftr特征点进行筛选匹配。

7、进一步地，所述rgb图像当前帧质量的计算公式为：

8、

9、其中，err为地图点向当前帧的重投影误差，nul为每帧特征点的上限值，n为非极大值抑制后的当前帧特征点数量，tkf为上一帧关键帧出现到当前帧的时间，ki为各项指标的权重，可以根据实际场景调整各项指标的权重。

10、进一步地，所述rgb图像当前帧质量的预设条件为value＞预设阈值；当value＞预设阈值时，记为当前帧追踪质量差；当value≤预设阈值时，记为当前帧追踪质量好。

11、进一步地，所述获取rgb图像当前帧的loftr特征点的方法为：

12、获取当前帧图像与上一帧关键帧图像的粗层次特征；

13、将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配；

14、基于粗层次特征匹配结果，对当前帧图像与上一帧关键帧图像进行细层次特征匹配；

15、输出rgb图像当前帧的loftr特征点。

16、进一步地，所述将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配的方法包括：

17、获取各粗层次特征之间匹配得分矩阵并计算匹配概率；

18、根据匹配概率获取最优的粗层次特征匹配集。

19、进一步地，所述对当前帧图像与上一帧关键帧图像进行细层次特征匹配的方法包括：

20、获取最优粗层次特征的剪裁范围；

21、基于剪裁范围获取第一匹配特征和第二匹配特征；

22、计算第一匹配特征与第二匹配特征的匹配概率分布；

23、根据匹配概率分布获取当前帧图像上的匹配位置。

24、进一步地，所述对orb特征点和loftr特征点进行筛选匹配的方法包括：

25、筛选loftr特征点；

26、将筛选过的loftr特征点与orb特征点置于同一个图像坐标系下再次筛选，获取特征点集合；

27、根据特征点集合中不同类型的特征点进行匹配。

28、第二方面，一种具有cnn辅助特征提取的slam装置，包括：

29、第一获取模块，用于获取连续多帧rgb图像当前帧的orb特征点；

30、判断模块，用于计算rgb图像当前帧质量并判断rgb图像当前帧质量是否满足预设条件；

31、第二获取模块，用于获取rgb图像当前帧的loftr特征点；

32、融合筛选模块，用于对orb特征点和loftr特征点进行筛选匹配。

33、第三方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

34、第四方面，一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

35、与现有技术相比，本发明所达到的有益效果：

36、本发明在连续多帧rgb图像当前帧质量满足预设条件时，才获取rgb图像当前帧的loftr特征点，避免了在连续多帧rgb图像当前帧质量不满足预设条件时一直获取loftr特征点，在减轻设备压力的同时，提高了实时性，结合loftr特征点和orb特征点进行匹配，解决了传统的特征点法在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的问题。

技术特征：

1.一种具有cnn辅助特征提取的slam方法，其特征在于，包括：

2.根据权利要求1所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述rgb图像当前帧质量的计算公式为：

3.根据权利要求2所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述rgb图像当前帧质量的预设条件为value＞预设阈值；当value＞预设阈值时，记为当前帧追踪质量差；当value≤预设阈值时，记为当前帧追踪质量好。

4.根据权利要求1所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述获取rgb图像当前帧的loftr特征点的方法为：

5.根据权利要求4所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配的方法包括：

6.根据权利要求5所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述对当前帧图像与上一帧关键帧图像进行细层次特征匹配的方法包括：

7.根据权利要求1所述的一种具有cnn辅助特征提取的slam方法，其特征在于，所述对orb特征点和loftr特征点进行筛选匹配的方法包括：

8.一种具有cnn辅助特征提取的slam装置，其特征在于，包括：

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。

10.一种计算设备，其特征在于，包括：

技术总结
本发明公开了一种具有CNN辅助特征提取的SLAM方法、装置及储存介质，属于计算机视觉技术领域，包括：获取连续多帧RGB图像当前帧的ORB特征点；当连续多帧RGB图像当前帧质量满足预设条件时，则获取RGB图像当前帧的LoFTR特征点；对ORB特征点和LoFTR特征点进行筛选匹配。本发明在连续多帧RGB图像当前帧质量满足预设条件时，才获取RGB图像当前帧的LoFTR特征点，避免了在连续多帧RGB图像当前帧质量不满足预设条件时一直获取LoFTR特征点，在减轻设备压力的同时，提高了实时性，结合LoFTR特征点和ORB特征点进行匹配，解决了传统的特征点法在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的问题。

技术研发人员：杨学斌,王哲,张文艺,杜关祥
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/14