一种基于特征增强网络的视觉SLAM方法及装置

本发明涉及视觉slam与深度学习领域，具体地，涉及一种基于特征增强网络的视觉slam方法及装置。

背景技术：

1、随着人工智能技术的飞速发展，机器人逐渐被广泛应用在各种场景中，来替代人类完成重复性和高风险的工作。机器人的自主导航能力是其完成各项复杂任务的前提，其中，准确定位并创建全局一致的环境地图是提高机器人性能的关键。

2、同时定位与建图(simultaneous localization and mapping,slam)技术能够使移动机器人在不获取环境先验信息的前提下，构建出全局一致的环境地图，同时计算出自身在该地图中的位置。slam是机器人实现自主导航的前提和基础。从传感器的角度，slam可以分为两大类：激光slam和视觉slam。其中，近三十年来，激光slam被广泛研究并应用于许多机器人应用中，然而，单线激光雷达slam只能向机器人提供环境的二维信息，多线激光雷达slam成本过高。由于相机具有成本低廉和图像信息丰富等优点，视觉slam逐渐成为移动机器人领域的研究主流。

3、目前，视觉slam技术在简单的室内环境以及具有明显结构特征的城市环境中表现良好，这些环境中常常包含大量明显的点、线特征，有利于视觉slam系统提取鲁棒的图像特征点，从而有助于提高机器人位姿估计和地图创建的精度。

4、然而，在弱纹理、光照变化及快速运动的场景中，常常难以提取到鲁棒的特征点，从而会导致slam系统的精度下降，因此，利用特征增强网络来提高视觉特征点的鲁棒性，进而提高视觉slam系统的精度和鲁棒性，具有极高的研究意义与价值。

技术实现思路

1、多数视觉slam方法在弱纹理、光照变化及快速运动的场景中存在定位精度低、鲁棒性差的问题，有鉴于此，本发明旨在提供一种基于特征增强网络的视觉slam方法及装置，以能够提高弱纹理环境中定位的精度与鲁棒性，为无人系统的自主导航提供有力的支持。

2、第一方面，一种基于特征增强网络的视觉slam方法，包括以下步骤：

3、s1、获取相机的原始图像数据，并提取图像的orb特征点，所述特征点包含了关键点和描述子；

4、s2、将所提取的orb特征点的关键点的几何信息和描述子作为网络输入，通过特征增强网络得到增强的特征描述子，并利用所述的增强的特征描述子进行特征点匹配；

5、s3、根据特征点匹配结果初始化相机位姿、局部地图和slam系统全局坐标系，并根据相机运动模型进行帧间位姿估计，然后选择关键帧送入slam后端；

6、s4、利用新插入的关键帧，进行局部地图创建，并根据新插入关键帧的共视图关系，进行局部ba优化；

7、s5、利用词袋模型进行闭环检测，进而进行全局ba优化。

8、优选的，所述步骤s1具体包括以下步骤：

9、s11、根据标定的相机参数，对获取的相机原始图像数据进行畸变校正；

10、s12、对畸变校正后的图像数据进行orb特征点提取，具体包括oriented fast关键点提取和brief描述子提取两部分。

11、优选的，所述步骤s2具体包括以下步骤：

12、s21、将所提取的oriented fast关键点的几何信息，包括位置、方向、尺度和检测分数等，以及brief描述子作为特征增强网络的输入；

13、s22、使用轻量级的mlp网络对描述子进行自增强，将原始的brief描述子投影至新的空间中，并将oriented fast关键点的几何信息编码为高维向量，进一步改进描述子；

14、s23、使用轻量级的transformer对自增强后的描述子进行互增强，聚合不同特征点之间的全局上下文信息，增大特征描述子的感受野，进而增强描述子。

15、优选的，所述步骤s22具体为：

16、使用轻量级的mlp网络将原始的brief描述子投影至新的空间中，其公式为：

17、

18、其中，di为图像中第i个关键点所对应的brief描述子，mlpdesc为描述子投影网络，为经mlp投影后的新空间中的描述子；

19、使用轻量级的mlp网络将oriented fast关键点的几何信息编码为高维向量，并将此高维向量叠加至新空间中的描述子，其公式为：

20、

21、其中，pi为oriented fast关键点的几何信息，mlpgeo为几何信息编码网络。

22、优选的，所述步骤s23具体为：

23、使用轻量级的transformer来聚合从同一图像中提取的特征点之间的空间上下文信息，其公式为：

24、

25、其中，n为同一图像中提取的特征点数量，trans为轻量级transformer；

26、所述的轻量级transformer是attention-free transformer(aft)，与transformer中的多头注意力mha不同，aft未使用点积注意力，而是重新排列了q、k和v的计算顺序，对于图像中的第i个关键点，aft的公式为：

27、

28、其中，σ(·)为sigmoid函数，qi代表q的第i行，kj，vj代表k，v的第j行；

29、aft的注意力机制通过元素乘法而不是矩阵乘法来计算，降低了计算复杂度。

30、优选的，所述步骤s3，具体为：

31、根据特征点匹配结果，利用多视图几何理论，初始化相机位姿、局部地图和slam系统全局坐标系；

32、根据相机的匀速运动模型，利用多视图几何理论，进行帧间位姿估计；

33、选择部分帧作为关键帧送入slam后端，具体的关键帧选取规则为：1)超过一定时间未插入关键帧；2)当前帧与上一关键帧能够匹配跟踪到的特征点数量小于一定的阈值。

34、第二方面，一种基于特征增强网络的视觉slam装置，包括：

35、数据获取模块，用于获取原始图像数据；

36、特征点提取模块，用于利用原始图像数据来提取包括oriented fast关键点和brief描述子的orb特征点；

37、特征点增强模块，用于基于轻量级的特征增强网络对所提取的orb特征点的描述子进行增强，并利用增强的特征描述子进行特征点匹配；

38、视觉里程计模块，用于利用匹配的特征点进行相机帧间位姿估计以及关键帧的选择；

39、后端优化模块，用于对相机位姿以及局部地图进行非线性优化；

40、回环检测模块，用于基于词袋模型来检测相机是否到达了曾经到达过的地方，如果判断为回环，则对全局位姿及地图进行优化。

41、与现有技术相比，本发明的有益效果是：

42、本发明提供的是一种基于特征增强网络的视觉slam方法及装置，通过在传统的特征点匹配流程中加入特征描述子增强网络，联合处理图像中所有关键点的几何信息和描述子，聚合全局上下文信息，从而增强特征描述子，实现纯视觉slam方法在弱纹理、光照变化及快速运动的场景中的应用，提高无人系统自主导航的精度与鲁棒性。