一种机器人视觉回环检测系统

本发明涉及视觉检测，尤其涉及一种机器人视觉回环检测系统。

背景技术：

1、移动机器人导航和无人驾驶技术的重要特性是能够识别自己相对于环境的位置。同时定位和地图构建(simultaneous localization and mapping，slam)方法在没有环境先验信息情况下，在线收集环境数据，并逐步生成地图，其中机器人根据每一个新获得的观测结果进行自身定位。尽管现代设备的精密程度高，系统计算性能强，但是累积误差总是存在的。因此，需要对轨迹内的回环进行回环检测(loop-closure detection，lcd)，判别出机器人是否到达过先前的位置，从而有效地纠正轨迹的漂移并优化机器人的位姿估计。

2、目前，回环检测可以分为基于传统特征的方法和基于卷积神经网络(convolutional neural network，cnn)的方法。基于传统特征的方法主要利用人工设计特征生成视觉单词，通过这些单词构建词袋库模型(bag of words，bow)，利用词袋库进行向量表示，并计算向量间相似度，从而确定是否存在回环。然而这类方法易受到光照、天气和视点等环境变化的影响。此外由于运行时间的增长，从而产生大量单词，影响运行的效率。

3、而基于卷积神经网络的方法则是通过对图像进行特征提取，使用网络提取的特征进行相似度计算，其效率优于词袋库模型。但是，基于卷积神经网络的方法要达到高准确率，需要大量的数据对其进行训练，但训练完成的模型仅对一类环境数据有效，对于新环境，效果仍会下降。因而，通常期望一个模型可以直接对未知的新环境进行学习，由此引入终身学习的概念，如图1所示。

4、传统方法通过对新环境数据进行学习，拓展视觉词汇来表示新的场景，但是，长期对新场景的学习会导致数据呈线性增长；cnn模型学习新环境通常需要调整所有内部参数以适应新的环境，因此会丧失之前学习的知识。由此就会带来一个挑战：如图2所示(颜色深浅代表参数对损失函数的影响，颜色越深，损失越小)，如果只对新增加的数据进行训练和拟合，会导致网络参数发生改变，造成灾难性遗忘，即cnn模型学习旧数据的能力随着时间的推移而下降(从黑点转移至白点)。另一方面，cnn模型将所有环境进行联合训练，导致存储成本将会呈线性增长，因此在资源有限的设备上无法运行。

技术实现思路

1、本发明提供一种机器人视觉回环检测系统，以解决上述技术问题。

2、为解决上述技术问题，本发明提供一种机器人视觉回环检测系统，包括输入模块、可变相似感知区域模块、轻量化特征提取模块以及相似度评估模块，

3、所述输入模块用于输入图像及其元数据，所述元数据为基于输入图像计算的辅助信息，所述辅助信息至少包括位姿和gps；

4、所述可变相似感知区域模块包括可变滑动窗口单元和相似度矩阵单元，所述可变滑动窗口单元用于构建数据流，所述相似度矩阵单元用于对数据流进行采样，构建三重样本，所述三重样本包括锚图像、正样本图像和负样本图像；

5、所述轻量化特征提取模块用于构建基本特征提取网络，利用网络权重敏感度分析方法，构建参数敏感度损失函数；对三重样本进行特征提取，计算样本间相似度，构建三重损失函数；基于参数敏感度损失函数和三重损失函数组成的联合损失函数，优化网络参数；

6、所述相似度评估模块用于判断是否发生回环。

7、较佳地，所述相似度矩阵单元由图像的元数据计算所得真值gt构成。

8、较佳地，所述三重样本中，正样本图像ip与锚图像ia存在回环关系，其真值为gt(ia,ip)＝1；负样本图像in与锚图像ia不存在回环关系，其真值为gt(ia,in)＝0。

9、较佳地，所述基本特征提取网络由残差网络结合广义均值池化层得到。

10、较佳地，所述残差网络的残差块依次包括卷积层、批量归一化、激活函数和恒等映射。

11、较佳地，所述参数敏感度损失函数的计算公式为：

12、

13、其中，m为某个先入先出的图像序列的大小，为网络权重参数敏感度，表示参数在任务t和任务t-1之间的距离。

14、较佳地，所述三重损失函数的计算公式为：

15、

16、其中，san为负样本图像in与锚图像ia的相似度，sap为正样本图像ip与锚图像ia的相似度，ε是一个扰动参数，其值为1。

17、较佳地，所述联合损失函数的计算公式为：

18、

19、其中，为参数敏感度损失函数，为三重损失函数，λ1为超参数，其值为100。

20、较佳地，所述相似度评估模块采用视觉重叠方法定义回环。

21、较佳地，所述视觉重叠方法包括：

22、将第1帧中的特征点投影至第2帧的特征平面，得到第1帧中所有特征坐标以及特征点对应的深度值d1；

23、将第2帧特征点对应深度值d2引入至特征平面，比较d1和d2的大小关系，若d1大于d2，则说明该点不在第2帧的特征平面上；若d1小于或者等于d2，则说明两点在同一相同位置，并得到共视点的总数；

24、计算所述共视点在两平面所占比例，得到两帧之间的相似度，基于所述相似度判断是否发生回环。

25、与现有技术相比，本发明提供的机器人视觉回环检测系统具有如下优点：

26、1、本发明提出了将残差神经网络和广义均值池化相结合，构建了轻量化的特征提取网络；结合可变相似感知区域模块，实现在恒定的计算量和内存占有率情况下进行基于对比学习的采样，运行时间只需要同类型方法的60％-80％；

27、2、本发明提出了基于终身学习技术的网络权重敏感度分析方法，减轻了模型参数的灾难性遗忘，提高了模型的泛化性，构建了基于终身学习的视觉回环检测系统，实现在100％准确率的情况下，召回率最高达到80％左右。

技术特征：

1.一种机器人视觉回环检测系统，其特征在于，包括输入模块、可变相似感知区域模块、轻量化特征提取模块以及相似度评估模块，

2.如权利要求1所述的机器人视觉回环检测系统，其特征在于，所述相似度矩阵单元由图像的元数据计算所得真值gt构成。

3.如权利要求2所述的机器人视觉回环检测系统，其特征在于，所述三重样本中，正样本图像ip与锚图像ia存在回环关系，其真值为gt(ia,ip)＝1；负样本图像in与锚图像ia不存在回环关系，其真值为gt(ia,in)＝0。

4.如权利要求1所述的机器人视觉回环检测系统，其特征在于，所述基本特征提取网络由残差网络结合广义均值池化层得到。

5.如权利要求4所述的机器人视觉回环检测系统，其特征在于，所述残差网络的残差块依次包括卷积层、批量归一化、激活函数和恒等映射。

6.如权利要求1所述的机器人视觉回环检测系统，其特征在于，所述参数敏感度损失函数的计算公式为：

7.如权利要求6所述的机器人视觉回环检测系统，其特征在于，所述三重损失函数的计算公式为：

8.如权利要求7所述的机器人视觉回环检测系统，其特征在于，所述联合损失函数的计算公式为：

9.如权利要求1所述的机器人视觉回环检测系统，其特征在于，所述相似度评估模块采用视觉重叠方法定义回环。

10.如权利要求9所述的机器人视觉回环检测系统，其特征在于，所述视觉重叠方法包括：

技术总结
本发明涉及一种机器人视觉回环检测系统，包括输入模块、可变相似感知区域模块、轻量化特征提取模块及相似度评估模块，输入模块用于输入图像及其元数据；可变相似感知区域模块包括用于构建数据流的可变滑动窗口单元，和用于对数据流进行采样及构建三重样本的相似度矩阵单元；轻量化特征提取模块用于构建基本特征提取网络，利用网络权重敏感度分析方法，构建参数敏感度损失函数；对三重样本进行特征提取，计算样本间相似度，构建三重损失函数；基于参数敏感度损失函数和三重损失函数组成的联合损失函数，优化网络参数；相似度评估模块用于判断是否发生回环。本发明实现了基于终身学习的回环检测系统，且检测的准确率高、运行时间短、召回率高。

技术研发人员：沈晔湖,李欢,王其聪,赵冲,蒋全胜,朱其新,牛雪梅,谢鸥,付贵忠,刘威,苗洋,张大庆
受保护的技术使用者：苏州科技大学
技术研发日：
技术公布日：2024/1/14