一种基于深度图像融合技术的视觉回环检测仪

本公属于计算机视觉的的自我定位与地图构建(simultaneous localizationand mapping，slam)，本公开尤其涉及一种基于 深度图像融合技术的视觉回环检测方法、装置、电子设备及可读存储介 质。

背景技术：

1、随着人工智能的发展，机器人在交通、家居、工业、生产等各个领 域的广泛应用，slam系统成为了多方学者研究的重点。其中回环检测 (loop closure detection)算法是视觉slam架构中的关键组成元素， 可以将后端的位姿提供有效制约，从而降低估计机器人运动的进程中带 进来的累积误差，对于实现移动机器人的同步实时定位和地图的构建起到决策性作用，是slam系统中不可或缺的一环。

2、回环检测是为了识别出相机走过的场景，当检测出回环时，就可以 为全局轨迹添加约束，以减少累加漂移。回环检测问题本质上是场景识 别问题，传统方法通过人工设计的稀疏特征或像素级别稠密特征进行匹 配，而深度学习方法则可以通过神经网络学习图像的深层次特征，可以 减少人工方法带来的主观性对准确率的影响。

3、(1)传统回环检测技术

4、传统的回环检测模块实现方式可以分为两种，依赖于传统里程计的 方法和基于视觉外观的检测方法。依赖于里程计的方法，需要先通过里 程计的数据来估计相机是否回到了之前经过的位置，再进行回环判断， 但回环检测本身就是为了矫正视觉里程计带来的误差，所以这种方法的 准确性不高。而基于视觉外观的方法因为其稳定性成为回环检测的主流 方法。这里将着重介绍基于视觉外观的传统回环检测方法。

5、最早的检测方法是对图片序列中的任意两幅图像都做一遍特征匹 配，根据正确匹配的数量来确定两幅图像存在关联，这种方法虽然有效， 但要检测的数量过大，时间复杂度很高。随机检查历史数据并进行回环 检测是另一种简单和实用的方法，然而，这种方法在帧数增长时，抽到 回环的几率大幅下降，使得运算效率不高。因此这两种方法均已经因为 不能满足实际要求而逐渐被淘汰。

6、21世纪初，一种新的基于外观的回环检测方法被提出，这种方法仅 根据两幅图像的相似性确定回环检测关系，能够在许多场景有效使用。 许多最先进的基于外观的回环检测方法都是应用词袋模型。词袋模型来 自信息检索与自然语言处理领域，2005年被li等人提出了将词袋模型应 用于图像分类和检索领域。在回环检测中，词袋模型是通过收集大量的 图片，提取图片中的特征点，然后通过k-means的方法聚类，把特征点 分成k个类别，建立一个特征点集合的字典。使用时将一张图片输入， 提取图片的特征点，然后查阅字典，用向量表示图片所属类别，进而可 以对表示向量进行比较，判断两张图片的相似度。词袋模型已经成了主 流的做法，并被应用于实际的系统中。

7、词袋模型的效果很大程度上都取决于特征描述的生成，考虑到用图 像点特征进行词典训练会丢失很多有用的图像信息，lee等人采用线特征 进行回环检测，其使用msld(mean standard-deviation line descriptor)作为 线特征的描述子。董蕊芳等采用lbd(line band descriptor)作为线特征的描 述子，具有更好的描述性能及更高的计算效率。这些方法都在一定程度 上改善了词袋模型法，使之达到了更好的效果。

8、然而，词袋模型也存在一些弊端。视觉特征，实际上是“词”的内 容，常常是手工设计，和传统的视觉里程计一样，存在很多种类的特征， 哪种方法是最适合的依然是未知数。另一方面，按照人类的感受设计出 的视觉特征，更依赖于人的主观感受，如果我们认为两张图片是相似的， 那么它们在特征空间的特征点就应该是接近的，实际上手工设计出的特征点却并不能保证这点。而利用深度学习方法处理回环检测任务，正试 图解决这些问题。下面对利用深度学习解决回环检测任务的方法进行介 绍。

9、(2)深度学习法

10、传统方法的回环检测通过人工设计的稀疏特征或像素级别稠密特征 进行匹配，而深度学习则可以通过神经网络学习图像中的复杂信息，识 别率可达到更高水平。

11、早期的基于深度学习的闭环检测技术主要使用预训练的卷积神经网 络网络架构进行图像特征提取，再对图像特征进行比较，以获得相似性 分数。chen等首次提出了基于卷积神经网络模型的位置识别技术，该方 法用卷积神经网络提取图片特征，并结合空间连续性和顺序连续性滤波 器对结果进行判断，方法具有很高的平均准确率，超出了当时的所有回 环检测技术。hou等利用alexnet模型进行特征提取，通过实验对比，该 方法在无明显光照变化的环境下的表现和当时最先进的方法相当，在存 在明显光照变化的环境下，该方法的准确率和速度都优于其它方法。

12、但是，由于某一类数据预训练好的神经网络结构在应用方面具有一 定的局限性，研究人员试图寻找对已有的神经网络进行改进或微调的方 法。sünderhauf等对不同方法在位置识别任务上的表现进行比较，提出经 过语义位置分类训练的神经网络在外观严重变化的情况下要优于进行对 象识别训练的网络，并且发现来自卷积神经网络中间层的特征对于季节 和天气变化带来的场景外观变化具有更高的鲁棒性，来自更深层网络的 特征能够更好的表示位置的语义信息，而更浅层的网络的特征对于视角 变化具有更高的鲁棒性。bai等认为在图片序列中，相邻图像可能比存在 回路的图像更为相似，为了解决该问题，提供了一个限制图像匹配范围 的方法，同时还提出了可以采用局部敏感哈希算法进行图像压缩来提升 实时性的方案。gao等通过堆叠自动编码器针对图像特征进行提取，对 网络进行训练时考虑到了噪声和位姿间连续性的影响。该方法进行回环 检测时，将图像看作图像块的集合，通过比较两帧之间每个图像块的相 似性得到两帧之间的相似性分数，再构建相似度矩阵，判断是否发生闭 环。randjelovic等设计了一种新的卷积神经网络框架，可以直接针对位 置识别任务进行训练，同时开发出了一个基于弱监督排名损失的训练程序，使用该框架进行训练的结果不仅对光照和视角变化都具有鲁棒性， 还能够关注到图像中的建筑物等具有显著区分性的信息。

13、相较于传统的闭环检测算法，基于深度学习的方法利用深度神经网 络提取图像特征，减少了人的主观判断的影响，特征能够更加显著的表 达图像信息，并且对光照和视角变化等具有更强的鲁棒性。

技术实现思路

1、为了解决上述技术问题中的至少一个，本公开提供了一种基于深度 图像融合技术的视觉回环检测方法、装置、电子设备及可读存储介质。

2、根据本公开的一个方面，提供一种基于深度图像融合技术的视觉 回环检测方法，包括：

3、初始化回环检测数据，包括：设置特征集，所述特征集包括特征 和图片数量，所述特征集特征初始化为空，所述特征集的图片数量npic初始化为0，设置相邻帧范围阈值为k，设置初始出现回环的帧序号 f1，所述f1为回环检测过程中的上次回环的帧序号，初始化当前图片 的帧序号为f，设置相似度阈值为m，分组阈值为m；

4、提取当前图片特征，包括：使用预训练的深度网络模型提取帧序 号为f的当前图片的特征；

5、如果当前图片距离上次回环的帧之间的帧数量小于阈值k，或特 征集中的图片数量npic小于阈值k，则将所述当前图片的特征加入特 征集中，特征集的图片数量npic增加1，当前图片的帧序号f增加1， 并继续上述提取当前图片特征，否则，通过相似度计算方法，计算当 前图片与特征集的相似度，基于所述相似度确定候选帧；

6、对所述候选帧进行分组，形成若干个候选集，并确定最终候选集； 以及，

7、通过回环检测确定回环帧，包括：选择所述最终候选集中和当前 图片相似性最高的特征对应的图片，并将其帧序号记作h；以及，将 帧序号为f的当前图片和帧序号为h的图片，输入视觉里程计，判断 是否有回环。

8、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，计算当前图片与特征集的相似度，基于所述相似度确定 候选帧，包括：

9、将当前图片的特征中剔除部分特征后的剩余特征作为当前图片特 征，所述部分特征指与当前图片的相邻的k帧内对应的各个图片特征； 以及，

10、计算当前图片特征与所述特征集中的特征的相似度，并判断相似 度s与阈值m的关系，如果相似度s大于阈值m，则将当前图片作 为候选帧，否则，继续所述提取当前图片特征。

11、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，对所述候选帧进行分组，形成若干个候选集，并确定最 终候选集，包括：

12、将所述候选帧的帧序号差值小于分组阈值m的候选帧作为一个候 选集lk；

13、计算各个候选集lk的相似度分数总和；以及，

14、将所述相似度分数总和最高的候选集作为最终候选集。

15、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，将帧序号为f的当前图片和帧序号为h的图片，输入视 觉里程计，判断是否有回环，包括：

16、通过视觉里程计计算所述帧序号为f的当前图片和帧序号为h的 图片的相对位姿，并将计算出的相对位姿与已有的结果进行对比，如 果差值低于位姿差异阈值，判定帧序号为f的当前图片和帧序号为h 的图片之间存在回环，所述已有的结果为现有位姿图中计算的结果。

17、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，还包括：

18、所述图片特征提取通过mobilenet网络模型的深度可分离卷积实 现。

19、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，所述图片特征经过去冗余和降噪处理，所述去冗余基于 主成分分析方法实现，所述降噪通过白化方式实现。

20、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，所述相似度计算方法包括欧氏距离相似度或余弦相似度。

21、根据本公开的又一个方面，提供一种基于深度图像融合技术的视 觉回环检测装置，包括：

22、回环检测数据初始化模块，用于初始化回环检测数据，包括：设 置特征集，所述特征集包括特征和图片数量，所述特征集特征初始化 为空，所述特征集的图片数量npic初始化为0，设置阈值为k，设置初 始出现回环的帧序号f1，所述f1为回环检测过程中的上次回环的帧序 号，初始化当前图片的帧序号为f，设置相似度阈值为m，分组阈值 为m；

23、当前图片特征提取模块，用于提取当前图片特征，包括：使用预 训练的深度网络模型提取帧序号为f的当前图片的特征；

24、候选帧确定模块，如果当前图片距离上次回环的帧之间的帧数量 小于阈值k，或特征集中的图片数量npic小于阈值k，则将所述当前 图片的特征加入特征集中，特征集的图片数量npic增加1，当前图片的 帧序号f增加1，并继续上述提取当前图片特征，否则，计算当前图片 与特征集的相似度，基于所述相似度确定候选帧；

25、最终候选集确定模块，用于对所述候选帧进行分组，形成若干个 候选集，并确定最终候选集；以及，

26、回环帧检测模块，用于通过回环检测确定回环帧，包括：选择所 述最终候选集中和当前图片相似性最高的特征对应的图片，并将其帧 序号记作h；以及，将帧序号为f的当前图片和帧序号为h的图片，输 入视觉里程计，判断是否有回环。

27、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测装置，计算当前图片与特征集的相似度，基于所述相似度确定 候选帧，包括：

28、将当前图片的特征中剔除部分特征后的剩余特征作为当前图片特 征，所述部分特征指与当前图片的相邻的k帧内对应的各个图片特征； 以及，

29、计算当前图片特征与所述特征集中的特征的相似度，并判断相似 度s与阈值m的关系，如果相似度s大于阈值m，则将当前图片作 为候选帧，否则，继续所述提取当前图片特征。

30、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测装置，对所述候选帧进行分组，形成若干个候选集，并确定最 终候选集，包括：

31、将所述候选帧的帧序号差值小于分组阈值m的候选帧作为一个候 选集lk；

32、计算各个候选集lk的相似度分数总和；以及，

33、将所述相似度分数总和最高的候选集作为最终候选集。

34、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测装置，将帧序号为f的当前图片和帧序号为h的图片，输入视 觉里程计，判断是否有回环，包括：

35、通过视觉里程计计算所述帧序号为f的当前图片和帧序号为h的 图片的相对位姿，并将计算出的相对位姿与已有的结果进行对比，如 果差值低于位姿差异阈值，判定帧序号为f的当前图片和帧序号为h 的图片之间存在回环，所述已有的结果为现有位姿图中计算的结果。

36、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测装置，还包括：

37、所述图片特征提取通过mobilenet网络模型的深度可分离卷积实 现。

38、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测装置，所述图片特征经过去冗余和降噪处理，所述去冗余基于 主成分分析方法实现，所述降噪通过白化方式实现。

39、根据本公开至少一个实施方式的基于深度图像融合技术的视觉回 环检测方法，所述相似度计算方法包括欧氏距离相似度或余弦相似度。

40、根据本公开的又一个方面，提供一种电子设备，包括：

41、存储器，所述存储器存储执行指令；以及，

42、处理器，所述处理器执行所述存储器存储的执行指令，使得所述 处理器执行上述任一项所述的方法。

43、根据本公开的又一个方面，提供一种可读存储介质，所述可读存 储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上 述任一项所述的方法。