本发明涉及一种基于深度学习的机器人闭环检测方法。
背景技术：
在机器人学与计算机视觉领域，视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。视觉里程计是机器人定位、地图构建以及路径规划等高层任务的基础。但是视觉里程计由于传感器的估计精度，会产生累计误差，其估计的机器人位姿会与真实位姿之间发生漂移，这种漂移可以通过闭环检测消除。
传统的闭环检测方法多依赖单一传感器信息，通过人为设计的特征提取和描述方法进行信息配准，有较大的应用局限性，这些方法忽略了环境中有用的信息，造成闭环检测的准确度不高。因此，不可避免地导致机器人定位、地图构建的鲁棒性差，而且，这些方法计算代价较大，不适合实时检测。
技术实现要素：
本发明为了解决上述问题，提出了一种基于深度学习的机器人闭环检测方法，基于深度学习技术，实现了基于多传感器信息的融合，可同时提取环境结构特征和色彩纹理特征，另外无需人工设计和计算特征点及描述子，更无须执行繁杂的特征点匹配方法，具有较强的鲁棒性和实时性。
为了实现上述目的，本发明采用如下方案：
一种基于深度学习的机器人闭环检测方法，其特征在于：
(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；
(2)采用(1)的方法获取连续N帧的特征提取结果；
(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。
进一步，获取RGB+DEPTH四通道图像具体包括：对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，采用像素插值结合平滑处理方法生成对应的深度图；深度图像与RGB图像并联生成RGBD四通道图像。
所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库，或是结构类似的卷积神经网络。
进一步，采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。
相似性矩阵是对称矩阵，其中的第N行、第M列元素代表第N帧和第M帧之间的归一化后的欧式距离。
进一步，对所述相似性矩阵进行特征值分解，去掉较大特征值，以得到降秩后的矩阵，用于避免根据特征匹配结果做出伪闭环的判断。
进一步，选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。
进一步，将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。
本发明的有益效果：
本发明提出了一种基于卷积神经网络(convolutional neural network,CNN)的深度学习闭环检测方法。可以同时融合3D激光点云数据与RGB图像数据，自适应的提取隐含在数据中的环境纹理信息、色彩信息和结构信息，生成对场景的有效特征描述，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，该技术可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，该技术无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。
附图说明
图1为本发明简化的流程图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
实施例1：一种基于深度学习的机器人闭环检测方法，
(1)机器人摄像头获取的RGB图像与三维激光扫描仪获取的三维数据，即激光点云数据进行配准，从而构造出RGB+DEPTH四通道图像。配准方法为：激光器数据利用摄像机内外参数投影到上述RGB图像平面，经过像素插值和平滑生成对应的深度图像，与RGB彩色图像并联生成RGBD四通道图像，将RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；
本发明可采用广泛应用于视觉识别的预训练神经网络Alexnet，也可基于场景识别数据库Places对预训练网络再进行参数调优，或是结构类似的卷积神经网络。将配准数据输入训练好的卷积神经网络中，其各个隐含层的输出对应于图像特征表示，本发明选用匹配精度较高的中间层特征完成特征提取。
(2)采用(1)的方法获取连续N帧的特征提取结果；
(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。
本发明为避免特征匹配时做出假闭环决策，采用以下优化方法：一方面对相似性矩阵进行特征值分解，舍弃较大的特征值，以得到降秩后的相似性矩阵；另一方面闭环的发生在机器人行进过程中有一定的连续性，因此可根据相邻关键帧是否都能够检测到闭环做出决策。
即为：将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。
进一步，本发明可以选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。
关键帧有多种方法选取机制：可以通过判断上一帧和当前帧之间的特征差异，也可以通过距离和角度变化来决定，可参考王可、贾松敏等人的相关论著。
关键帧的选取主要是为了减少机器人在构建地图过程中的冗余信息，使得地图存储量得到精简，提升检索效率。
实施例2：一种机器人，包括摄像机，其特征在于：还配置有三维激光扫描仪，采用上述的闭环检测方法判断闭环是否发生。采用这种方法的机器人，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，本发明可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，本发明无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。