一种基于物体级路标的移动机器人视觉定位方法及系统

本发明涉及移动机器人的，尤其涉及一种基于物体级路标的移动机器人视觉定位方法及系统。

背景技术：

1、移动机器人以其高效、自主化的能力成为了当前研究及应用的热点，并逐渐融入人们的生活，如医院物流机器人、消毒机器人等。长期自主导航能力是移动机器人安全、可靠执行任务的基础，而定位是保障自主导航的核心技术，其实时性、精准度以及鲁棒性对自主导航系统性能有着决定性因素。

2、当前基于视觉定位方法凭借成本低廉、信息丰富、性价比高等优势，成为机器人领域的重要研究方向和应用趋势。其中，特征提取、特征描述和特征匹配是视觉定位方法的三个关键步骤。现有基于视觉传感器的定位系统主要依赖于像素级视觉特征点的匹配，即当前帧图像中的特征关键点与特征地图数据库中的关键点进行匹配关联，其在相似的感知条件下具有较为可靠的定位性能。然而，一方面视觉特征关键点易受环境变化影响，在剧烈的光照变化、动态物体及大视角变化等场景下的检测和匹配精度不足，从而导致定位失败。另一方面，面向复杂大场景时，视觉特征关键点冗余度较高，降低了算法效率。为了进一步提高基于视觉外观定位方法的精确性和鲁棒性，研究人员开始将物体高鲁棒的语义信息融入定位方法中。但是尽管物体级语义特征被证实较为有效，但现有这些方法多数仅包含语义信息，在大视角变化及相似场景下仍会出现歧义性，导致定位的假阳性。

技术实现思路

1、为了解决面向室内复杂环境下机器人长期自主导航需求，定位出现假阳性的问题，本发明提出了一种基于物体级路标的移动机器人视觉定位方法及系统，具体技术方案如下：

2、一种基于物体级路标的移动机器人视觉定位方法，包括以下步骤：

3、以图像和/或视频作为输入，通过多任务学习网络提取物体的语义特征、物体的学习特征和物体的3d几何特征，从而构建物体级学习特征；

4、将提取的物体级学习特征通过双层图表征描述方法进行特征描述，构建特征描述符；提高特征的区分度；所述特征描述包括内部视觉特征关键点描述和外部场景语义图特征描述；

5、通过双层嵌套的场景语义图匹配算法进行快速准确特征匹配，从而实现移动机器人的视觉定位。

6、在其中一个实施例中，所述以图像和/或视频作为输入，包括：

7、以rgb图和深度图视频流作为输入。

8、在其中一个实施例中，所述通过多任务学习网络提取物体的语义特征、物体的学习特征和物体的3d几何特征，从而构建物体级学习特征，包括以下步骤：

9、构建多任务学习网络，所述多任务学习网络包括共享一个骨干网络的实例分割分支网络、2d检测分支网络、学习特征分支网络；

10、对于所述深度图视频流中的每帧图像，通过利用所述实例分割分支网络对物体进行实例分割获得分割结果；所述分割结果通过2d检测分支网络提取物体的语义特征；通过学习特征分支网络获得每个物体的学习特征；结合所述深度图视频流提供的深度信息提取物体的3d几何特征；

11、将所述物体的语义特征、物体的学习特征、物体的3d几何特征进行特征融合，构建获得物体级学习特征。

12、在其中一个实施例中，所述结合所述深度图视频流提供的深度信息提取物体的3d几何特征，包括以下步骤：

13、利用所述深度图视频流提供的深度信息对实例分割区域进行锥体映射，得到各物体的显著性区域点云；

14、对点云进行下采样操作来获取物体的深度特征，并引入霍夫投票模块实现物体中心点偏移量的精确预测；

15、以所有投票的最远点为球心对场景中物体进行分类；

16、对分类的结果进行分析处理和融合，输出物体的3d几何特征。

17、在其中一个实施例中，所述实例分割分支网络网络为maskrcnn网络或yolo系列网络。

18、在其中一个实施例中，所述学习特征分支网络为superpoint等网络。

19、在其中一个实施例中，所述将提取的物体级学习特征通过双层图表征描述方法进行特征描述，构建特征描述符，所述特征描述包括内部视觉特征关键点描述和外部场景语义图特征描述，包括以下步骤：

20、s21、基于所述实例分割分支网络的分割结果，通过学习特征分支网络获得每个物体的学习特征，通过随机抽样，在保留物体关键点信息的基础上，对物体局部的学习特征进行稀释获得稀释后的物体特征关键点信息；

21、s22、将所述稀释后的物体特征关键点信息中每个特征关键点均视为一个节点，通过图神经网络聚合所有所述节点以形成集体，对物体实现内部视觉特征关键点描述；

22、s23、以单个获得了所述内部视觉特征关键点描述的物体为节点，所述物体间的相对拓扑关联为边，利用图结构记忆式存储局部场景中提取的高不变性的物体级学习特征，及物体间距离、角度偏置等多维局部时空关联信息，构建物体级场景语义图；

23、s24、基于所述物体级场景语义图，构建基于语义-方向直方图的多约束场景语义图描述符。

24、在其中一个实施例中，所述通过双层嵌套的场景语义图匹配算法进行快速准确特征匹配，包括以下步骤：

25、单个获得了所述内部视觉特征关键点描述的物体进行内部学习特征匹配和语义一致性约束，用于缩小全局定位的检索区域；

26、基于缩小的全局定位的检索区域和所述多约束场景语义图描述符，结合外部空间结构特征，利用自注意力机制和交叉注意力机制对具备特异性描述的局部特征进行图内和图间关联匹配，以降低遮挡、运动模糊等影响；

27、针对所述图内和图间关联匹配的匹配结果，采用多级约束的场景语义图匹配策略，通过度量约束sd、语义置信度约束sc和描述符约束sθ进行局部目标图和全局查询图的相似性度量。

28、在其中一个实施例中，所述利用自注意力机制和交叉注意力机制对具备特异性描述的局部特征进行图内和图间关联匹配，包括以下步骤：

29、对于第t帧中的第k个物体级路标的特征矩阵被表示为连续帧或局部视野中局部子图的n个节点集可表示为以物体级路标的几何空间度量信息作为边的属性，表示为

30、以待描述节点为中心，通过所述自注意机制fd(·)对局部相邻节点的多模态特征进行融合，进行物体级特征的特异性描述σn；采用所述交叉注意力机制fm(·)对具备特异性描述的物体级特征进行图间关联匹配，关联匹配的一致性矩阵ω表示为：

31、

32、在优化匹配层对所有可能的候选子图通过多级图匹配约束计算相似度得分矩阵si,j，从而确定唯一解。

33、实现上述一种基于物体级路标的移动机器人视觉定位方法的系统，包括多任务学习网络、双层图表征描述模块、双层嵌套的场景语义图匹配模块，所述图像和/或视频通过多任务学习网络获得物体级学习特征；所述物体级学习特征利用双层图表征描述模块分别进行内部的学习特征描述和外部的场景语义图描述，构建双层图表征描述符；所述双层图表征描述符通过双层嵌套的场景语义图匹配模块分别进行内部的学习特征匹配和外部的空间结构特征匹配，实现移动机器人视觉定位。

34、本发明的优点在于：

35、(1)本专利将特征点与物体级路标融合，利用语义特征的区分性限定学习特征的提取范围，降低学习特征的冗余度，而利用学习特征的不变性对语义特征进行描述，降低语义特征的歧义性。并在此基础上实现基于图神经网络的快速精准特征匹配方法，从而提高室内移动机器人自主导航的鲁棒性和自主化水平。

36、(2)通过将特征点与物体级路标融合，基于视觉的物体级环境感知实现高鲁棒地机器人定位。该方法包括物体级学习特征提取方法、双层图表征描述方法及双层嵌套的场景语义图匹配方法。本发明所述方法适用于室内复杂场景下的长期自主导航。

37、(3)本发明通过互补学习特征和物体级语义特征优势，提高了特征的不变性，实现高鲁棒物体级学习特征提取。

38、(4)本发明利用图结构对上述物体级学习特征进行内外部联合描述，提高特征的高区分度描述。

39、(5)本发明结合图神经网络和多约束策略对离散点的快速精准匹配，实现精准定位，进一步提高了室内自主移动机器人的鲁棒性和自主化水平。