一种基于语义分割和光流的语义视觉SLAM方法及系统

本发明涉及视觉slam定位与建图，具体涉及一种基于语义分割和光流的语义视觉slam方法及系统。

背景技术：

1、视觉即时定位与地图构建(simultaneous localzation and mappping，slam)是指移动机器人在没有先验知识的环境中，通过相机获取以图像为主的外部环境信息，在运动过程中进行位姿估计与环境地图的构建。目前，多数的视觉slam方法均是将外部环境假设为静态场景，并且场景的主要变化部分是由相机运动造成的。而在实际环境中，不可避免地存在移动的物体，比如行走的人、行驶中的车辆等。若动态目标在视场中占比较大，将会出现特征点误匹配以及特征点跟踪失败的情况，从而导致漂移过大和定位失败。因此，最初设计用于在静态场景中运行的slam方法是无法处理复杂的动态场景。

2、为解决此问题，需要从动态环境中识别和剔除动态目标。面对这类问题，在视觉slam领域，近年出现了以深度学习技术为代表的层次化图像特征提取方法，大多使用语义分割或目标检测算法来识别环境中的动态目标，并成功应用于slam帧间估计中。现有技术中的语义分割网络或目标检测网络，结合深度学习的系统均无法有效识别非先验知识的动态目标，或网络模型参数量过大、模型算力对硬件要求过高，难以应用在移动端设备，系统运行实时性较差。

技术实现思路

1、有鉴于此，本发明提供了一种基于语义分割和光流的语义视觉slam方法及系统，能够有效识别先验知识与非先验知识的动态目标，提高动态场景定位准确性以及语义地图的构建。

2、本发明采用的具体技术方案如下：

3、一种基于语义分割和光流的语义视觉slam方法，包括：采用语义分割网络剔除动态场景的rgb图像中的先验动态目标，并采用光流法剔除所述rgb图像中的非先验动态目标，获得静态特征点；对所述静态特征点进行特征点匹配与位姿估计，通过重定位线程重新定位相机位姿，确定所述动态场景的关键帧，并对所述关键帧的动态目标遮挡的部分进行背景修复；根据所述静态特征点的语义标签信息和完成背景修复的所述关键帧，构建含有语义标签信息的稠密全局地图。

4、进一步地，在所述采用语义分割网络剔除动态场景的rgb图像中的先验动态目标之前，所述方法还包括：获取动态场景的rgb图像和深度图像，并将所述rgb图像同时输入至orb-slam2框架的跟踪线程和新增的语义分割线程，其中，所述语义分割线程用于实现所述语义分割网络、所述光流法、所述背景修复。

5、进一步地，所述采用语义分割网络剔除动态场景的rgb图像中的先验动态目标，包括：采用所述语义分割网络，获取所述rgb图像的像素级的语义标签信息，根据所述语义标签信息，剔除所述先验动态目标。

6、进一步地，其中，所述语义分割网络采用轻量化网络mobilenetv2作为主干网络。

7、进一步地，所述采用光流法剔除所述rgb图像中的非先验动态目标，包括：获取所述rgb图像的特征点的平均运动速度，将大于预设速度阈值的所述特征点判定为动态特征点，将所述动态特征点剔除，以剔除所述rgb图像中的非先验动态目标。

8、进一步地，根据所述静态特征点的语义标签信息和完成背景修复的所述关键帧，构建含有语义标签信息的稠密全局地图，包括：根据所述静态特征点的语义标签信息和完成背景修复的所述关键帧，获得含有语义信息的局部地图；根据所述位姿估计获得的位姿信息，对所述局部地图进行点云拼接，获得含有语义标签信息的稠密全局地图。

9、进一步地，orb-slam2框架的跟踪线程通过所述重定位线程重新定位相机位姿，以确定所述动态场景的所述关键帧。

10、进一步地，对所述关键帧的动态目标遮挡的部分进行背景修复，包括：选取当前关键帧之前的n帧关键帧，并为所述当前关键帧和所述n帧关键帧设置关联权重，结合所述关联权重将所述n帧关键帧的图像彩色信息和图像深度信息投影到所述当前关键帧。

11、一种基于语义分割和光流的动态场景图像构建系统，包括：orb-slam2框架结构和语义分割线程，其中，所述语义分割线程为所述orb-slam2框架结构的跟踪线程的并发线程；所述语义分割线程包括语义分割模块、光流计算模块和背景修复模块；所述语义分割模块用于采用语义分割网络剔除动态场景的rgb图像中的先验动态目标；所述光流计算模块用于采用光流法剔除所述rgb图像中的非先验动态目标，获得静态特征点；所述的背景修复模块用于对关键帧上动态目标遮挡的部分进行背景修复；所述orb-slam2框架结构的所述跟踪线程用于对所述静态特征点进行特征点匹配与位姿估计，通过重定位线程重新定位相机位姿，确定所述动态场景的关键帧，并根据所述静态特征点的语义标签信息和完成背景修复的所述关键帧，构建含有语义标签信息的稠密全局地图。

12、进一步地，在所述语义分割模块中，所述语义分割网络采用轻量化网络mobilenetv2作为主干网络。

13、有益效果：

14、(1)一种基于语义分割和光流的语义视觉slam方法，采用语义分割网络剔除动态场景的rgb图像中的先验动态目标，并采用光流法剔除rgb图像中的非先验动态目标，能够有效剔除非先验动态目标和动态目标边缘的特征点，获取静态目标特征点，并进行匹配与位姿估计，利用跟踪线程产生关键帧，提升位姿估计的准确性。

15、(2)语义分割网络采用轻量化网络mobilenetv2作为主干网络，能够实现特征提取模型结构的轻量化，提升处理速度，保证slam系统的实时性。

16、(3)选取当前关键帧之前的n帧关键帧，并为当前关键帧和n帧关键帧设置关联权重，结合关联权重对动态场景的rgb-d图像进行背景修复，有效对动态目标遮挡的部分进行背景修复，为orb-slam2框架的重定位环节提供更准确的匹配信息，进一步提升定位精度。

技术特征：

1.一种基于语义分割和光流的语义视觉slam方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在所述采用语义分割网络剔除动态场景的rgb图像中的先验动态目标之前，所述方法还包括：

3.如权利要求1所述的方法，其特征在于，所述采用语义分割网络剔除动态场景的rgb图像中的先验动态目标，包括：

4.如权利要求3所述的方法，其特征在于，其中，所述语义分割网络采用轻量化网络mobilenetv2作为主干网络。

5.如权利要求1所述的方法，其特征在于，所述采用光流法剔除所述rgb图像中的非先验动态目标，包括：

6.如权利要求1所述的方法，其特征在于，根据所述静态特征点的语义标签信息和完成背景修复的所述关键帧，构建含有语义标签信息的稠密全局地图，包括：

7.如权利要求1所述的方法，其特征在于，其中，

8.如权利要求1所述的方法，其特征在于，对所述关键帧的动态目标遮挡的部分进行背景修复，包括：

9.一种基于语义分割和光流的动态场景图像构建系统，其特征在于，包括：

10.如权利要求9所述的系统，其特征在于，在所述语义分割模块中，所述语义分割网络采用轻量化网络mobilenetv2作为主干网络。

技术总结
本发明公开了一种基于语义分割和光流的语义视觉SLAM方法及系统，通过采用语义分割网络剔除动态场景的RGB图像中的先验动态目标，并采用光流法剔除RGB图像中的非先验动态目标，能够有效剔除非先验动态目标和动态目标边缘的特征点，获取静态目标特征点，并进行匹配与位姿估计，利用跟踪线程产生关键帧，并对关键帧上动态目标遮挡的部分进行背景修复，提升位姿估计准确性。利用背景修复技术处理后的图像结合静态物体语义标签信息，获得含有语义标签信息的局部地图；然后利用位姿信息进行点云拼接，构建含有语义标签信息的稠密全局地图。解决了视觉SLAM系统易受动态目标的影响，导致位姿估计误差大，系统实时性较差以及无法建立语义地图的问题。

技术研发人员：李一鸣,王逸泽,陆刘炜,郭一冉,黄民,周俊莹,邵晨曦
受保护的技术使用者：北京信息科技大学
技术研发日：
技术公布日：2024/3/17