基于视觉SLAM的去除动态对象干扰方法、系统及介质与流程

本技术涉及地图构建领域，具体而言，涉及一种基于视觉slam的去除动态对象干扰方法、系统及介质。

背景技术：

1、目前现有的类似技术方案有主要只有一种：仅仅使用语义分割去除：该方案的做法是使用rgb-d相机获取输入图像；对当前帧的rgb图像转换为灰度图，进行orb特征点提取；得到语义分割图；对语义分割图进行深度补偿，将分割不完整的物体补全；根据语义分割图中动态物体像素的位置，剔除分布在动态物体上的特征点，上述使用的方案仅仅只能去除先验信息是动态的对象，但是无法检测出暂时处于静态的动态物体，比如：正在被人吃的苹果、从地上弹起的皮球等，缺乏一定的语义信息，效果较差，部署和推广会有比较大的限制，此外现有的视觉slam只能通过稀疏特征点来构建稀疏地图，无法包含地图中物体的语义信息，因而机器人无法完成理解层面上的任务，更重要的在实际的室内环境中，会难以避免的出现动态物体且可能在场景中占有较大比例，导致系统错误的跟踪针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

1、本技术实施例的目的在于提供一种基于视觉slam的去除动态对象干扰方法、系统及介质，通过利用巡逻机器人作为载体构建去动态对象干扰语义地图，基于深度学习的语义分割网络对深度相机输入的每一帧图像进行语义分割，输出每帧图像中像素级别的语义类别标签及其置信度，去除动态对象对地图构建的影响。

2、本技术实施例还提供了一种基于视觉slam的去除动态对象干扰方法，包括：

3、获取巡逻区域，通过巡逻机器人在巡逻区域内移动，并通过巡逻机器人上的相机进行实时获取图像信息；

4、将图像信息进行预处理，得到若干个单帧图像；

5、将若干个单帧图像输入语义分割网络，通过语义分割网络对输入的每一帧图像进行语义分割，得到单帧图像中像素级别的语义类别标签及其置信度；

6、根据语义类别标签及其置信度提取单帧图像中的动态点与静态点；

7、剔除单帧图像中的动态点，并将所有单帧图像中的静态点进行地图绘制，得到地图信息；

8、将地图信息按照预定的方式传输至终端。

9、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰方法中，获取巡逻区域，通过巡逻机器人在巡逻区域内移动，并通过巡逻机器人上的相机进行实时获取图像信息，具体为：

10、获取巡逻区域并生成巡逻区域平面图；

11、根据巡逻区域平面图生成巡逻区域内的路线分布信息；

12、根据路线分布信息控制巡逻机器人按照路线分布进行移动；

13、设定采集时间间隔，根据采集时间间隔对巡逻区域进行图像采集，得到多个图像信息。

14、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰方法中，将图像信息进行预处理，得到若干个单帧图像，具体为：

15、获取不同采集时间间隔下的图像信息；

16、将相邻采集时间间隔下的图像信息进行帧差计算；

17、判断所述帧差是否满足预设的帧差阈值；

18、若满足，则生成将图像信息进行分割，得到若干个单帧图像；

19、若不满足，则调整采集时间间隔，并重新获取巡逻区域内的图像信息。

20、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰方法中，将若干个单帧图像输入语义分割网络，通过语义分割网络对输入的每一帧图像进行语义分割，得到单帧图像中像素级别的语义类别标签及其置信度之后，还包括：

21、获取单帧图像中像素级别的语义类别标签及其置信度；

22、将置信度与预设的置信度阈值进行比较，得到置信偏差率；

23、若置信偏差率大于或等于预设的置信偏差率阈值，则将语义类别标签进行筛选，并剔除对应的单帧图像；

24、若置信偏差率小于预设的置信偏差率阈值，则根据语义类别标签获取对应单帧图像内的动态点，并将动态点进行剔除。

25、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰方法中，根据语义类别标签及其置信度提取单帧图像中的动态点与静态点，具体为：

26、通过几何约束方法获取在约束空间点在不同成像平面上投影的二视图几何关系，得到约束关系；

27、获取相邻帧的两个单帧图像，提取图像特征点；

28、判断图像特征点是否满足约束关系；

29、若满足，则判定图像特征点为静态特征点；

30、若不满足，则判定图像特征点为动态特征点。

31、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰方法中，若置信偏差率大于或等于预设的置信偏差率阈值，则将语义类别标签进行筛选，并剔除对应的单帧图像之后，还包括：

32、将置信偏差率大于预设的置信偏差率阈值的语义类别标签进行筛选，生成缓存标签；

33、根据缓存标签提取图像特征值；

34、将所述图像特征值与预设的图像特征值进行比较，得到特征偏差率；

35、判断所述特征偏差率是否大于或等于预设的特征偏差率阈值；

36、若大于或等于，则将缓存标签进行擦除操作；

37、若小于，则将缓存标签进行存储，并生成对应的调用条件；

38、当满足调用条件时，将缓存标签内的单帧图像恢复，并输入语义分割网络。

39、第二方面，本技术实施例提供了一种基于视觉slam的去除动态对象干扰系统，该系统包括：存储器及处理器，所述存储器中包括基于视觉slam的去除动态对象干扰方法的程序，所述基于视觉slam的去除动态对象干扰方法的程序被所述处理器执行时实现以下步骤：

40、获取巡逻区域，通过巡逻机器人在巡逻区域内移动，并通过巡逻机器人上的相机进行实时获取图像信息；

41、将图像信息进行预处理，得到若干个单帧图像；

42、将若干个单帧图像输入语义分割网络，通过语义分割网络对输入的每一帧图像进行语义分割，得到单帧图像中像素级别的语义类别标签及其置信度；

43、根据语义类别标签及其置信度提取单帧图像中的动态点与静态点；

44、剔除单帧图像中的动态点，并将所有单帧图像中的静态点进行地图绘制，得到地图信息；

45、将地图信息按照预定的方式传输至终端。

46、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰系统中，获取巡逻区域，通过巡逻机器人在巡逻区域内移动，并通过巡逻机器人上的相机进行实时获取图像信息，具体为：

47、获取巡逻区域并生成巡逻区域平面图；

48、根据巡逻区域平面图生成巡逻区域内的路线分布信息；

49、根据路线分布信息控制巡逻机器人按照路线分布进行移动；

50、设定采集时间间隔，根据采集时间间隔对巡逻区域进行图像采集，得到多个图像信息。

51、可选地，在本技术实施例所述的基于视觉slam的去除动态对象干扰系统中，将图像信息进行预处理，得到若干个单帧图像，具体为：

52、获取不同采集时间间隔下的图像信息；

53、将相邻采集时间间隔下的图像信息进行帧差计算；

54、判断所述帧差是否满足预设的帧差阈值；

55、若满足，则生成将图像信息进行分割，得到若干个单帧图像；

56、若不满足，则调整采集时间间隔，并重新获取巡逻区域内的图像信息。

57、第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于视觉slam的去除动态对象干扰方法程序，所述基于视觉slam的去除动态对象干扰方法程序被处理器执行时，实现如上述任一项所述的基于视觉slam的去除动态对象干扰方法的步骤。

58、由上可知，本技术实施例提供的一种基于视觉slam的去除动态对象干扰方法、系统及介质，通过获取巡逻区域，通过巡逻机器人在巡逻区域内移动，并通过巡逻机器人上的相机进行实时获取图像信息；将图像信息进行预处理，得到若干个单帧图像；将若干个单帧图像输入语义分割网络，通过语义分割网络对输入的每一帧图像进行语义分割，得到单帧图像中像素级别的语义类别标签及其置信度；根据语义类别标签及其置信度提取单帧图像中的动态点与静态点；剔除单帧图像中的动态点，并将所有单帧图像中的静态点进行地图绘制，得到地图信息；将地图信息按照预定的方式传输至终端；利用巡逻机器人作为载体构建去动态对象干扰语义地图，基于深度学习的语义分割网络对深度相机输入的每一帧图像进行语义分割，输出每帧图像中像素级别的语义类别标签及其置信度，去除动态对象对地图构建的影响。