一种面向动态环境的基于点线联合的语义SLAM方法

本发明涉及计算机视觉领域，具体而言，特别涉及一种面向动态环境的基于点线联合的语义slam 方法。

背景技术：

1、同步定位与地图构建技术（simultaneous localization and mapping, slam）是指机器人在未知的环境中，使用自身搭载的各种传感器采集周围环境信息，通过算法分析出自身位置并建立周围环境的地图，其中视觉slam(visual slam) 主要是利用相机来获取数据，包括单目、双目、rgb-d相机等，因其所使用的相机传感器性价比高、体积小、功耗较低，并且可以获得丰富的环境信息的特点，成为近几年比较热门的研究领域。

2、传统视觉slam的各种算法在静态场景中能够取得很好的特征匹配，而在动态场景中会出现误匹配，从而使得slam系统的定位和建图产生很大的误差。因此，针对应用场景中存在动态运动物体会降低slam系统的定位精度和鲁棒性的问题，提出了一种基于特征点和特征线的语义slam方法和系统，该方法将传统视觉slam前端与mask rcnn实例分割算法结合，在对输入图像进行特征点和特征线提取的同时，对图像进行实例分割，判断目标类型，检测动态目标，剔除动态物体上的特征点和特征线，使用处理后的特征点和特征线与相邻帧进行帧间匹配求解相机位姿，通过采用特征点与特征线联合优化相机位姿，能够提高动态场景下的视觉定位精度。

3、目前现有的语义slam技术，主要是针对存在动态物体的场景而言，由于动态物体的存在，导致定位精度不高，主要采取的方式是将所有的先验动态物体上的像素删除，利用剩下的像素进行特征提取及后续的定位研究，或者是删除所有的动态特征点，仅采用静态特征点进行特征点匹配和后端的处理，这些方法在纹理比较丰富的动态场景中，可以提高相机的定位精度，但是针对低纹理、强光照的具有动态物体的场景，仅采用特征点和语义的信息，难以获取足够多的数据，容易造成slam系统的跟踪丢失，降低定位精度，因此本发明在视觉定位前端加入cnn网络提取的特征线，结合特征点匹配算法，联合特征点和特征线优化相机位姿，解决低纹理、光照变化场景的定位，同时，在视觉前端加入实例分割，解决场景中动态物体的存在导致的定位精度不足的问题，并在最后构图的过程加入静态场景的修复，在删除动态物体的同时，能够利用前几帧的信息，将动态物体所遮挡的静态场景，利用前后相关联帧进行修复，并估计出动态物体的位置。

4、目前，基于视觉的slam算法研究取得了很大的进展，例如orb-slam2（orient fastand rotated brief slam2），lsd-slam（large scale direct monocular slam）等。但这些算法通常都基于一个强烈的假设，即静态工作环境具有较多特征且无明显光照变化，对应用环境有严格的限制。这种假设影响了视觉slam系统在实际场景中的适用性，当环境为动态弱纹理区域且有光照变化，特征点对该场景比较敏感，难以检测，都会降低相机位姿估计的精度和鲁棒性，给基于视觉的定位带来误差，造成三维重建的结果出现较大偏差。

5、在移动机器人使用相机进行定位与建图的过程中相机通常处于运动状态。这就使得经典的运动分割方法，例如背景去除（background subtraction）无法使用在视觉slam中。早期的slam系统大多采用数据优化的方法降低动态物体的影响。使用随机抽样一致性检测（random sampleconsensus ，ransac）算法粗略的估计出两帧之间的基础矩阵，再结合语义信息和移动一致性检查结果，完成两级语义知识库的建立，动态轮廓内的所有特征点作为噪声或离散点被删除。将动态物体上的帧间特征点匹配对使用ransac 算法剔除，一定程度上降低动态物体对slam系统的影响。这些方法都隐性的假设图像中的物体大部分是静态的，当动态物体产生的数据超过一定阈值时，这些方法将失效。

6、现有技术在城市、室内等特征丰富的场景下对视觉定位、机器人导航等的研究已经取得一定的进展，但仍有许多研究内容不够深入，对于具有几何特征的低纹理场景及光照变化的场景，视觉定位仍存在以下几个问题：

7、（1）现有方法在特征的检测上受到物体的遮挡、缺失等问题的影响，难以从图像中检测出完整的几何特征，导致相机位姿难以计算；

8、（2）现有方法在低纹理图像中受纹理少、特征点少的影响，难以提取图像的特征，或导致特征匹配错误，使得slam跟踪和重定位失效，相机位姿识别差；

9、（3）在光照变化明显的区域，特征点检测比较敏感，易出现特征点检测困难、无匹配等问题，导致相机位姿不准；

10、将mask-rcnn与多视图几何结合，实现动态目标的实例分割和剔除，同时识别出动态特征点，排除动态目标对特征匹配的干扰，消除动态目标对slam系统的影响。

技术实现思路

1、本发明在orb-slam3的基础上进行改进，面向动态环境，提出一种基于点线特征的语义slam方法，与点特征相比，线提供了更多关于环境的几何结构信息，通过点线联合优化相机位姿，提高相机定位精度和鲁棒性。通过进行点和线特征提取，在缺乏纹理和光照变化的场景下，将点和线特征用于准确和鲁邦的匹配和重定位，进行相机位姿估计，减小定位误差和重定位误差，该算法解决了弱纹理区域和光照变化场景中特征点检测失效及定位难的问题。

2、本发明是通过如下技术方案实现的：一种面向动态环境的基于点线联合的语义slam 方法，具体包括以下步骤：

3、步骤s1：获取场景的图像流，将图像流逐帧传入到cnn网络中，对先验动态性质的物体进行逐像素的分割，分割出场景中的动态物体，得到关键帧图像，并利用前几帧的信息，将动态目标遮挡的静态场景补全；

4、步骤s2：对步骤s1：获得的关键帧图像提取特征点和特征线，同时构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点和线段，然后对先验动态性质的物体进行动态一致性检查，剔除动态物体上的特征点和特征线，保留静态物体上的特征点和特征线，利用剩下的静态特征点和静态线进行匹配；

5、步骤s3：对步骤s2的特征点和特征线进行匹配，同时进行滤波，剔除错误匹配的点和线，获得正确的匹配点对和线对，利用匹配点对获得初始相机位姿；

6、步骤s4：通过步骤s3得到的匹配点对和线对计算当前帧的相机位姿，通过最小化点对和线对的重投影误差，获得精确的相机位姿估计；

7、步骤s5：利用关键帧图像构建关于场景的局部地图，对每帧图像进行实例分割，将每个实例中的特征点和特征线归并到对应的实例中，利用特征点和特征线来定位相机位姿，计算物体和场景的点云获得稀疏点云地图；

8、步骤s6：利用回环检测进行位姿优化，修正漂移误差，获得更精确的相机位姿估计。

9、作为优选方案，步骤s1为提取关键帧图像上静态区域的特征点和特征线，对关键帧图像静态区域提取特征点及特征线，具体包括以下步骤：采用orb特征点提取图像静态区域的特征，同时计算orb描述子，获得图像静态区域的特征点和描述子，对去除动态物体的图像进行线特征提取，线特征的提取采用transformer的网络结构，通过一系列的上采样和下采样操作，融合不同尺度下的特征信息，获得图像静态区域上的线特征。

10、进一步地，提取线特征采用水平距离和垂直距离生成向量来预测单个线段两个端点的位置，获得线特征，其中和表示线段的左右两个端点坐标，为线段的中点坐标，表示右端点坐标和中点坐标之间关系的一个向量，本方法中和分别表示为：，。

11、作为优选方案，步骤s3中的特征点和特征线的匹配的具体包括以下步骤：特征点的匹配是通过生成orb描述子，通过快速最近邻搜索，在当前帧找到一个描述子距离最相近的特征点作为匹配点，然后剔除误匹配的点对，当匹配描述子距离大于阈值γ或最优匹配点距离与第二最优匹配点距离的比值小于1时，说明第二匹配点与第一匹配点相当，则认为匹配点对容易发生误匹配，舍弃该匹配点对；特征线的匹配是通过几何约束获得2d-2d的匹配线对，通过外点剔除直接将其映射到3d空间，然后通过最小化重投影误差，获得精确的2d-3d线匹配对。

12、作为优选方案，步骤s4中的最小化点对和线对的重投影误差来优化相机位姿具体实现如下：

13、采用点线联合优化位姿，最小化重投影误差定义为：

14、

15、其中

16、

17、

18、

19、其中，n表示2d-3d上的匹配线对，函数等于3d线投影到2d平面上的线，角度误差是通过定义两个平面和定义的，函数等于3d点图应到2d平面上的点，和 是给定的权重值，通过最小化重投影误差来优化相机位姿。

20、作为优选方案，步骤s5中通过局部建图进行点云处理，利用全局重定位优化相机位姿，获得稀疏点云重建图，其具体包括步骤如下：

21、计算每一帧数据流的bow向量，计算当前帧图像包括bow向量、共视关系信息并插入地图，更新共视图；在跟踪过程中，每个关键帧都附有包括特征点、特征线和描述子的信息，然后利用三角化创建地图点；判断关键帧队列中是否还有其他关键帧，若没有，则进行地图点的优化，利用当前帧及与当前帧图像有共视点的关键帧图像及关键帧图像的相邻帧图像进行局部ba优化；

22、找到当前帧对应的候选关键帧，对每个候选关键帧，使用bow词典匹配当前帧与该关键帧，用当前帧和候选关键帧的匹配关系来初始化，对于每个候选关键帧，用epnp估计位姿。

23、进一步地，步骤s6中通过回环检测优化相机位姿具体包括步骤如下：

24、基于点和线两种特征，利用关键帧进行回环检测，当三个连续的闭环候选关键帧均与当前关键帧有较高的相似度，则得到回环候选帧，对每个候选的回环帧，先匹配其和当前帧上的特征点和特征线，然后利用特征点和特征线对应的三维信息求解一个相似变换矩阵，若回环帧中有足够的内点和内线，则做sim(3)优化，利用回环候选帧进行回环修正，优化特征点约束与线段约束，得到点线联合优化后的相机位姿。

25、（1） 本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明在orb-slam3的基础上进行改进，提出基于特征点、特征线和语义信息的slam算法，将mask-rcnn与多视图几何结合，实现动态目标的实例分割和剔除，同时识别出动态特征点和特征线，排除动态目标对特征匹配的干扰，消除动态目标对slam系统的影响，同时利用前几帧的信息，将动态目标遮挡的静态场景补全；

26、（2） 本发明提出基于特征点和特征线的语义slam系统，本发明采用transformer的结构提取线特征，比传统方法提取的线特征更多更准；

27、与点特征相比，线提供了更多关于环境的几何结构信息，进行点和线特征提取，在弱纹理和光照变化的场景下，点和线特征会进行更准确和鲁邦的匹配，实现相机位姿估计，减小定位误差和重定位误差，该算法解决了低纹理场景下定位难的问题。

28、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。