基于点、线特征融合的vSLAM实现方法及系统与流程

本发明涉及视觉同步定位与地图构建(slam)领域，特别涉及一种基于点、线特征融合的vslam实现方法以及一种基于点、线特征融合的vslam实现系统。

背景技术：

同步定位与地图构建(simultaneouslocalizationandmapping,slam)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。早期的sfm技术一般是离线处理的，后来随着技术的发展出现实时的sfm技术，可以归于slam的范围。v-slam技术根据拍摄的视频信息推断出摄像头在未知环境中的方位,并同时构建环境地图,其基本原理为多视图几何原理。v-slam的目标为同时恢复出每帧图像对应的相机运动参数c1...cm，以及场景三维结构x1...xn；其中每个相机运动参数ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵ri和一个三维位置变量pi。

由于基于特征的v-slam需要进行图像特征的匹配，因此其稳定性严重依赖于场景特征的丰富程度。当场景中纹理信息缺失时或相机快速运动导致图像模糊时，点特征的数量往往较少，影响了位姿估计的精度。虽然直接跟踪法在某种程度上缓解了特征的依赖问题，但是稠密和半稠密的直接跟踪计算量较大，无法在一些计算能力有限的平台上运行。而在人造的结构化环境中，存在着结构化的特征，如线段特征、平面特征等。线段特征和点特征是互为补充的，可以观察到在地面和墙面上几乎提取不到点特征，例如，相机拍摄一面纯色的白墙，那么仅从图像无法恢复出相机的运动。而在地面与墙面的交界处等却存在着丰富的线段特征。线段特征相对于点特征而言，是一种更高层次的特征，利用线段特征构建的环境地图具有更直观的几何信息，同时也能提高slam系统的精度和鲁棒性。

中国专利申请cn104077809a公开了“基于结构性线条的视觉slam方法”，该方法中，提供了一种基于结构性线条的视觉slam方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建(slam)；该方法包括如下内容：slam初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；slam过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。该发明利用结构性线条的主导方向信息，可以全局的限制预测的方向，很大程度上提高轨迹和地图的精度。该方法存在以下不足：1、使用卡尔曼滤波器优化位姿的方法，具有一定的局限性，由于状态变量仅保留当前时刻的位姿，过去时刻的位姿将不再更新，导致估计不准确的先验信息一直传递到后一时刻中，照成累计误差；2、该方法并没有实现闭环检测的功能，具有一定的扩展局限性。

中国专利申请cn107392964a公开了“基于室内特征点和结构线结合的室内slam方法”，该方法中，涉及室内特征点和结构线结合的视觉slam算法，包括：相机内参标定；针对相机获取的视频帧影像数据，提取特征点和结构线；根据获取的特征点和结构线，进行特征点和结构线跟踪，并进行关键帧选取；根据获取的特征点和结构线的跟踪信息，进行周围环境空间点和空间线制图以及平台定位优化；判断平台运动轨迹是否形成闭环，获取正确的闭环关键帧，对全局的影像姿态和地图进行整体优化。该发明具有实时性、高效性，利用匹配的特征点和结构线对影像的姿态和周围的环境进行制图，并进行了回环检测处理，在充分利用结构线减少漂移误差的同时，利用回环检测最后可以获取较好地移动机器人平台定位结果和周围环境的结构特征。该方法存在以下不足：1、回环检测部分构建dbow2词典只对特征点进行描述，并没有对特征线条描述，在回环检测的准确性能上要低；2、双目相机的标定和像素深度的计算复杂度高。

因此，如何克服现有技术中存在的上述不足，真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的slam系统，这成为本领域亟待解决的技术问题。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于点、线特征融合的vslam实现方法和一种基于点、线特征融合的vslam实现系统。

为了实现上述目的，本发明的第一方面，提供了一种基于点、线特征融合的vslam实现方法，包括：

步骤s110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；

步骤s120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；

步骤s130、根据匹配成功的点特征和线特征，初始化环境地图；

步骤s140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；

步骤s150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤s160，若否，则重复执行步骤s110至步骤s150；

步骤s160、执行局部地图线程的步骤；

步骤s170、执行闭环检测线程的步骤；

步骤s180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。

可选地，所述步骤s120包括：

采用orb对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；

采用lsd对各帧所述图像中的线特征进行检测，并采用lbd对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：

两段线特征的方向向量夹角小于

两段线特征的长度比值

两段线特征的重叠区域长度

两段线特征对应的lbd特征向量的距离小于设定阈值ρt，并且搜索区域内最小，认为匹配成功；

其中，为两段线特征所对应的方向向量夹角的最大阈值；

min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；

τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；

loverlap为两段线特征的重叠区域长度；

β为两段线特征的重叠区域长度的阈值；

ρt为两段线特征对应特征lbd向量之间的汉明距离最大值。

可选地，所述步骤s130包括：

根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；

分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；

根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。

可选地，所述步骤s140包括：

分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；

根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：

根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿；

其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。

可选地，所述关键帧条件满足：

距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲；以及，

当前帧至少跟踪到了50个特征点和15条空间直线；以及，

当前帧包含参考关键帧中的特征要少于75％。

可选地，所述步骤s160包括：

局部地图管理，包括对空间点、空间线的增删、更新以及关键帧的剔除；

局部地图优化，从环境地图中提取一部分位姿和路标，对这些位姿和路标构成的图模型进行优化。

可选地，所述步骤s170包括：

闭环检测，具体为对于每一帧插入的关键帧，利用离线训练得到的视觉字典，将其转换为词包向量，并根据所述词包向量构建在线数据库，以作为倒排索引；

闭环校正，具体为根据当前帧和闭环帧的信息，计算出该两帧之间的位姿变换矩阵；以及，

将环境地图中的最小生成树包含的关键帧作为顶点，关键帧之间相对位姿变换作为边建立位姿图模型，以进行闭环校正；

可选地，所述步骤s180包括：

对环境地图中的所有的路标和位姿进行优化，以获得优化后的环境地图，完成同步定位与地图构建。

本发明的第二方面，提供了一种基于点、线特征融合的vslam实现系统，包括：

获取模块，用于获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；

预处理模块，用于对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；

初始化模块，用于根据匹配成功的点特征和线特征，初始化环境地图；

位姿计算模块，用于基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；

判断模块，用于判断当前帧图像是否满足关键帧条件；

局部地图线程模块，用于执行局部地图线程；

闭环检测线程模块，用于执行闭环检测线程；

全局优化线程模块，用于执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。

可选地，所述预处理模块用于：

采用orb对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；

采用lsd对各帧所述图像中的线特征进行检测，并采用lbd对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：

两段线特征的方向向量夹角小于

两段线特征的长度比值

两段线特征的重叠区域长度

两段线特征对应的lbd特征向量的距离小于设定阈值ρt，并且搜索区域内最小，认为匹配成功；

其中，为两段线特征所对应的方向向量夹角的最大阈值；

min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；

τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；

loverlap为两段线特征的重叠区域长度；

β为两段线特征的重叠区域长度的阈值；

ρt为两段线特征对应特征lbd向量之间的汉明距离最大值。

本发明的基于点、线特征融合的vslam实现方法及系统，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本发明的基于点、线特征融合的vslam实现方法及系统，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vslam在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的slam系统。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明一实施例中基于点、线特征融合的vslam实现方法的流程图；

图2为本发明一实施例中基于点、线特征融合的vslam实现方法的流程图；

图3为本发明一实施例中图像特征处理的流程图；

图4为本发明一实施例中点、线特征融合的vslam实现系统的结构示意图。

附图标记说明

100：点、线特征融合的vslam实现系统；

110：获取模块；

120：预处理模块；

130：初始化模块；

140：位姿计算模块；

150：判断模块；

160：局部地图线程模块；

170：闭环检测线程模块；

180：全局优化线程模块。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明的基于点、线特征融合的vslam实现方法主要包括跟踪线程、局部地图线程、闭环检测线程和全局优化线程。

跟踪线程：输入为深度相机采集到的图像帧序列，分为彩色图像和深度图像，同一时刻的图像称为一帧。图像预处理部分包括图像的畸变校正、特征点和特征线段的检测和描述，以及特征匹配。跟踪分为两个阶段，一是对相邻帧间的跟踪，二是对局部地图的跟踪，通过最小化重投影误差得到相机的位姿。最后对当前帧进行关键帧的判断。

局部地图线程：在跟踪线程插入关键帧后，优化局部地图中的点、线和位姿。同时根据统计信息对地图中的空间点和空间线进行剔除，保留稳定跟踪的部分，对地图中的具有冗余信息的关键帧进行剔除。在关键帧插入后，会结合局部地图内的另一帧创建新的地图点和线。

闭环检测线程：通过字典树进行闭环检测，当检测到闭环时，计算闭环帧与当前帧的se(3)变换，并通过位姿图的优化纠正累计误差和纠正地图点、线的位姿。

全局优化线程：在闭环线程中，采用先优化位相机位姿，再调整空间点、线位姿方式并不能保证全局最优，需要进行全局优化。

除此之外，还基于点线特征构建了一个场景识别模块，用于闭环检测。同时系统维护环境地图中的元素，包括地图点、地图线、关键帧，以及关键帧之间建立的连接关系，即共视图和最小生成树子图。若两帧之间有共同观测到的特征，则以这两帧为图中的顶点、共同观测的特征数量为边，重建立一个无向图，最后形成共视图，最小生成树即共视图中权重较高的一个子图。通过查询共视图，可以得到与当前帧相连的一个窗口，形成局部地图。

下文将进行详细描述，其中，步骤s110至步骤s150为跟踪线程的步骤。

本发明的第一方面，如图1和图2所示，涉及一种基于点、线特征融合的vslam实现方法s100，包括：

步骤s110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像。

步骤s120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配。

步骤s130、根据匹配成功的点特征和线特征，初始化环境地图。

步骤s140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计。

步骤s150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤s160，若否，则重复执行步骤s110至步骤s150。

步骤s160、执行局部地图线程的步骤。

步骤s170、执行闭环检测线程的步骤。

步骤s180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。

本实施例中的基于点、线特征融合的vslam实现方法s100，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本实施例中的基于点、线特征融合的vslam实现方法s100，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vslam在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的slam系统。

可选地，如图1和图3所示，所述步骤s120包括：

采用orb对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性，如果极限上对应特征向量的距离小于设定阈值，并且搜索区域内最小的，认为匹配成功；最后对所有匹配对的汉明距离按大小排序，自适应选取阈值，剔除一些距离较大的匹配对；

采用lsd对各帧所述图像中的线特征进行检测，并采用lbd对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：

两段线特征的方向向量夹角小于

两段线特征的长度比值

两段线特征的重叠区域长度

两段线特征对应的lbd特征向量的距离小于设定阈值ρt，并且搜索区域内最小，认为匹配成功；

其中，为两段线特征所对应的方向向量夹角的最大阈值；

min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；

τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；

loverlap为两段线特征的重叠区域长度；

β为两段线特征的重叠区域长度的阈值；

ρt为两段线特征对应特征lbd向量之间的汉明距离最大值。

其中，orb描述子和lbd描述子均为256位的二进制描述子，存储结构相同，为建立综合点线特征的离线字典和查询图像数据库等操作提供了便利。

可选地，所述步骤s130包括：

对于点特征，根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；

对于线特征，由于端点的不确定性较大，匹配线段的端点可能不在同一水平线上，无法直接通过三角化恢复出两个端点的坐标。可以分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；

根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。虽然端点具有较大的噪声，但在帧间的匹配、界面显示中都有重要的作用。线特征的初始化过程中，如果右的线段接近平行，在计算视差时会出现较大的误差，因此在本方法中不考虑此线段的初始化。

可选地，所述步骤s140包括：

分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；

根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：

根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿。并且通过相邻帧之间求解的位姿可以作为本次优化的初值，良好的初值有利于减少优化的迭代次数。在优化求解的过程中，会重新求解点和线的重投影误差，根据卡方检验剔除一些误匹配对。

其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。

可选地，所述关键帧条件满足：

距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲；以及，

当前帧至少跟踪到了50个特征点和15条空间直线；以及，

当前帧包含参考关键帧中的特征要少于75％。

可选地，所述步骤s160包括：

局部地图管理，包括对空间点、空间线的增删、更新以及关键帧的剔除。

当前帧中未匹配的特征点与相邻关键帧的匹配对，通过三角化恢复空间点新增的空间点需要满足视差、重投影误差、极限约束等条件才能加入环境地图中。

空间点线的剔除：由于误匹配问题可能导致错误的三角化，或者增加的路标仅有几个关键帧观测到了，在后续的帧中并没有观测到。这些路标会增大系统的维度，并且误匹配会增大系统的误差。因此需要对新添加的路标迸行严格地筛选通过连续帧的观测来判断是否是高质量的路标，一个稳定的路标至少要被3个关键帧观测到。

关键帧的剔除：为了使图模型更加紧凑，需要检测出具有冗余信息的关键帧。如果一个关键帧跟踪绝大部分到的特征被其他关键帧跟踪到，则认为该关键帧是冗余的，需要进行剔除。

空间直线端点的维护：在所有的优化中，空间直线均采用无限延长的线段来表示，其端点对最后优化的结果没有影响。通过投影空间直线的端点限制匹配搜索范围；同时端点在环境地图的可视化中也具有重要作用，因此系统需要维护空间直线的两个端点。

局部地图优化，从环境地图中提取一部分位姿和路标，对这些位姿和路标构成的图模型进行优化。通常可以将最近的n个关键帧以及相关联的路标作为待优化的状态变量，这种固定窗口的做法不太灵活，无法判断选取的关键帧与当前帧的联系。而通过共视图可以知道地图中的每一帧与当前帧共同观测的多少。因此以当前处理的关键帧fi、在共视图中与fi相连接的关键帧fc以及这些关键帧观测到的路标v作为局部地图。同时将观测到路标v且不属于fi和fc的关键帧作为不优化的节点，起到稳定优化结果的作用。局部地图优化，则是假定局部地图以外的位姿和路标是准确的，通过最小化代价函数优化局部地图内的变量。

可选地，所述步骤s170包括：

闭环检测，具体为对于每一帧插入的关键帧，利用离线训练得到的视觉字典，将其转换为词包向量，并根据所述词包向量构建在线数据库，以作为倒排索引。通过倒排索引，可以快速地搜索到包含某个视觉词汇的所有关键帧。当环境地图中的关键帧与当前帧具有共同词汇时，才计算两者的相似性得分。加入了线特征以后，可以分别计算点、线的相似性分数，需要通过一定的权重进行求和，在室内等线特征丰富的场景，线的权重应该大一些。

闭环校正，具体为根据当前帧和闭环帧的信息，计算出该两帧之间的位姿变换矩阵。由于本发明中采用深度相机，其构建的地图尺度信息是确定的，因此只要计算两帧之间的se(3)。首先需要对当前帧和闭环帧进行特征匹配，利用构建好的视觉词典将线特征划分到字典树的某一层，对属于同一聚类中心的线特征进行暴力匹配，从而加速线特征的匹配。在得到了点、线的匹配对后，通过3d-2d的方式求解位姿，结合ransac能很好地剔除其中的错误数据关联。求解该问题最少需要3个匹配对，即3个点的匹配对或3个线的匹配对。对于点特征的匹配对，则通过epnp求解；对于线特征的匹配对，通过两帧中图像中三焦点张量关系求解。在点特征较多的情况下，本发明优先使用点特征计算位姿，同时计算所有特性匹配对的误差，若误差小于一定阈值，则认为是内点。如果求解的姿态内点数足够多，则对所有内点进行非线性优化。

将环境地图中的最小生成树包含的关键帧作为顶点，关键帧之间相对位姿变换作为边建立位姿图模型，以进行闭环校正。这种方式能快速进行闭环校正，将误差平均分摊到所有关键帧中。位姿图优化本质上也是一个最小二乘问题，优化变量为各个顶点的位姿，边来自于位姿观测约束。

可选地，所述步骤s180包括：

对环境地图中的所有的路标和位姿进行优化，以获得优化后的环境地图，完成同步定位与地图构建。

本发明的第二方面，如图4所示，提供了一种基于点、线特征融合的vslam实现系统100，包括：

获取模块110，用于获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；

预处理模块120，用于对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；

初始化模块130，用于根据匹配成功的点特征和线特征，初始化环境地图；

位姿计算模块140，用于基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；

判断模块150，用于判断当前帧图像是否满足关键帧条件；

局部地图线程模块160，用于执行局部地图线程；

闭环检测线程模块170，用于执行闭环检测线程；

全局优化线程模块180，用于执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。

本实施例中的基于点、线特征融合的vslam实现系统100，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本实施例中的基于点、线特征融合的vslam实现系统100，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vslam在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的slam系统。

可选地，所述预处理模块120用于：

采用orb对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；

采用lsd对各帧所述图像中的线特征进行检测，并采用lbd对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：

两段线特征的方向向量夹角小于

两段线特征的长度比值

两段线特征的重叠区域长度

两段线特征对应的lbd特征向量的距离小于设定阈值ρt，并且搜索区域内最小，认为匹配成功；

其中，为两段线特征所对应的方向向量夹角的最大阈值；

min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；

τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；

loverlap为两段线特征的重叠区域长度；

β为两段线特征的重叠区域长度的阈值；

ρt为两段线特征对应特征lbd向量之间的汉明距离最大值。

除此以外，本发明中的基于点、线特征融合的vslam实现系统100还用于执行前文记载的基于点、线特征融合的vslam实现方法100的其余内容，可以参考前文相关记载，此处不做赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。