基于点线融合特征的视觉跟踪方法与流程

本发明属于视觉导航，涉及一种基于点线融合特征的视觉跟踪方法。

背景技术：

1、科技的发展逐渐向智能化水平前行，面向无人设备的自主导航技术逐渐成熟，卫星可以提供实时的位置，是通用的导航方式之一。在楼宇、巷道、室内等典型城市复杂环境中，卫星拒止条件成为常态，传统基于卫星的定位技术受到很多制约，gps装备甚至无法正常工作。

2、随着视觉传感器技术、计算机技术和人工智能技术的迅速发展，基于计算机视觉的识别定位技术作为一种新的导航方式，视觉导航开始在自主导航领域占据一席之地。视觉传感器具有隐蔽性、轻便、低功耗和价格低廉等特点，因此利用视觉传感器进行导航具有很大的优势。

3、视觉导航在纹理丰富区域往往能实现良好的跟踪效果，达到较高的定位精度。但是基于点特征的方法在弱纹理环境下难以提取到足够的特征点或者特征点分布不均匀，跟踪定位精度大幅下降。因此开展地面环境下高精度、高鲁棒性的导航定位技术研究极为迫切。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明提供了一种基于点线融合特征的视觉跟踪方法。

3、本发明的技术解决方案如下：

4、根据一方面，提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：

5、提取点特征并完成点特征匹配；

6、提取线特征；

7、基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：

8、初步建立线匹配集合；

9、采用双向最近邻结合比例测试的方式，选取出最优匹配线段；

10、基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；

11、构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿。

12、进一步地，采用基于orb的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。

13、进一步地，采用基于orb的特征提取方法提取点特征时，将改进后的fast角点作为特征点，所述特征点具备旋转不变性。

14、进一步地，采用基于描述子的匹配方法完成点特征匹配，具体包括：

15、对于每个特征点采用改进的brief描述子，利用orb-slam2中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；

16、然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；

17、提取前后帧图像的所有匹配点对，完成点特征匹配。

18、进一步地，采用参数优化的lsd线特征提取方法提取线特征，其中，所述lsd线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。

19、进一步地，所述lsd线特征提取方法还包括：

20、设置最短线长阈值其中wi和hi分别表示图像的宽和高，η为比例参数；

21、设计检测直线段的长度低于所述阈值时被过滤。

22、进一步地，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：

23、1)将第i关键帧的第m条检测直线段记作计算在第j关键帧上的最近邻线段特征和次优最近邻线段特征

24、2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；

25、3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足dmax为特征距离的上限，若满足，则将使记为的最优匹配线段；

26、4)按照步骤1)～3)方法筛选出所有最优线段匹配对。

27、进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：

28、对于任意筛选出的最优线匹配对经过三角化获得地图线记作

29、假设存在线匹配将投影至第k关键帧，得到投影直线段并衡量投影直线段与的相似度，若满足时，认为匹配对提供了支持；其中，函数s1()代表角度相似度，函数s2()代表位置相似性；为第k关键帧的的最优匹配线段；

30、设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。

31、进一步地，通过下述方式设计函数s1()和函数s2()：

32、假设两条直线段l1和l2，其中，该两条直线段满足：

33、

34、其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。

35、进一步地，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：

36、构造特征点的最小化重投影误差模型；

37、构造线特征的最小化重投影误差模型；

38、联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。

39、进一步地，通过下式迭代求解获取相机第i帧的位姿：

40、

41、其中，表示第i个关键帧特征点的最小化重投影误差，j表示地图点id，该图像总共对应m个地图点，xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上xj对应的像素观测点，k代表相机内参矩阵，表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。

42、根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述视觉跟踪方法的步骤。

43、上述技术方案通过综合提取点、线特征实现匹配定位，一方面增加线特征，解决点特征过少难以定位的问题，并采用特定方法进行线特征的提取和匹配，大大提升精度；另一方面综合利用点线匹配的投影误差，可以进一步提高城市场景的导航定位精度，为实现导航智能化提供必要的技术基础。

技术特征：

1.一种基于点线融合特征的视觉跟踪方法，其特征在于，所述视觉跟踪方法包括：

2.根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于orb的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。

3.根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于orb的特征提取方法提取点特征时，将改进后的fast角点作为特征点，所述特征点具备旋转不变性。

4.根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于描述子的匹配方法完成点特征匹配，具体包括：

5.根据权利要求1-4任一项所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用参数优化的lsd线特征提取方法提取线特征，其中，所述lsd线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。

6.根据权利要求5所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述lsd的线特征提取方法还包括：

7.根据权利要求5或6所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：

8.根据权利要求7所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：

9.根据权利要求8所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，通过下述方式设计函数s1()和函数s2()：

10.根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：

11.根据权利要求10所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，通过下式迭代求解获取相机第i帧的位姿：

12.一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-11任一项所述视觉跟踪方法的步骤。

技术总结
本发明提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：提取点特征并完成点特征匹配；提取线特征；基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：初步建立线匹配集合；采用双向最近邻结合比例测试的方式，选取出最优匹配线段；基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿。该技术方案可以进一步提高城市场景的导航定位精度，为实现导航智能化提供必要的技术基础。

技术研发人员：尚克军,李至,焦浩,李茜茜,明丽,王大元,赵亮,扈光锋,徐策,刘崇亮
受保护的技术使用者：北京自动化控制设备研究所
技术研发日：
技术公布日：2024/1/15