一种基于行人运动特征优化的视觉惯性定位方法

本发明属于视觉惯性定位，具体涉及一种基于行人运动特征优化的视觉惯性定位方法，面向行人穿戴设备，可用于实现低成本传感器的长时间鲁棒定位。

背景技术：

1、目前，户外的定位技术随着社会的需求不断快速发展。在大部分室外的场景下，卫星导航作为一种可靠、实时的定位手段，为行人、车辆等提供对应的位置服务。但是在部分卫星信号不良的环境（隧道、建筑物遮挡处等），由于信号的衰减与反射等因素，其定位的准确性与鲁棒性下降十分严重。因此，在该类场景下，需要采用抗干扰强、自主性好的手段进行定位。

2、目前室内场景下的行人定位手段主要包括wifi、蓝牙、地磁和惯性导航等。前三种方法利用环境信息构建数据库，再设计对应的匹配算法，将实时获取的数据与数据库中的数据进行匹配以获得当前准确可靠的定位信息。但是面对空间范围较大的场景，以上方法不仅成本过高而且很难做到实时性，同时场景的切换也会对定位结果产生较大的影响。相比而言，惯性导航作为一种无源自主的定位技术，仅依靠自身传感器信息即能在短时间内提供稳定的定位结果，但随着时间的推移，惯性定位结果会产生明显的累积误差。综合比较，视觉惯性里程计作为一种新兴的导航定位手段，由于自身具备回环检测等纠正能力，能够在长时间下提供稳定定位，是解决行人在长时间下定位的有效手段之一。

3、视觉惯性里程计的实现主要包括三个部分：前端的位姿解算、后端的非线性优化以及回环检测。在前端的位姿解算中，其利用帧间特征点的位移计算相机的位姿变化，为后端的优化提供一个初始值；在后端的非线性优化中对于前端输入的视觉信息、惯性信息、边缘化信息等数据进行残差构建以及后续的非线性优化，以此提高系统整体的性能；当场景中检测到相同场景时，利用数据库中的位姿数据对于当前的位姿数据进行优化以维持长时间下的稳定定位。

4、目前大部分视觉惯性里程计的定位方法往往基于车载或无人机等稳定平台进行开发，并在相应的数据集上有着较好的定位性能。但是行人平台具有运动复杂、非稳定的特性，且行人无法携带大体积、高成本的传感器，所以现有的视觉惯性里程计算法在行人平台上往往难以实现长时间鲁棒定位的效果。基于此原因，需要考虑将行人的运动特征与视觉惯性里程计相结合，以提高系统整体的定位结果的可靠性，满足行人在室内场景下的定位需求与应用。

技术实现思路

1、面向室内场景下的行人自主定位需求，针对如何实现行人平台下视觉惯性里程计的可靠定位问题，本发明提供一种基于运动特征优化的视觉惯性里程计定位方法，可实现行人在室内场景下长时间的自主可靠定位。

2、为达到上述目的，本发明采用如下技术方案：

3、一种基于行人运动特征优化的视觉惯性定位方法，包括如下步骤：

4、步骤1、利用行人头部穿戴的视觉惯性传感器中的惯性传感器单元进行姿态解算，获得行人的三维姿态信息和行人的航向信息；

5、步骤2、基于行人的三维姿态信息，进行视觉惯性里程计的局部优化，包括：

6、步骤2.1在视觉惯性里程计的前端通过光流法对特征点进行跟踪，在视觉惯性里程计的后端通过滑动窗口的方式对关键帧的信息进行局部优化，其中滑动窗口中的优化参数包括3d点的逆深度信息、相机到惯性传感器单元的外参值、关键帧对应的相机坐标系到世界坐标系的位移、相机坐标系在世界坐标系的速度、关键帧对应的相机坐标系到世界坐标系的旋转姿态、加速度计的零偏值和陀螺仪的零偏值；根据所述优化参数设计优化目标函数，计算原始滑动窗口的非线性优化项；

7、步骤2.2将行人头部穿戴的视觉惯性传感器中的惯性传感器单元解算得到的三维姿态信息与当前滑动窗口的非线性优化项进行组合，构建对应的残差约束项，并在损失函数中对上述残差约束项进行统一的优化；

8、步骤3、基于行人的航向信息，进行视觉惯性里程计的全局优化，包括：

9、采取回环检测的方式对视觉惯性里程计解算得到的位姿信息进行全局优化；在视觉惯性里程计中利用brief描述子的dbow2词袋进行回环检测，通过brief描述子对特征点进行描述，之后计算当前帧与dbow2词袋的相似度的分数，并和关键帧数据库中的数据进行对比，当满足阈值条件后，则提取对应的候选帧参与四自由度的非线性优化。

10、有益效果：

11、本发明中的方法基于视觉惯性里程计定位技术，结合行人运动特征优化定位结果，可实现行人在室内场景下的长时间可靠定位，无需借助外界的基站或信源设备，是一种低成本、无辐射、误差不随时间累积的定位方法，能够实现行人在室内场景下长时间的米级精度定位。

技术特征：

1.一种基于行人运动特征优化的视觉惯性定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于行人运动特征优化的视觉惯性定位方法，其特征在于，所述步骤1包括：通过惯性传感器单元中的加速度计感知的重力分量，计算出行人头部的俯仰角和横滚角，之后利用磁力计计算磁北方向，最后利用陀螺仪测量行人头部的旋转角速度并利用互补滤波进行修正以获得鲁棒准确的行人的三维姿态信息和行人的航向信息。

3.根据权利要求2所述的一种基于行人运动特征优化的视觉惯性定位方法，其特征在于，所述步骤2.1中，所述优化目标函数中的优化项包括边缘化的先验信息、惯性传感器单元的测量残差、视觉的重投影残差以及利用惯性传感器单元解算得到的行人姿态信息构建的残差项；之后利用列文伯格-马夸尔特法方法与ceres方法对优化目标函数进行求解。

4.根据权利要求3所述的一种基于行人运动特征优化的视觉惯性定位方法，其特征在于，所述步骤2.2中构建的残差约束项如下所示：

5.根据权利要求4所述的一种基于行人运动特征优化的视觉惯性定位方法，其特征在于，所述步骤3包括：

技术总结
本发明提供一种基于行人运动特征优化的视觉惯性定位方法，属于视觉惯性定位技术领域，包括：步骤1、利用行人头部穿戴的视觉惯性传感器中的惯性传感器单元进行姿态解算，获得行人的三维姿态信息；步骤2、基于行人的三维姿态信息，进行视觉惯性里程计的局部优化；步骤3、基于行人的三维姿态信息中的航向信息，进行视觉惯性里程计的全局优化。本发明可实现行人在室内场景下的长时间可靠定位，无需借助外界的基站或信源设备，是一种低成本、无辐射、误差不随时间累积的定位方法，能够实现行人在室内场景下长时间的米级精度定位。

技术研发人员：张文超,陈嘉伟,魏东岩,曹磊,刘晓宙,袁洪
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/4/29