基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法

基于在轨特因环境的高速vslam增强现实头盔自主定位方法
技术领域
1.本发明涉及增强现实技术领域，具体涉及一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法。


背景技术：

2.目前用于地面场景的增强现实头盔通常采用预设mark标志点、主动式imu位姿预估、outside-in位姿预估以及inside-out位姿预估四种方法进行头盔定位。
3.预设mark标志点的方法即在空间中提前布置设计好的标志物，一般为容易辨别的棋盘格、纹理图像等，当头盔扫描到这些标志物时，可以通过相对关系实现定位。
4.主动式imu姿态预估不依赖外部设备，通过头盔内部的惯性测量单元(加速度计、陀螺仪和磁力计)来测量和预估速度、方向和重力。通过不断对imu的测量数据进行积分，以渐进的方式计算头盔位姿，其特点是传感器获取数据快，一般可以达到100hz以上。
5.outside-in(由外向内)位姿预估也叫灯塔追踪，需要事先放置两个以上的定位设备，使用这些定位器进行多重高速光线扫描，形成360
°
覆盖，建立三维位置信息，采用三角定位方式计算每个感应器的位置(精确到毫米)。根据定位信息采集的方式分为被动式定位和主动式定位，被动式定位由事先放置的定位器收集信息进行反馈；主动式定位属于第二代定位技术，由头盔主动收集信息进行反馈，相比被动式定位提高了便利性。
6.inside-out位姿预估需要在头盔上安装摄像头，让设备自己检测外部环境变化，通过视觉算法(slam算法)计算出摄像头的空间位置，目前普遍应用在机器人、无人机、自动驾驶等领域。这种方式的前置摄像头越多，精度越精准，但随着摄像头的增多，算法复杂度也会增加。其原理依然是三角定位算法，即摄像头收集到的图像数据能通过视觉算法转换成空间位置信息。目前此技术的难点在于需要从左右图像中提取匹配的特征点，由于计算复杂，实时解算频率有限，整个工作过程还需要依赖imu的陀螺仪和加速计才能完成立体空间的实时位置计算和驱动渲染。工程上一般在低速vslam位姿计算的基础上插值高速imu传感位姿，进行融合姿态预估。由于imu长期运行会产生漂移，需要通过vslam对其修正，同样vslam也需要imu进行世界坐标的对齐，一般采用紧耦合方法。
7.然而，上述现有技术存在一下缺陷：
8.(1)基于预设mark标志点进行增强现实定位的方案适用性不强，定位范围受限于对mark标志点的观测，当移动出观测范围或者标志点被遮挡时，此种定位方案失效。同时这种方法计算量大、速率低、精度有限，容易造成眩晕，影响增强现实的使用体验，不适用于在轨环境中的航天员作业需要；
9.(2)imu依靠重力进行定位和偏差纠正，在轨失重模式下定位方向丢失，姿态和加速度无法进行补偿纠偏，因此不能正常工作。且单一的imu头盔通常只能实现3dof方向预估，无法实现6dof的姿态预估；
10.(3)outside-in方法需要在空间中布置信号发射装置，但在轨航天器空间狭小、对电磁辐射要求严格，无法提供光塔法所需的设备和功耗要求；
11.(4)inside-out采用vslam+imu方法，由于imu在失重模式下不能工作，因此vslam与imu紧耦合的方法不适合。如果采用松耦合方法，传统vslam采用基于特征点的位姿预估，计算频率较低，不适合头盔渲染模式的需要。


技术实现要素：

12.为了克服上述缺陷，本发明提出了一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法。
13.第一方面，提供一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法，所述基于在轨特因环境的高速vslam增强现实头盔自主定位方法包括：
14.通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；
15.基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；
16.其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。
17.优选的，所述视觉传感器为双目相机。
18.优选的，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：
19.采用稀疏特征点法提取前一帧图像的特征点；
20.采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；
21.采用三角化方法得到所述匹配点对应的三维点；
22.基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。
23.进一步的，所述稀疏特征点法选择几何角点法。
24.进一步的，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：
25.将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。
26.进一步的，所述预先构建的最小化投影误差模型的数学模型如下：
[0027][0028]
上式中，pk为第k个所述匹配点坐标，k为视觉传感器内参，t为当前帧图像对应的视觉传感器的位姿，pk为第k个匹配点对应的三维点坐标，ω为所述匹配点的集合。
[0029]
优选的，所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：
[0030]
将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；
[0031]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0032]
优选的，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：
[0033]
将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；
[0034]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0035]
进一步的，所述最小化误差模型的数学模型如下：
[0036][0037]
上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，k为视觉传感器内参，ti为第i个待优化帧图像对应的视觉传感器的位姿，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标，m为待优化帧图像总数，n为同时观测到的三维点总数。
[0038]
优选的，所述方法包括：采用在线ibow-lcd方法进行回环检测。
[0039]
第二方面，提供一种基于在轨特因环境的高速vslam增强现实头盔自主定位装置，所述基于在轨特因环境的高速vslam增强现实头盔自主定位装置包括：
[0040]
采集模块，用于通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；
[0041]
计算模块，用于基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；
[0042]
其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。
[0043]
优选的，所述视觉传感器为双目相机。
[0044]
优选的，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：
[0045]
采用稀疏特征点法提取前一帧图像的特征点；
[0046]
采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；
[0047]
采用三角化装置得到所述匹配点对应的三维点；
[0048]
基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。
[0049]
进一步的，所述稀疏特征点法选择几何角点法。
[0050]
进一步的，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：
[0051]
将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。
[0052]
进一步的，所述预先构建的最小化投影误差模型的数学模型如下：
[0053]
[0054]
上式中，pk为第k个所述匹配点坐标，k为视觉传感器内参，t为当前帧图像对应的视觉传感器的位姿，pk为第k个匹配点对应的三维点坐标，ω为所述匹配点的集合。
[0055]
优选的，所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：
[0056]
将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；
[0057]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0058]
优选的，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：
[0059]
将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；
[0060]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0061]
进一步的，所述最小化误差模型的数学模型如下：
[0062][0063]
上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，k为视觉传感器内参，ti为第i个待优化帧图像对应的视觉传感器的位姿，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标，m为待优化帧图像总数，n为同时观测到的三维点总数。
[0064]
优选的，所述装置包括：采用在线ibow-lcd装置进行回环检测。
[0065]
第三方面，提供一种计算机设备，包括：一个或多个处理器；
[0066]
所述处理器，用于存储一个或多个程序；
[0067]
当所述一个或多个程序被所述一个或多个处理器执行时，实现所述的基于在轨特因环境的高速vslam增强现实头盔自主定位方法。
[0068]
第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现所述的基于在轨特因环境的高速vslam增强现实头盔自主定位方法。
[0069]
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0070]
本发明提供了一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法，包括：通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。本发明提供的技术方案针对载人航天器在轨失重、辐射要求严格、舱内工作空间狭小、设备布局纹理稀疏、特征单一重复等特因环境，采用基于纯视觉的vslam技术方案，解决了地面增强现实头盔无法适应在轨空间特因环境而导致定位失效的技术难题。本发明功耗较低，不需要额外的信号发射装置和标志点，可以鲁棒地完成在轨空间的增强现实头盔高速定位，是首个解决在轨增强现实定位的vslam方法。
附图说明
[0071]
图1是本发明实施例的基于在轨特因环境的高速vslam增强现实头盔自主定位方法的主要步骤流程示意图；
[0072]
图2是本发明实施例的视觉传感器选型原理示意图；
[0073]
图3是本发明实施例的位姿实时计算原理示意图；
[0074]
图4是本发明实施例的结合稀疏特征点的光流追踪结果示意图；
[0075]
图5是本发明实施例的回环检测示意图；
[0076]
图6是本发明实施例的在轨特因环境下的增强现实应用场景图；
[0077]
图7是本发明实施例的基于在轨特因环境的高速vslam增强现实头盔自主定位装置的主要结构框图。
具体实施方式
[0078]
下面结合附图对本发明的具体实施方式作进一步的详细说明。
[0079]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0080]
如背景技术中所公开的，目前用于地面场景的增强现实头盔通常采用预设mark标志点、主动式imu位姿预估、outside-in位姿预估以及inside-out位姿预估四种方法进行头盔定位。
[0081]
预设mark标志点的方法即在空间中提前布置设计好的标志物，一般为容易辨别的棋盘格、纹理图像等，当头盔扫描到这些标志物时，可以通过相对关系实现定位。
[0082]
主动式imu姿态预估不依赖外部设备，通过头盔内部的惯性测量单元(加速度计、陀螺仪和磁力计)来测量和预估速度、方向和重力。通过不断对imu的测量数据进行积分，以渐进的方式计算头盔位姿，其特点是传感器获取数据快，一般可以达到100hz以上。
[0083]
outside-in(由外向内)位姿预估也叫灯塔追踪，需要事先放置两个以上的定位设备，使用这些定位器进行多重高速光线扫描，形成360
°
覆盖，建立三维位置信息，采用三角定位方式计算每个感应器的位置(精确到毫米)。根据定位信息采集的方式分为被动式定位和主动式定位，被动式定位由事先放置的定位器收集信息进行反馈；主动式定位属于第二代定位技术，由头盔主动收集信息进行反馈，相比被动式定位提高了便利性。
[0084]
inside-out位姿预估需要在头盔上安装摄像头，让设备自己检测外部环境变化，通过视觉算法(slam算法)计算出摄像头的空间位置，目前普遍应用在机器人、无人机、自动驾驶等领域。这种方式的前置摄像头越多，精度越精准，但随着摄像头的增多，算法复杂度也会增加。其原理依然是三角定位算法，即摄像头收集到的图像数据能通过视觉算法转换成空间位置信息。目前此技术的难点在于需要从左右图像中提取匹配的特征点，由于计算复杂，实时解算频率有限，整个工作过程还需要依赖imu的陀螺仪和加速计才能完成立体空间的实时位置计算和驱动渲染。工程上一般在低速vslam位姿计算的基础上插值高速imu传感位姿，进行融合姿态预估。由于imu长期运行会产生漂移，需要通过vslam对其修正，同样vslam也需要imu进行世界坐标的对齐，一般采用紧耦合方法。
[0085]
然而，上述现有技术存在一下缺陷：
[0086]
(1)基于预设mark标志点进行增强现实定位的方案适用性不强，定位范围受限于对mark标志点的观测，当移动出观测范围或者标志点被遮挡时，此种定位方案失效。同时这种方法计算量大、速率低、精度有限，容易造成眩晕，影响增强现实的使用体验，不适用于在轨环境中的航天员作业需要；
[0087]
(2)imu依靠重力进行定位和偏差纠正，在轨失重模式下定位方向丢失，姿态和加速度无法进行补偿纠偏，因此不能正常工作。且单一的imu头盔通常只能实现3dof方向预估，无法实现6dof的姿态预估；
[0088]
(3)outside-in方法需要在空间中布置信号发射装置，但在轨航天器空间狭小、对电磁辐射要求严格，无法提供光塔法所需的设备和功耗要求；
[0089]
(4)inside-out采用vslam+imu方法，由于imu在失重模式下不能工作，因此vslam与imu紧耦合的方法不适合。如果采用松耦合方法，传统vslam采用基于特征点的位姿预估，计算频率较低，不适合头盔渲染模式的需要。
[0090]
为了改善上述问题，本发明提供了一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法，包括：通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。本发明提供的技术方案针对载人航天器在轨失重、辐射要求严格、舱内工作空间狭小、设备布局纹理稀疏、特征单一重复等特因环境，采用基于纯视觉的vslam技术方案，解决了地面增强现实头盔无法适应在轨空间特因环境而导致定位失效的技术难题。本发明功耗较低，不需要额外的信号发射装置和标志点，可以鲁棒地完成在轨空间的增强现实头盔高速定位，是首个解决在轨增强现实定位的vslam方法。下面对上述方案进行详细阐述。
[0091]
实施例1
[0092]
参阅附图1，图1是本发明的一个实施例的基于在轨特因环境的高速vslam增强现实头盔自主定位方法的主要步骤流程示意图。如图1所示，本发明实施例中的基于在轨特因环境的高速vslam增强现实头盔自主定位方法主要包括以下步骤：
[0093]
步骤s101：通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；
[0094]
步骤s102：基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；
[0095]
其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。
[0096]
本实施例中，针对在轨增强现实任务中，重点是对头盔的精准定位及对空间结构的位置识别，不需要对包括背景的所有结构全部重建的特点，如图2所示，综合各种相机的精度和功耗性能，本发明选取双目相机作为所述视觉传感器，具体地：
[0097]
红外相机发射出带有编码信息的结构光，投射在物体上，通过一定算法计算返回编码图案的畸变得到物体的位置和深度信息，但是在轨操作中空间站内光照变化，容易淹
没光源，无法获得稳定的输入；
[0098]
时间相机采用飞行时间法来取得距离，发射器发射光脉冲，遇到物体反射后，接收器接收反射光脉冲，根据光脉冲的往返时间计算与物体间的距离，但时间相机功率消耗较大，对设备要求较高，在轨航天器难以提供这样的条件；
[0099]
卷帘相机可以达到更高的帧率，但容易出现部分曝光、斜坡图形、晃动等现象；全局相机的整幅场景在同一时间完成曝光，不会对图像质量造成影响，对于增强现实这样需要移动定位的任务来说全局相机是符合要求的；
[0100]
全局相机中，单目相机结构简单，算法复杂，如果在运动过程中仅发生旋转而没有平移的话，无法计算目标深度，且其深度值是相对数据，存在尺度不确定性；双目相机获取点云时，受物体表面反光性质的影响较小，同时其测量距离也相较其他方案要更远；
[0101]
相比之下，双目相机功耗较低，尺度确定，测距较远，适合增强现实双目感知的布局，因此，基于双目相机的vslam方案更适合在轨特因环境下的增强现实定位。
[0102]
本实施例中，如图3所示，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：
[0103]
采用稀疏特征点法提取前一帧图像的特征点；
[0104]
采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；
[0105]
在一个实施方式中，如图4所示，p1为在前一帧图像i1上提取的特征点，根据光度不变，可以在后一帧图像i2上跟踪得到与p1匹配的点p2。为剔除外点，再以p2点为基准，使用同样的方法在i1上找到匹配点p1’
，如果p1和p1’
像素的坐标值相差较大的话则认为匹配失败，否则匹配成功。
[0106]
采用三角化方法得到所述匹配点对应的三维点；
[0107]
基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。
[0108]
采用这种算法预估位姿，设备工作频率可以达到100hz以上，满足vr/ar头盔实时渲染支持的需要，克服了vslaml以特征点+描述子进行位姿预估速度不足的问题。同时，稀疏特征点采用几何角点法，符合在轨空间布局错落、设备不规则、纹理信息不明显等特征，易于提取和计算，不受在轨狭小空间的位置限制。
[0109]
其中，所述稀疏特征点法选择几何角点法。该方法符合在轨空间布局错落、设备不规则、纹理信息不明显等特征，易于提取和计算，不受在轨狭小空间的位置限制。
[0110]
具体的，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：
[0111]
将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。
[0112]
本发明通过非线性优化算法求解这个最小二乘问题，就可以得到两帧图像的相对位姿。
[0113]
在一个实施方式中，所述预先构建的最小化投影误差模型的数学模型如下：
[0114]
[0115]
上式中，pk为第k个所述匹配点坐标，k为视觉传感器内参，t为当前帧图像对应的视觉传感器的位姿，pk为第k个匹配点对应的三维点坐标，ω为所述匹配点的集合。
[0116]
本实施例中，采用前述算法进行姿态高速预估后，在特征点基础上建立描述子，进行后端优化和回环检测，适时对姿态进行修正，满足vr/ar头盔长时间工作精度需要。本发明后端优化分为局部优化和全局优化，具体地：
[0117]
所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：
[0118]
将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；
[0119]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0120]
当系统检测到回环的时候，把从回环帧到当前帧之间的所有关键帧位姿组合成位姿图，通过最小化关键帧序列与当前帧的相对位姿来优化全局位姿。区别于其它算法的是，本发明仅优化具有回环关系的关键帧所观测到的三维点以及观测到这些三维点的关键帧位姿，而其余变量不予优化。采用这种方式，可以减少全局优化的计算时间，使算法运行效率更高。因此，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：
[0121]
将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；
[0122]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0123]
在一个实施方式中，所述最小化误差模型的数学模型如下：
[0124][0125]
上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，k为视觉传感器内参，ti为第i个待优化帧图像对应的视觉传感器的位姿，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标，m为待优化帧图像总数，n为同时观测到的三维点总数。
[0126]
本实施例中，所述方法包括：采用在线ibow-lcd方法进行回环检测。
[0127]
传统基于词袋的回环检测算法使用离线训练的词袋模型，可以满足地面大多数场景的需求，但是在轨航天器舱内场景与常见的地面场景区别很大，使用地面数据集预训练的词袋难以较好地匹配在轨环境。同时，在轨运行要求较高的可靠性，当面对陌生环境时算法也能可靠工作。
[0128]
基于上述原因，本发明采用在线ibow-lcd方法进行回环检测，如图5所示，在对每一帧图像进行位姿计算的同时对其提取“word”，所有扫描过的历史图像构建一个“dictionary”。对相距较远的两幅关键帧(如图中的i1和i5)，如果具有同样的“词袋(bag-of-words)”,则认为系统回到了曾经的位置，即存在回环。
[0129]
在一个应用场景中，如图6所示，航天员在轨作业需要地面专家远程辅助决策，增强现实作为辅助手段已经部署应用，其中最关键的技术就是增强现实定位，本发明针对在轨特因环境下的增强现实应用，采用基于纯视觉的vslam实现增强现实头盔的定位。
[0130]
实施例2
[0131]
基于同一种发明构思，本发明还提供了一种基于在轨特因环境的高速vslam增强现实头盔自主定位装置，如图7所示，所述基于在轨特因环境的高速vslam增强现实头盔自主定位装置包括：
[0132]
采集模块，用于通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；
[0133]
计算模块，用于基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；
[0134]
其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。
[0135]
优选的，所述视觉传感器为双目相机。
[0136]
优选的，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：
[0137]
采用稀疏特征点法提取前一帧图像的特征点；
[0138]
采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；
[0139]
采用三角化装置得到所述匹配点对应的三维点；
[0140]
基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。
[0141]
进一步的，所述稀疏特征点法选择几何角点法。
[0142]
进一步的，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：
[0143]
将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。
[0144]
进一步的，所述预先构建的最小化投影误差模型的数学模型如下：
[0145][0146]
上式中，pk为第k个所述匹配点坐标，k为视觉传感器内参，t为当前帧图像对应的视觉传感器的位姿，pk为第k个匹配点对应的三维点坐标，ω为所述匹配点的集合。
[0147]
优选的，所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：
[0148]
将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；
[0149]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0150]
优选的，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：
[0151]
将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；
[0152]
将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待
优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0153]
进一步的，所述最小化误差模型的数学模型如下：
[0154][0155]
上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，k为视觉传感器内参，ti为第i个待优化帧图像对应的视觉传感器的位姿，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标，m为待优化帧图像总数，n为同时观测到的三维点总数。
[0156]
优选的，所述装置包括：采用在线ibow-lcd装置进行回环检测。
[0157]
实施例3
[0158]
基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specificintegrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法的步骤。
[0159]
实施例4
[0160]
基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种基于在轨特因环境的高速vslam增强现实头盔自主定位方法的步骤。
[0161]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0162]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0163]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0164]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0165]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。