一种基于双球幕相机的视觉定位方法及系统与流程

本申请涉及视觉处理技术领域，尤其涉及一种基于双球幕相机的视觉定位方法及系统。

背景技术：

现有的成熟的单目视觉的slam系统，无法直接通过图像获取环境的深度信息。单目视觉slam系统由于不能从第一帧当中进行三角测量化，其启动往往需要多个视角或者滤波技术才能产生一个初始化的地图。而且，单目slam可能会造成尺度漂移,以及在探索的过程中执行纯旋转的时候可能会失败，所以单目视觉slam很难实现精确的运动估计和精确的恢复场景深度信息，因此双目视觉slam是一个很好的选择，现有的一些双目视觉slam均基于两个同步的普通摄像头或者鱼眼摄像头，由于普通摄像头视场角小，无法帮助提取更多的场景特征点，而鱼眼摄像头输出的图像存在较大的畸变，在对其提取特征点时需要一个畸变矫正的过程，在此过程中部分特征点会丢失，影响特征跟踪。

技术实现要素：

本发明提供了一种基于双球幕相机的视觉定位方法及系统，用以解决现有技术中地图点定位精度较低，影响特征跟踪的问题。

其具体的技术方案如下：

一种基于双球幕相机的视觉定位方法，所述方法包括：

对双球幕相机进行标定，获取上下球幕相机的内外参；

通过双球幕相机采集视频流数据；

基于采集到的所述视频流数据，进行特征点跟踪；

基于三角测量原理，恢复场景深度信息；

根据双目视觉的原理，计算双球幕相机的相机位姿；

通过评估关键帧的位姿以及深度图信息，得到精确的场景的地图信息。

可选的，对双球幕相机进行标定，获取上下球幕相机的内外参，其包括上下球幕相机的内参数矩阵和外参数矩阵，利用这两个矩阵，获得世界坐标系到球幕相机坐标系的转换和球幕相机坐标系到图像坐标系的映射关系。反过来，也可以通过图片中的像点推算出世界坐标系当中的物点的坐标。其中，由于相机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。相机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。

可选的，基于采集到的所述视频流数据，进行特征点跟踪，包括：

计算上下相机的特征点和描述子；

将连续跟踪k帧的特征点确定为稳定特征点；

在当前帧的稳定特征点超过阈值时，确定为稳定跟踪。

可选的，基于三角测量原理，恢复场景深度信息，包括：

恢复场景下的视差图；

基于所述视差图以及三角测量原理恢复场景深度信息。

可选的，通过评估关键帧的位姿以及深度图信息，得到精确的场景的地图信息，包括：

创建关键帧，并对关键帧的位姿进行初始化，从所有三维点中创建初始化地图；

对跟踪过程进行优化，并进行闭环检测和全局ba；

在跟踪过程中进行关键帧插入，得到精确的场景的地图信息。

可选的，对跟踪过程进行优化，并进行闭环检测和全局ba，包括：

在检测一个回环信息时，根据所述回环信息的回环纠正以及优化姿态图，对双目相机的深度信息以及尺度信息进行观测；

基于所述回环信息，再次触发全局ba优化当前地图直至得到该场景精确的地图信息。

一种基于双球幕相机的视觉定位系统，所述系统包括：

数据采集模块，用于对双球幕相机进行标定，获取上下球幕相机的内内外参，通过双球幕相机采集视频流数据；

数据传输模块，搭建一个网络环境，可以实时传输环境视频至pc端的双球幕相机，双球幕相机将采集的视频实时的传输给pc端；

图像处理模块，用于基于采集到的所述视频流数据，进行特征点跟踪；基于三角测量原理，恢复场景深度信息；

定位与地图特征构建模块，根据双目视觉slam的原理，计算双球幕相机的相机位姿；通过评估关键帧的位姿以及深度图信息，得到精确的场景的地图信息。

可选的，所述数据传输模块，所涉及的移动端，具体用于实际场景计算中，实时计算相机位姿。

可选的，所述图像处理模块，具体用于计算上下相机的特征点和描述子；在确定定为稳定跟踪之后，恢复场景下的视差图，最终恢复场景深度信息。

通过本发明所提供的方法以及系统，相比以往的方法和拍摄装置，本技术方案利用双球幕相机进行数据采集，减少数据采集量，计算成本小，可以直接通过图像获取环境的深度信息，精确实现运动估计，能够适应较大场景的视觉定位。

附图说明

图1为本发明实施例中一种基于双球幕相机的视觉定位方法的流程图；

图2为本发明实施例中一种基于双球幕相机的视觉定位系统的结构示意图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解，本发明实施例以及实施例中的具体技术特征只是对本发明技术方案的说明，而不是限定，在不冲突的情况下，本发明实施例以及实施例中的具体技术特征可以相互组合。

如图1所示为本发明实施例中一种基于双球幕相机的视觉定位方法的流程图，该方法包括：

s1，对双球幕相机进行标定，获取上下球幕相机的内外参；

s2，通过双球幕相机采集视频流数据；

s3，基于采集到的所述视频流数据，进行特征点跟踪；

此处，首先计算上下相机的特征点和描述子，进行特征点跟踪，将连续跟踪5帧的特征点的视为稳定特征点，当前帧的稳定特征点超过10个时即认为稳定跟踪；

s4，基于三角测量原理，恢复场景深度信息；

在此步骤中，首先恢复视差图；基于视差图和三角测量原理恢复场景深度信息；

s5，根据双目视觉slam的原理，计算双球幕相机的相机位姿；

s6，通过评估关键帧的位姿以及深度图信息，得到精确的场景的地图信息。

具体步骤为：

1)、地图初始化：

基于双目可以直接获取深度信息，在系统初始化的时候就可以创建一个关键帧(也就是第一帧)，将其位姿进行初始化，从所有三维点中创建初始化地图；

2)、跟踪及优化：

系统采用光束优化法(ba)，优化在跟踪过程(纯运动ba)中相机的位姿，优化本地窗口的关键帧和局部地图的特征点(局部ba)，并且在回环检测之后优化所有的关键帧和特征点(全局ba)；

3)、闭环检测及全局ba：

回环检测有两步：首先，一个回环信息被确定检测到，然后利用这个回环纠正和优化位姿图,对于双目相机，其深度信息会使得尺度信息可观测，并且，几何校验和位姿图优化将不再需要处理尺度漂移，而且是基于刚体变换的，而不是基于相似性。

当检测到回环信息，会再次触发全局ba优化与当前地图的合成。如果在优化运行时检测到新的循环，我们将中止优化并继续关闭循环，这将再次启动完整的ba优化。当完整的ba结束时，我们需要将更新的关键帧子集和由完整ba优化的点与未更新的关键帧和在优化运行时插入的点合并。最后通过更新关键帧校正(例如，这个变换从未优化到已优化)到一个未更新关键帧通过生成树当中。根据校正参考帧来改造这些未更新的特征点。

4)、关键帧插入：

即精确插入关键帧并且剔除上一帧的冗余，这在较大场景中是至关重要的。

基于本发明所提供的方法的，该方案基于上下两个球幕相机输出的同步全景视频流，可以解决特征点少易跟踪失败的问题，从而帮助实现稳定的视觉slam跟踪，另外基于上下两个全景视频流，通过三角测量原理，恢复场景深度信息，根据双目视觉slam原理，计算双球幕相机的相机位姿，最后通过评估关键帧的位姿以及深度图信息，得到精确的场景地图信息，此方案弥补了现今被动式恢复场景深度不准确不完整的不足，非常适合于车辆和机器人定位、障碍物检测和自由空间估计。

基于本发明所提供的方法，本发明中还提供了一种基于双球幕相机的视觉定位系统，如图2所示为本发明实施例中一种基于双球幕相机的视觉定位系统的结构示意图，该系统包括：

数据采集模块201，用于对双球幕相机进行标定，获取上下球幕相机的内内外参，通过双球幕相机采集视频流数据；

数据传输模块202，搭建一个网络环境，连接双球幕相机和移动端，移动端直接获取双球幕视频流。双球幕相机内芯片处理拼接过程，将拼接后的视频流实时传回移动端；

图像处理模块203，用于基于采集到的所述视频流数据，进行特征点跟踪；基于三角测量原理，恢复场景深度信息；

定位与地图特征构建模块204，根据双目视觉slam的原理，计算双球幕相机的相机位姿；通过评估关键帧的位姿以及深度图信息，得到精确的场景的地图信息。

进一步，在本发明实施例中，所述数据传输模块202，所涉及的移动端，具体用于实际场景计算中，实时计算相机位姿。

进一步，在本发明实施例中，所述图像处理模块203，具体用于计算上下相机的特征点和描述子；在确定定为稳定跟踪之后，恢复场景下的视差图，最终恢复场景深度信息。

尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改，包括采用特定符号、标记确定顶点等变更方式。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。