一种全景视觉SLAM建图方法与流程

一种全景视觉slam建图方法
技术领域
1.本发明涉及全景视觉图像技术领域，具体涉及一种全景视觉slam建图方法。


背景技术：

2.全景视频是一种新兴的数据形态，特别是全景720
°
随着监控安防以及vr 行业的发展，各个行业的全景数据量也急剧增长。同时定位与地图构建slam 是目前视觉空间感知领域一个重要的技术实现方式，通过对视觉的原始数据采集，可以通过图像数据特征处理提取获得画面内容深度信息并通过定位和地图构建实现机器人自主导航环境感知的目的。
3.视觉slam研究主要分为三大类：单目、双目或多目、rgbd。另外通过结合惯性测量器件imu的视觉slam也是现在研究应用的重要方向。这些主流slam 架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。传统的单目slam 视场狭窄，视觉尺度估计精度需要特定的扫描路径来满足；传统双目slam视差同样比较狭窄，容易造成局部成像区域信息较少时相关信息跟踪匹配丢失，故而有低精度低效率的缺点，故而传统的纯视觉的slam方法在实际应用过程中受到很大限制。


技术实现要素：

4.本发明公开了一种全景视觉slam建图方法，目的是提高视觉slam建图的精度和效率。
5.为了实现以上目的，本发明采取以下方案：
6.一种全景视觉slam建图方法，包括以下步骤：
7.步骤s1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
8.步骤s2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；
9.步骤s3：通过3d
‑
2d图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；
10.步骤s4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；
11.步骤s5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；
12.步骤s6：进行回环检测，实现全局建图优化。
13.优选地，所述步骤s1中，所述将全景图像转化为理想球面成像模型的方法为，将所述全景图上的所有点p(x，y)转化为理想球面上的点p
′
(lon，lat)：
[0014][0015]
[0016]
所述将空间转化到理想球面成像模型的方法为，将空间中的所有点转化为理想球面上的点p
′
(lon，lat)：
[0017][0018]
其中，width为图像宽度，height为图像高度，f
θ
，c
θ
由摄像机固有参数标定。
[0019]
优选地，所述步骤s2中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点p1(x1，y1)转换为理想球面上的点 p1
′
(lon，lat)：
[0020][0021][0022][0023][0024][0025]
其中，width为图像宽度，height为图像高度。
[0026]
优选地，所述步骤s3中，所述运动姿态估计的方法为：
[0027]
所述理想球面上的点p’(lon0，lat0)经过图像转动得到p’(lon1，lat1)，p
’ꢀ
(lon1，lat1)与p’(lon0，lat0)进行图像特征点跟踪或特征点匹配，采用最小二乘法或梯度下降法或牛顿法得到转动矩阵r1。
[0028]
优选地，所述步骤s5中，所述对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法。
[0029]
优选地，所述步骤s6中，所述回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移t
n
，计算直接匹配两个关键帧得到的位移t
m
，t
n
和t
m
的差值代表误差。
[0030]
本发明的有益效果如下：本发明通过全景的图像采集，对图像的连续性可以进行精准的姿态估计，从而获得漂移更小的运动估计，提升视觉slam系统建图精度和效率；进行
cube表达可以消除全景屏幕图像中畸变显示造成的特征点检测误差；采用最小二乘法或梯度下降法或牛顿法进行姿态估计也具有很高的准确性；最后还通过回环检测确定建图的准确性，对精确度有更进一步的保障。
附图说明
[0031]
图1为实施例1的流程示意图；
[0032]
图2为实施例1中全景图像转化为理想球面成像模型的结构示意图；
[0033]
图3为实施例1中图像经过旋转的结构示意图；
[0034]
图4为实施例1中对特征点位置估计的示意图。
具体实施方式
[0035]
实施例1
[0036]
参阅图1，一种全景视觉slam建图方法，包括以下步骤：
[0037]
步骤s1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
[0038]
在步骤s1中，将全景图像转化为理想球面成像模型的方法为，参阅图2，将所述全景图上的所有点p(x，y)按照以下公式转化为理想球面上的点p
′ꢀ
(lon，lat)：
[0039][0040][0041]
所述将空间转化到理想球面成像模型的方法为，将空间中的所有点按照以下公式转化为理想球面上的点p
′
(lon，lat)：
[0042][0043]
其中，width为图像宽度，height为图像高度，f
θ
，c
θ
由摄像机固有参数标定即在全景相机标定中完成该参数的标定。
[0044]
步骤s2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；其中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点p1 (x1，y1)转换为理想球面上的点p1
′
(lon，lat)：
[0045][0046]
[0047][0048][0049][0050]
其中，width为图像宽度，height为图像高度。
[0051]
步骤s3：通过3d
‑
2d图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；在这一步中，本实施例采取的运动姿态估计的方法为：
[0052]
图像经过旋转产生了姿态变化，转动矩阵为r1，所述理想球面上的点p
’ꢀ
(lon0，lat0)经过图像转动得到p’(lon1，lat1)，p’(lon1，lat1)与p’(lon0，lat0) 进行图像特征点跟踪或特征点匹配；特别说明的是，在本实施例中，图像特征点跟踪采用lucas
‑
kanade光流来实现，通过对特征点进行关键点提取，特征可选用orb、surf、sift等特征进行关键点提取。图像特征点匹配过程在特征关键点提取后，再对关键点进行描述子计算得到描述子向量，通过计算描述子向量空间距离得到匹配的特征点点对。
[0053]
另外，姿态估计是通过3d
‑
2d转动姿态估计来实现，参阅图3，旋转前后的点有以下关系：
[0054][0055]
其中，p
′
10
为p
′
00
经过r1旋转后对应的点，，p
′
11
为p
′
01
经过r1旋转后对应的点，以此类推，p
′
1m
为p
′
0m
经过r1旋转后对应的点。通过两帧图像中获取特征点对最优化转动矩阵r1，即可得到摄像机在当前帧姿态转动估计，最优化方法可以使用最小二乘法、梯度下降法、牛顿法等。
[0056]
步骤s4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；需要说明的是，两个关键帧之间的帧称为间隔帧，每个间隔帧由前一关键帧通过特征点跟踪来标识对应帧姿态；
[0057]
步骤s5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；在本实施例中，对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法；如图4所示，通过不同的位置c1
‑
c4对特征位置点t1和t2进行定位计算估计出摄像机位移即特征点空间位置，即可完成局部建图。
[0058]
步骤s6：进行回环检测，实现全局建图优化；在这里采用的回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移t
n
和累计旋转矩阵r
n
，计算直接匹配两个关键帧得到的位移t
m
和旋转矩阵r
m
，t
n
和t
m
以及r
n
和r
m
的差值代表误差；
[0059]
例如两个关键帧之间经过了n个间隔帧，则进行累计计算的方法如下：
[0060]
t
n
＝t
10
+t
11
+
…
t
1n
；
[0061]
r
n
＝r
10
·
r
11
…
r
1n
；
[0062]
其中t
10
、t
11
、
…
t
1n
分别为从第一个间隔帧到当前关键帧中每一个帧相对于前一帧的位移；r
10
、r
11
、
…
r
1n
分别为从第一个间隔帧到当前关键帧中每一个帧相对于前一帧的旋转矩阵。累计计算所得的t
n
和r
n
应当分别与直接匹配得到的t
m
和r
m
的值相同，但是由于误差存在，可以在实施过程中根据图像的实际情况设定误差阈值对精度进行评估，误差超过阈值则可以重新进行优化处理，通过优化进一步提升全局建图的精度。