一种基于双目折反射全景相机的视觉里程计方法

1.本发明属于视觉同时定位与建图(slam)和计算机视觉领域，特别涉及一种基于双目折反射全景相机的视觉里程计方法。


背景技术：

2.随着计算机视觉的发展，使用相机来估计自身的六自由度运动信息在今年来成为研究的热点。
3.计算机视觉主要通过模拟人的视觉功能从图像中提取信息，通过对图像信息处理和计算，最终实现实际检测、测量和控制。
4.然而当前的视觉slam技术存在很多不足。当前的视觉slam使用的传感器视野小，采集图像信息量小，容易跟踪失败。
5.中国专利公开号为“cn111176300a”，专利名称为“基于slam导航的光伏电站运维机器人充电系统”，其机器人上设置的光场相机存在视野小，同一时刻采集图像信息量小的不足。并且，当前的全景视觉slam采用的传感器结构复杂，需要计算成像。
6.中国专利公开号为“cn112819943a”，专利名称为“一种基于全景相机的主动视觉slam系统”，该系统中全景相机模块是由两个鱼眼镜头和拼接单元组成，图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，用两幅图像的拼接才可以获得环境的全景图像。
7.综上所述，如何使用双目折反射全景相机完成相机的定位，得到更加精确的相机的位姿估计结果，这仍是一个亟待解决的问题。


技术实现要素：

8.本发明为了解决现有技术同一时刻采集图像信息量小的不足以及用于两幅图像的拼接才可以获得环境的全景图像的问题，提出一种基于双目折反射全景相机的视觉里程计方法。
9.本发明采用的技术方案是：
10.一种基于双目折反射全景相机的视觉里程计方法，该方法包括如下步骤：
11.步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵。
12.步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息。
13.步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿r,t和点云地图。
14.本发明具有以下技术效果：
15.1、本发明将折反射全景相机应用到视觉里程计方法，可以增加图像的信息量，用于更稳定的求解相机位姿。
16.2、本发明针对单目全景相机求出的位姿是没有尺度信息的问题，使用双目折反射全景相机可以计算出空间点的深度信息，从而得到具有尺度信息的相机位姿。在跟踪过程中更加的稳定，不易出现尺度漂移现象。
17.3、本发明使用的折反射全景相机不用拼接，可以一次性得到环视360
°
的图像。
18.这种双目折反射全景相机视觉里程计方法在视觉里程计技术中的应用和推广具有重要意义。
附图说明
19.图1是本发明一种基于双目折反射全景相机视觉里程计方法的流程图。
20.图2是本发明一种基于双目折反射全景相机视觉里程计方法的初始化模块示意图。
21.图3是本发明所述双目折反射全景相机球面视差图。
具体实施方式
22.以下结合附图对本发明的技术方案作进一步详细叙述。
23.一种双目折反射全景相机系统，其该系统由两个折反射全景相机和处理器构成，并在同一平面水平放置，所述的全景相机由反射面和透视相机构成，其中反射面面型为双曲面。两个相同的全景相机同时在环境中采集图像，得到双目全景图像。两个全景相机将得到的双目全景图像传输给处理器，处理器利用双目立体视觉技术得到深度信息，利用深度信息得到3d
‑
2d的特征匹配关系。本发明方法基于该系统实现。
24.两个相同的全景相机同时在环境中采集图像，得到双目全景图像。使用双目折反射全景相机可以计算出空间点的深度信息，从而得到具有尺度信息的相机位姿。在跟踪过程中更加的稳定，不易出现尺度漂移现象。
25.所述的全景相机是一种单视点成像系统，该系统由反射面和透视相机构成，其中反射面面型为双曲面。
26.所述的折反射全景相机视觉里程计方法在折反射全景相机运动过程中直接计算折反射全景相机的位姿。
27.如图1所示，一种基于双目折反射全景相机视觉里程计方法，其包括以下步骤：
28.步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵。
29.步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息。
30.步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿r,t和点云地图。
31.所述步骤一，对双目折反射全景相机进行标定，具体步骤如下：
[0032]1‑
1、已知标定板的参数，拍摄全景图片，进行灰度化处理，在每一帧图像中识别标定板；
[0033]1‑
2、根据选定好标定板所在的特征区域用harris算子进行角点提取，根据计算得出内部参数，运用epne算法实验外部参数的计算；
[0034]1‑
3、使用kalibr工具箱，执行标定，两个折反射全景相机之间的旋转矩阵和平移向量，在确定旋转矩阵后，通过不断优化，得到双目折反射相机的外参标定结果。
[0035]
所述步骤二，如图2所示，双目折反射全景相机初始化，具体步骤如下：
[0036]2‑
1、分别对左全景图像和右全景图像进行特征点提取，特征点提取的主要依据是计算每一个像素与邻域的像素之间的亮度差异，若邻域像素与中心像素之间的亮度差异超过阈值的像素数量达到一个数值，则认为该像素点是关键点，然后计算该像素点的描述子。orb特征点包含关键点和描述子两部分；
[0037]2‑
2、特征点匹配，通过暴力匹配算法对左右图像提取的orb特征点进行匹配；
[0038]2‑
3、根据折反射全景相机的投影模型，将图像的中的特征点进行反投影到单位球上，得到单位向量，由于折反射全景相机与针孔相机的投影模型不同，针对针孔相机设计的三角化公式，和跟踪公式在折反射全景相机上都不再适用，我们的应对方式是将全景图像中提取到的特征点反投影到单位球面上来进行计算；
[0039]2‑
4、计算左右折反射全景相机的球面视差，并根据球面视差求得空间点深度；
[0040]
步骤2
‑
4中计算折反射全景相机的球面视差如图3所示。
[0041]
空间中一点p，被两个折反射相机同时拍摄，此时连接两个球面中心点的线是基线，其长度为c1c2＝b。空间点与x轴的夹角为极角，空间点与左右相机间的极角分别为α1和α2。p点在两个球面上的视差d
s
被定义为两个极角对应的弧长的差：d
s
＝f
s
(α1‑
α2)，其中f
s
为球面半径，在归一化球面上时：d
s
＝α1‑
α2[0042]
计算出球面视差可以根据正弦三角公式求出空间点到左右球面的距离s
l
和s
r
：
[0043][0044][0045]
所述步骤三，使用左相机图像进行跟踪，具体步骤如下：
[0046]3‑
1、将特征点反投影到单位球上，得到对应的三维向量(u,v,w)
t
。根据步骤二计算出的空间点深度信息，以及特征点的匹配结果，得到空间点与三维向量的匹配关系。
[0047]3‑
2、使用pnp对相机位姿求解。
[0048][0049]
其中(x,y,z,1)
t
是空间点的归一化坐标，t是增广矩阵[r|t]，其为3
×
4的矩阵，包含了旋转与平移信息。当有足够多的匹配特征点对，使用svd分解，得到旋转矩阵r和平移向量t。
[0050]3‑
3、随着新的图像帧的进入，可以得到新的匹配特征点对，求解出新图像帧对应的相机位姿r和t。
[0051]
通过使用双目折反射全景相机，对匹配的特征点进行反投影到球面，进行球面视差计算得到该点的深度信息，从而在折反射全景相机位姿估计过程中得到了真实的尺度信
息，双目折反射全景相机的视觉里程计求解出更加精确的相机位姿。