一种基于非线性优化的无共同视野的相机外参标定方法

1.本发明涉及计算机视觉技术领域，特别是涉及一种基于非线性优化的无共同视野的相机外参标定方法。


背景技术：

2.当前，自动驾驶发展势头迅猛，自动驾驶很难脱离高精度地图工作，对高精度定位有着严格的要求，定位过程又包括特征匹配等工作，这需要多种传感器融合协同工作。市场上主流多依赖相机、轮速计、激光雷达、gps(global positioning system，全球定位系统)、imu(惯性测量单元)等多类型传感器进行融合定位，实现多种传感器融合工作的前提是知道各个传感器之间精确的外参，而这需要标定技术获得，提高标定精度和简便标定过程是科研工作的重点所在。多相机标定外参的方法大致分为传统相机标定法、相机自标定法、主动视觉相机标定方法等类型。现有技术中的相机标定法要求相机之间的位置苛刻，要求每个相机之间有共同视野，而且需要特定标定物，虽然标定精度高，但是标定过程较繁琐，标定物如三维标定物的制作成本较高。自标定法利用场景特征约束和本身运动约束对相机之间进行标定，虽然不需要标志物，而且可以做到在线标定，但是该方法的鲁棒性差，当场景约束缺失或者运动约束失效时会导致标定失败。主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于非线性优化的无共同视野的相机外参标定方法。
4.为实现上述目的及其它相关目的，本发明提供一种基于非线性优化的无共同视野的相机外参标定方法，包括：
5.s1、对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；
6.s2、以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；
7.s3、根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
8.在本发明的一实施例中，在步骤s1中，利用kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。
9.在本发明的一实施例中，在步骤s1中，所述内部参数矩阵包括的公式为：
[0010][0011]
其中，f
x
、fy分别为待标定相机在x轴和y轴上的归一化焦距，c
x
、cy分别为待标定相
机的光圈中心。
[0012]
在本发明的一实施例中，步骤s2中的以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括：
[0013]
s21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；
[0014]
s22、根据所述kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵；
[0015]
s23、以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0016]
在本发明的一实施例中，步骤s3中的根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵包括：
[0017]
s31、获得所述待标定相机旋转360
°
后的彩色图像和深度图像；
[0018]
s32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；
[0019]
s33、对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；
[0020]
s34、通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；
[0021]
s35、根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[0022]
本发明还提供一种基于非线性优化的无共同视野的相机外参标定系统，包括：
[0023]
内部参数预标定模块，用于对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；
[0024]
外部参数标定模块，用于以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；
[0025]
外部参数优化模块，用于根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
[0026]
在本发明的一实施例中，所述内部参数预标定模块包括：
[0027]
内部参数预标定单元，用于利用kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。
[0028]
在本发明的一实施例中，所述外部参数标定模块包括：
[0029]
坐标系选定单元，用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；
[0030]
标定转换单元，用于根据所述kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参
数矩阵；
[0031]
第一外部参数矩阵获取单元，用于以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0032]
在本发明的一实施例中，所述外部参数优化模块包括：
[0033]
标定图像获得单元，用于获得所述待标定相机旋转360
°
后的彩色图像和深度图像；
[0034]
线面特征提取单元，用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；
[0035]
相机里程计单元，用于对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；
[0036]
相机全局地图单元，用于通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；
[0037]
外参非线性优化单元，用于根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[0038]
如上所述，本发明的一种基于非线性优化的无共同视野的相机外参标定方法，具有以下
[0039]
有益效果：
[0040]
本发明的基于非线性优化的无共同视野的相机外参标定方法能够有效解决标定过程繁琐、标定方法适用场景少、标定结果不精确等问题，在相机之间无共同视野的情况下，采用一种先粗略标定再优化的方式，利用多相机之间的特征匹配来优化相机的初始外参，运算速度快，而且成本低，既可以提高标定精度，又解决了标定过程的繁琐和场景失效问题。
附图说明
[0041]
图1为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的工作流程图。
[0042]
图2为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤s2的工作流程图。
[0043]
图3为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤s3的工作流程图。
[0044]
图4为本技术一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。
[0045]
图5为本技术又一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。
[0046]
图6为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。
[0047]
图7为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面特征提取图，(a)为线特征提取图，(b)为面特征提取图。
[0048]
图8为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面残差约束图，(a)为线残差约束图，(b)为面残差约束图。
[0049]
图9为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机特征观测图。
[0050]
图10为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机外参精细优化后的建图和定位图。
[0051]
元件标号说明
[0052]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一时钟电路
[0053]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
内部参数预标定单元
[0054]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
外部参数标定模块
[0055]
21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
坐标系选定单元
[0056]
22
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
标定转换单元
[0057]
23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一外部参数矩阵获取单元
[0058]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
外部参数优化模块
[0059]
31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
标定图像获得单元
[0060]
32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
线面特征提取单元
[0061]
33
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
相机里程计单元
[0062]
34
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
相机全局地图单元
[0063]
35
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
外参非线性优化单元
具体实施方式
[0064]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0065]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0066]
请参阅图1、图2、图3，图1为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的工作流程图。图2为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤s2的工作流程图。图3为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤s3的工作流程图。
[0067]
本发明提供一种基于非线性优化的无共同视野的相机外参标定方法，包括：
[0068]
步骤s1、对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵。
[0069]
步骤s2、以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在
选定世界坐标系下的第一外部参数矩阵。
[0070]
步骤s3、根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
[0071]
具体的，在步骤s1中，利用kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。
[0072]
所述第一外部参数矩阵指的是粗略外部参数矩阵，所述第二外部参数矩阵指的是精细外部参数矩阵。
[0073]
步骤s1中，对所有待标定相机的内部参数进行预标定，得到所有待标定相机的内部参数。相机内部参数包括焦距、光圈位置以及相机畸变。不同深度相机具有不同的特征参数，在计算机视觉里，这组参数被叫做内部参数，矩阵表达为：
[0074]
其中，f
x
、fy分别为待标定相机在x轴和y轴上的归一化焦距，c
x
、cy分别为待标定相机的光圈中心，这组参数在相机生产制作之后就固定的。而相机畸变大致分为径向和切向畸变两种。
[0075]
相机的径向畸变产生的原因为光线在远离透镜中心的地方偏折更大，其矫正公式为：
[0076]
和
[0077]
相机的切向畸变产生的原因为透镜不完全平行于图像平面，其矫正公式为：
[0078]
和由此可以得到相机的5个畸变系数：d(k1,k2,k3,p1,p2)。具体内容为使用kalibr工具进行内部参数标定，标定的过程中，注意要在x轴、y轴和z轴上有足够的平移和旋转，使其在最后的最小重投影误差控制在1像素之内，满足误差要求后，得到所有待标定相机的内部参数。
[0079]
步骤s2中的以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括：
[0080]
步骤s21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机。
[0081]
步骤s22、根据所述kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵。
[0082]
步骤s23、以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0083]
请参阅图6，图6为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。具体的，本发明的基于非线性优化的无共同视野的相机外参标定方法的实验装备为两台同一型号的rgbd相机，分别称为相机1即为主相机和相机2即为副相机，两台相机的放置方式为背对放置，且在同一水平面。
[0084]
以步骤s1获得的待标定相机的内部参数矩阵作为输入，利用kalibr工具首先标定
相机1自身的imu和相机(相机的rgb彩色传感器)的外参矩阵，记为变换矩阵t1，其组成为(r1,t1)，其中r1为3
×
3的旋转矩阵，t1为三维平移列向量。然后标定相机1的imu和相机2的相机之间外部参数矩阵，记为t2。然后相机1到相机2的粗略外参矩阵可以推算得到，记为t3，t3＝t
1 t2。
[0085]
步骤s3中的根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵包括：
[0086]
步骤s31、获得所述待标定相机旋转360
°
后的彩色图像和深度图像。
[0087]
步骤s32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征。
[0088]
步骤s33、对所述线段特征和平面特征进行定位和建立图地图，分别得到每个所述待标定相机的里程计。
[0089]
步骤s34、通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图。
[0090]
步骤s35、根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[0091]
请参阅图7，图7为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面特征提取图。具体的，待标定相机的粗略外部参数非线性优化，首先将待标定相机在原地同时旋转360
°
，让其运动的过程中有足够的共同观测特征，旋转完毕后获得其彩色图和深色图，然后在图上提取线点和面点。提取的线点和面点如图7所示。提取线点的原理为在彩色图像上进行直线检测，一般直线检测常用霍夫变换原理，但是此方法检测速度慢，这里采用fld直线检测方法。fld直线检测方法检测的线特征更容易发现和更好的鲁棒性，线特征不会受到光照和视角变化的影响。彩色图上检测线段特征后，然后再深度图上寻找对应点，得到三维空间线特征点。提取面点的原理为在深度图像上进行平面检测，这里使用的是ahc层次聚类有组织点云的快速平面提取算法，提取到三维空间平面后，得到对应的三维空间平面点。
[0092]
请参阅图8，图8为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面残差约束图。本发明在提取线点和面点后，利用线面约束构建相机位姿优化问题，在slam后端位姿优化问题中，采用帧到局部地图的匹配方式来构建残差。利用当前帧的平面点和线点构建残差，其中局部地图为当前帧的临近时刻所提取到的所有特征点的下采样。最后将全局地图中的所有线特征点和面特征点分别保存到不同的kd-tree中，方便后面非线性优化外参时地图之间不同特征的匹配。
[0093]
其中，线特征残差公式为：其中，为当前帧的线特征点，和为匹配地图得到的线特征点，其中，
“×”
为向量之间的叉乘运算。
[0094]
其中，面特征残差公式为：其中，为当前帧面特征点，和为匹配地图得到的平面点。其中
“×”
为向量之间的叉乘运算，
其中，“.”为向量点乘运算。
[0095]
结合线特征和面特征约束，最后里程计后端优化问题被公式描述为：其中，t为旋转一周时间。当线特征和面特征残差最小时，此时的位姿为最优解。
[0096]
通过得到的相机里程计，可以得到待标定相机各个时刻的位姿，由此可以把所有帧的特征点都转换到自身的世界坐标系中，得到待标定相机旋转一周的全局地图，记为和其中，
[0097]
如图9所示，图9为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机特征观测图。相机1和相机2不同时刻观测外界特征，相机1在c3时刻观测到特征，而相机2在b2时刻也观测到此特征，由此可以构建非线性优化问题，以此来优化相机1和相机2之间的外参。具体为以相机1初始时刻为世界坐标系，通过已知相机1和相机2之间的粗略外参将相机2的全局地图转换到世界坐标系下，通过地图匹配的方式构建非线性优化问题，线特征与做匹配，面特征与做匹配，形成线特征和平面特征约束。
[0098]
其中，线特征残差公式为：其中，为相机2的线特征点，和为匹配地图方式得到的在相机1上对应的线特征点。
[0099]
其中面特征残差公式为：其中，为相机2面特征点，和为匹配地图方式得到的在相机1上对应的平面点。
[0100]
结合线特征和面特征约束，总约束残差公式：其中，t3为待优化外参矩阵，为相机2的线特征点和面特征点。
[0101]
在外参非线性优化问题上，将采用最常用的非线性优化库ceres solver工具，将总约束残差转换成最小二乘问题，来优化求解外参t3。因为随着时间的增长，状态量和残差项不断增多，计算量会越来越大，使用滑动窗口来动态增加或移除优化变量，保持状态量的个数在一定的范围内。
[0102]
请参阅图10，图10为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机外参精细优化后的建图和定位图。在实现相机1和相机2外参数标定后，将两台相机作为一台广义相机使用，在对30m
×
30m规模的室内场地下进行同时定位和建图。
[0103]
请参阅图4、图5、图6，图4为本技术一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。图5为本技术又一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。图6为本技术实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。与本发明的一种基于非线性优化的无共同视野的相机外参标定方法原理相似的是，本发明还提供一种基于非线性优化的无共同视野的相机外参标定系统，包括内部参数预标定模块10、外部参数标定模块20、
外部参数优化模块30。所述内部参数预标定模块10用于对待标定相机的内部参数进行预标定，获得所述待标定相机的内部参数矩阵；所述外部参数标定模块20用于以所述内部参数矩阵作为输入，通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵，通过主相机的惯性测量单元为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵；所述外部参数优化模块30用于根据所述内部参数矩阵，对所述第一外部参数矩阵进行优化，获得所述待标定相机的第二外部参数矩阵。
[0104]
所述内部参数预标定模块10包括：内部参数预标定单元11，用于利用kalibr标定工具对每个待标定相机的内部参数进行预标定，得到获得所述待标定相机的内部参数矩阵。所述外部参数标定模块20包括坐标系选定单元21、标定转换单元22、第一外部参数矩阵获取单元23。所述坐标系选定单元21用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系，并将选定的所述待标定相机作为主相机，其它待标定相机作为副相机；所述标定转换单元22用于根据所述kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵，再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵；所述第一外部参数矩阵获取单元23用于以主相机的惯性测量单元作为中介，得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
[0105]
所述外部参数优化模块30包括标定图像获得单元31、线面特征提取单元32、相机里程计单元33、相机全局地图单元34、外参非线性优化单元35。所述标定图像获得单元31用于获得所述待标定相机旋转360
°
后的彩色图像和深度图像；所述线面特征提取单元32用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征；所述相机里程计单元33用于对所述线段特征和平面特征进行定位和建立地图，分别得到每个所述待标定相机的里程计；所述相机全局地图单元34用于通过每个所述待标定相机的里程计，建立每个所述待标定相机旋转360
°
的全局地图；所述外参非线性优化单元35用于根据每个所述待标定相机旋转360
°
的全局地图，通过地图匹配方式建立所述主相机和副相机之间的联系，通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
[0106]
综上所述，本发明的基于非线性优化的无共同视野的相机外参标定方法能够有效解决标定过程繁琐、标定方法适用场景少、标定结果不精确等问题，在相机之间无共同视野的情况下，采用一种先粗略标定再优化的方式，利用多相机之间的特征匹配来优化相机的初始外参，运算速度快，而且成本低，既可以提高标定精度，又解决了标定过程的繁琐和场景失效问题。
[0107]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。