一种车载全景环视系统的摄像头外参标定方法与流程

1.本发明涉及辅助驾驶设备标定技术领域，尤其涉及一种车载全景环视系统的摄像头外参标定方法。


背景技术：

2.近年来，随着经济水平持续提升，我国机动车保有量保持稳步增长。随之而来的是人与车、车与车之间的矛盾日趋激烈。如在狭窄拥堵的市区和停车场泊车，成为困扰驾驶员出行的一个突出问题，容易出现碰撞和刮蹭事件；另外在低速行驶时，由于车头、车窗和柱子等遮挡物，且驾驶员自身视野有限，使得驾驶员视野存在盲区，造成的安全事故也屡见不鲜，给行人的人身安全带来巨大的安全隐患。
3.常规的后视镜头、倒车雷达和传统的基于图像的倒车影像系统(仅在车尾安装摄像头)等虽然在一定程度上起到辅助作用，但覆盖的范围有限，无法判断盲区是否有障碍物及障碍物离车的距离。为了避免视野盲区对车辆行驶安全的影响，在汽车的车头、车尾和左右后视镜下安装4个鱼眼摄像头，并且相邻两摄像头存在一定的共视区域，引入车载环视全景系统，提供实时的汽车周围环境的全貌，显示在中控台的屏幕上，让驾驶员清楚查看车辆周边是否存在行人、移动物体、j非机动车、障碍物并了解其相对方位(转向、停车)与距离，帮助驾驶员轻松停泊和低速行驶车辆。
4.为了合成全景环视影像，需要对4个鱼眼摄像头进行实时投影、拼接、融合和渲染，这些步骤的效果依赖于4个摄像头的内参和外参标定。内参标定主要是确定光学镜片的折射能力以及安装中由于镜片光轴与cmos/ccd传感器平面不垂直而造成的畸变，这一环节可以在摄像头生产的时候完成。外参标定主要是对摄像头安装位置和姿态参数进行标定，这一过程需要在摄像头安装到车上之后进行，在汽车组装生产线或4s等维修店进行标定。在汽车组装生产线上进行的外参标定叫工厂标定，在4s等维修店上进行的外参标定叫售后标定。
5.中国专利cn105608693a公开了一种车载全景环视的标定系统及方法，包括：从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；从所述特征物图像中提取出特征物有用信息；根据所述特征物有用信息，对标定参数进行优化；检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。本发明将标定参数的优化作为一个优化问题，建立基于多相机特征投影误差的误差函数，以表明当前优化结果下的标定误差，从而使得标定更为准确、快速，提高了全景环视系统的标定精度；并且可以利用人为标志物或者非人为标志物进行对标定的优化修正，提高了全景环视系统的标定效率以及适用性。
6.中国专利cn107133988a公开了一种车载全景环视系统中摄像头的标定方法及标定系统，包括：在标定区域铺设地面标记物，并在标定区域上方设置外部测量相机，所述外部测量相机能够拍摄到所述地面标记物、车顶及车身；将安装有车载全景环视系统的待标定车辆放置在所述标定区域；基于外部测量相机确定地面坐标系和车身坐标系的变换关
系；基于所述变换关系标定摄像头相对于车身坐标系的摄像头参数。利用本发明，可以提高标定效率，并保证标定结果的准确性。
7.目前，已经有一些车载全景环视系统的摄像头外参标定方法，但现有的标定方法，有的需要复杂的标定板，并测量每一个标定物角点的世界坐标，测量繁琐且效率低；有的标定精度不高，从而影响环视效果；有的需要额外的摄像机，从而降低其适用性。


技术实现要素：

8.为此，本发明提供一种车载全景环视系统的摄像头外参标定方法，可以有效解决现有技术中不能通过将地面标记物随意铺设在相邻两摄像头的共视区域的roi内，并测量其中一个地面标记物的理想世界坐标，然后基于双目鱼眼标定、三角测量等原理得到初始外参，通过闭环ba优化得到最终的精确外参以提高售后标定精度的技术问题。
9.为实现上述目的，本发明提供一种车载全景环视系统的摄像头外参标定方法，包括：
10.步骤s1，根据车辆的尺寸布置标定场地，准备4张地面标记物和尺子；
11.步骤s2,将待标定车辆放置在标定区域内；
12.步骤s3,随意放置地面标记物在共视区域的roi内，并测量其中1张地面标记物的世界坐标；
13.步骤s4，在鱼眼图像roi区域内，根据角点检测算法检测地面标志物的角点的位置，并去畸变；
14.步骤s5，对检测的角点进行编号；
15.步骤s6，标定所有摄像头的初始外参，并计算角点的3d世界坐标；
16.步骤s7，根据3d世界坐标、角点坐标和他们之间的投影关系，构建最小二乘方程，进行闭环ba优化，得到最终更精确的外参。
17.进一步地，所述步骤s3的具体步骤包括：
18.步骤s301,确定每个摄像头拍摄图片所对应的roi；
19.步骤s302,随意放置4张地面标记物在共视区域的roi内；
20.步骤s303,测量其中1张地面标记物的世界坐标。
21.进一步地，所述步骤s5中对检测的角点进行编号的具体步骤包括：
22.步骤s501,假设在车头摄像头图像已检测8个角点，先计算所有角点x方向的平均坐标x
center
，根据x
center
将8个角点分成2组；
23.步骤s502,对于每组4个角点，计算x方向和y方向的平均坐标x
center
′
和y
center
′
,根据x
center
′
将4个角点分成2组，每组2个角点；
24.步骤s503,再根据y
center
′
可得到每个角点的编号。
25.进一步地，所述步骤s6的具体步骤包括：
26.步骤s601,遍历相邻两摄像头的共视区域，一共存在4个，为右上角、右下角、左下角和左上角；
27.步骤s602,对相邻两摄像头共视区域里的角点，根据角点的编号进行角点匹配；
28.步骤s603,根据双目鱼眼相机标定算法计算相邻两摄像头之间的初始外参；
29.步骤s604,根据三角测量原理计算角点的3d坐标；
30.步骤s605,对于地面标记物m0，根据检测到的角点和3d世界坐标，通过pnp算法计算初始外参，即车身中心到第一组双目的左摄像头之间的旋转平移矩阵；
31.步骤s606,根据已标定的初始外参，将所有角点的3d坐标转换到3d世界坐标。
32.进一步地，所述步骤s602中根据角点的编号进行角点匹配，对于对于任一共视区域，角点匹配关系为4《-》3,5《-》0,6《-》1,7《-》2。
33.进一步地，所述步骤s606中，所述已标定的初始外参为t
fw
、t
rf
、t
br
、t
lb
和tf′
l
；
34.其中，世界坐标系到车头摄像头camf坐标系的变换矩阵为t
fw
；
35.世界坐标系到车右摄像头camr坐标系的变换矩阵为t
rw
＝t
rf
t
fw
；
36.世界坐标系到车尾摄像头camb坐标系的变换矩阵为t
bw
＝t
br
t
rf
t
fw
；
37.世界坐标系到车左摄像头caml坐标系的变换矩阵为t
lw
＝t
lb
t
br
t
rf
t
fw
；
38.世界坐标系到虚拟的车头摄像头camf’坐标系的变换矩阵为tf′w＝tf′
l
t
lb
t
br
t
rf
t
fw
。
39.进一步地，所述步骤s606中，将所有角点的3d坐标转换到3d世界坐标时，设基于车头摄像头camf坐标系的一个角点的3d坐标为xc，世界坐标系到车头摄像头camf坐标系的变换矩阵为t
fw
，该角点的世界坐标xw：
40.xc＝r*xw+t
41.整理得：
42.xw＝r-1
*(x
c-t)
43.式中，r表示旋转矩阵，t表示平移矩阵。
44.进一步地，所述步骤s7中，所述构建最小二乘方程的具体公式为：
[0045][0046]
式中，ui表示角点投影的像素坐标，k表示摄像机的内参，ε表示李代数，pi表示空间中某一角点的世界坐标，i＝1,2,3,4,5。
[0047]
进一步地，所述空间中某一角点的世界坐标为pi＝[xi,yi,zi]
t
，角点投影的像素坐标为ui＝[xi,yi]
t
，世界坐标系到摄像机坐标系之间的旋转平移矩阵为r,t，它对应的李代数为ε，摄像机的内参为k，像素位置与空间点的关系如下：
[0048]
si*[xi,yi,1]
t
＝k*exp(ε^)*[xi,yi,zi,1]
t
[0049]
即：
[0050]
si*ui＝k*exp(ε^)*pi[0051]
与现有技术相比，本发明的有益效果在于，本发明通过将地面标记物随意铺设在相邻两摄像头的共视区域的roi内，并测量其中一个地面标记物的理想世界坐标(以车身中心为坐标系)，基于双目鱼眼标定、三角测量等原理得到初始外参，通过闭环ba优化得到最终的精确外参。该方法简化了标定流程、易操作，提高了标定精度，有利于在各种环境下进行售后标定。
[0052]
进一步地，本发明通过将确定每个摄像头拍摄图片所对应的roi后随意放置4张地面标记物在共视区域的roi内，最后测量其中1张地面标记物的世界坐标，放置的地面标记物位置变化不是很大，所以可以设置roi；不仅可提高角点的检测速度，而且减少角点检测的误检。
附图说明
[0053]
图1为本发明实施例车载全景环视系统的摄像头外参标定方法的流程图；
[0054]
图2为本发明实施例中地面标记物的一种示意图；
[0055]
图3为本发明实施例地面标记物布置场地；
[0056]
图4为本发明实施例中车头摄像头图像所对应的角点检测roi；
[0057]
图5为本发明实施例鱼眼图像和矫正图像中角点的对比图；
[0058]
图6为本发明实施鱼眼图像和矫正图像中角点检测精度对比图；
[0059]
图7为本发明实施例中角点编号示意图；
[0060]
图8为本发明实施例中标定所有摄像头初始外参，计算3d世界坐标的流程图；
[0061]
图9为本发明实施例中角点匹配示意图；
[0062]
图10为本发明实施例中闭环优化示意图。
具体实施方式
[0063]
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0064]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0065]
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0066]
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
[0067]
请参阅图1所示，其为本发明实施例车载全景环视系统的摄像头外参标定方法的流程示意图，本发明提供一种车载全景环视系统的摄像头外参标定方法，包括：
[0068]
步骤s1，根据车辆的尺寸布置标定场地，准备4张地面标记物和尺子；也可以只采用一张地面标记物，分别放置在4个共视区域的roi内，拍摄四张图像，对拍摄到地面标记物的图像进行角点检测，编号，计算外参；
[0069]
本实施例中，地面标记物包括但不限于棋盘格类型的物体，只要是具有矩形结构的任意尺寸的元素或元素组合都以，例如a4、a0等大小的纸张，能满足有效检测出地面标记物角点的条件即可，如图2是地面标记物的一种示意图。标定场地要尽量平整，能够布置地面标记物和汽车。
[0070]
步骤s2,将待标定车辆放置在标定区域内；
[0071]
步骤s3,随意放置地面标记物在共视区域的roi内，并测量其中1张地面标记物的世界坐标；
[0072]
本实施例中，将测量的其中1张地面标记物记为mo,测量世界坐标时以车身中心为
坐标系。如图3所示，其为本发明实施例地面标记物布置场地，右上角的地面标记物为m0，右下角、左下角和左上角的地面标记物为m1、m2和m3。roi如图4中白色区域，图4为本发明实施例中车头摄像头图像所对应的角点检测roi，该图为车头摄像头camf所对应roi。车载环视系统安装的摄像头位置固定，所放置的地面标记物位置变化不是很大，所以可以设置roi；不仅可提高角点的检测速度，而且减少角点检测的误检。
[0073]
步骤s4，在鱼眼图像roi区域内，根据角点检测算法检测地面标志物的角点的位置，并去畸变；
[0074]
本实施例中，所述的角点检测算法可以是fast、orb、harris等算法。
[0075]
所述角点检测算法基于鱼眼图像进行检测，从图5可以观察到，图5为本发明实施例鱼眼图像和矫正图像中角点的对比图，在红色矩形内的同一角点，鱼眼矫正后，由于拉升，角点离两侧的黑色格子更远了，即对角点的约束更加宽松了，不仅影响角点的精度，而且角点检测的漏检会增加；从图6看可以看出，图6为本发明实施鱼眼图像和矫正图像中角点检测精度对比图，角点3和角点6在鱼眼图像检测更加精确(在鱼眼矫正后图像检测到的角点3偏向真实角点位置的右上角，角点6偏向真实角点位置的右下角)。
[0076]
步骤s5，对检测的角点进行编号；
[0077]
如图7所示，图7为本发明实施例中角点编号示意图，上图为车头摄像头图像角点的编号，下图为车右摄像头图像角点的编号。
[0078]
步骤s6，标定所有摄像头的初始外参，并计算角点的3d世界坐标；
[0079]
步骤s7，根据3d世界坐标、角点坐标和他们之间的投影关系，构建最小二乘方程，进行闭环ba优化，得到最终更精确的外参。
[0080]
具体而言，本发明通过将地面标记物随意铺设在相邻两摄像头的共视区域的roi内，并测量其中一个地面标记物的理想世界坐标(以车身中心为坐标系)，基于双目鱼眼标定、三角测量等原理得到初始外参，通过闭环ba优化得到最终的精确外参。该方法简化了标定流程、易操作，提高了标定精度，有利于在各种环境下进行售后标定。
[0081]
本实施例提供的车载全景环视系统是在汽车的车头、车尾和左右后视镜下安装4个摄像头；所述相机参数包括相机内参(如焦距、图像中心和畸变参数等)和外参(包括相机坐标系相对于其他坐标系的旋转矩阵和平移矩阵)。本发明方案主要针对相机外参标定。在售后标定之前，已经获得摄像头的内参，地面标记物放置的roi区域等信息。本发明实施例所述的世界坐标系为：车身中心在地面的投影为原点，向右为x轴，向前(车头方向)为y轴，向上(车顶方向)为z轴。
[0082]
具体而言，所述步骤s3的具体步骤包括：
[0083]
步骤s301,确定每个摄像头拍摄图片所对应的roi；
[0084]
步骤s302,随意放置4张地面标记物在共视区域的roi内；
[0085]
步骤s303,测量其中1张地面标记物的世界坐标。
[0086]
具体而言，本发明通过将确定每个摄像头拍摄图片所对应的roi后随意放置4张地面标记物在共视区域的roi内，最后测量其中1张地面标记物的世界坐标，放置的地面标记物位置变化不是很大，所以可以设置roi；不仅可提高角点的检测速度，而且减少角点检测的误检。
[0087]
具体而言，所述步骤s5中对检测的角点进行编号的具体步骤包括：
[0088]
步骤s501,假设在车头摄像头图像已检测8个角点，先计算所有角点x方向的平均坐标x
center
，根据x
center
将8个角点分成2组；
[0089]
本实施例中，角点x方向表示水平方向。
[0090]
步骤s502,对于每组4个角点，计算x方向和y方向的平均坐标x
center
′
和y
center
′
,根据x
center
′
将4个角点分成2组，每组2个角点；
[0091]
步骤s503,再根据y
center
′
可得到每个角点的编号。
[0092]
具体而言，如图8所示，其为本发明实施例中标定所有摄像头初始外参，计算3d世界坐标的流程图，所述步骤s6的具体步骤包括：
[0093]
步骤s601,遍历相邻两摄像头的共视区域，一共存在4个，为右上角、右下角、左下角和左上角；
[0094]
步骤s602,对相邻两摄像头共视区域里的角点，根据角点的编号进行角点匹配；
[0095]
本实施例中，所述角点匹配方法，根据编号来匹配，如图9所示，图9为本发明实施例中角点匹配示意图，水平部分图像为车头摄像头的角点编号，垂直部分图像为车右摄像头的角点编号，匹配关系：4《-》3,5《-》0,6《-》1,7《-》2。
[0096]
步骤s603,根据双目鱼眼相机标定算法计算相邻两摄像头之间的初始外参；
[0097]
步骤s604,根据三角测量原理计算角点的3d坐标；
[0098]
本实施例中，所述角点的3d坐标，是以当前相邻两摄像头的第一个摄像头为坐标系。
[0099]
步骤s605,对于地面标记物m0，根据检测到的角点和3d世界坐标，通过pnp算法计算初始外参，即车身中心到第一组双目的左摄像头之间的旋转平移矩阵；本实施例中，左摄像头即camf。
[0100]
步骤s606,根据已标定的初始外参，将所有角点的3d坐标转换到3d世界坐标。
[0101]
本实施例中，所述已标定的初始外参为t
fw
、t
rf
、t
br
、t
lb
和tf′
l
。
[0102]
具体而言，所述步骤s602中根据角点的编号进行角点匹配，对于任一共视区域，角点匹配关系为4《-》3,5《-》0,6《-》1,7《-》2。
[0103]
具体而言，所述步骤s606中，所述已标定的初始外参为t
fw
、t
rf
、t
br
、t
lb
和tf′
l
；
[0104]
其中，世界坐标系到车头摄像头camf坐标系的变换矩阵为t
fw
；
[0105]
世界坐标系到车右摄像头camr坐标系的变换矩阵为t
rw
＝t
rf
t
fw
；
[0106]
世界坐标系到车尾摄像头camb坐标系的变换矩阵为t
bw
＝t
br
t
rf
t
fw
；
[0107]
世界坐标系到车左摄像头caml坐标系的变换矩阵为t
lw
＝t
lb
t
br
t
rf
t
fw
；
[0108]
世界坐标系到虚拟的车头摄像头camf’坐标系的变换矩阵为tf′w＝tf′
l
t
lb
t
br
t
rf
t
fw
。
[0109]
具体而言，所述步骤s606中，将所有角点的3d坐标转换到3d世界坐标时，设基于车头摄像头camf坐标系的一个角点的3d坐标为xc，世界坐标系到车头摄像头camf坐标系的变换矩阵为t
fw
，该角点的世界坐标xw：
[0110]
xc＝r*xw+t
[0111]
整理得：
[0112]
xw＝r-1
*(x
c-t)
[0113]
式中，r表示旋转矩阵，t表示平移矩阵。
[0114]
具体而言，所述步骤s7中，所述构建最小二乘方程的具体公式为：
[0115][0116]
式中，ui表示角点投影的像素坐标，k表示摄像机的内参，ε表示李代数，pi表示空间中某一角点的世界坐标，i＝1,2,3,4,5。
[0117]
具体而言，所述空间中某一角点的世界坐标为pi＝[xi,yi,zi]
t
，角点投影的像素坐标为ui＝[xi,yi]
t
，世界坐标系到摄像机坐标系之间的旋转平移矩阵为r,t，它对应的李代数为ε，摄像机的内参为k，像素位置与空间点的关系如下：
[0118]
si*[xi,yi,1]
t
＝k*exp(ε^)*[xi,yi,zi,1]
t
[0119]
即：
[0120]
si*ui＝k*exp(ε^)*pi[0121]
本实施例中，如图10所示，其为本发明实施例中闭环优化示意图。步骤s7中进行闭环ba优化，根据相邻摄像头所组成的双目鱼眼标定，形成一个闭环，理想情况下tf′w＝tf′
l
t
lb
t
br
t
rf
t
fw
＝t
fw
，但实际会有偏差，f
′
为虚拟的车头摄像头，根据重投影误差对5个摄像头构建最小二乘方程。对于空间中的某点世界坐标为pi＝[xi,yi,zi]
t
，其投影的像素坐标为ui＝[xi,yi]
t
，世界坐标系到摄像机坐标系之间的旋转平移矩阵为r,t，它对应的李代数为ε，摄像机的内参为k，像素位置与空间点的关系如下：
[0122]
si*[xi,yi,1]
t
＝k*exp(ε^)*[xi,yi,zi,1]
t
[0123]
即：
[0124]
si*ui＝k*exp(ε^)*pi[0125]
由于相机的位姿及角点3d世界坐标都只有初始值，而且存在噪声，该等式存在一个误差。因此，
[0126]
我们把误差求和，构建最小二乘问题，然后寻找最好的相机位姿和角点3d世界坐标，使它最小化：
[0127][0128]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。