专利名称：一种全景视觉辅助泊车系统的标定方法
技术领域：
本发明涉及数字图像处理和计算机视觉技术，特别地，涉及全景视觉辅助 泊车系统的标定方法。
背景技术：
我国是一个交通事故严重的国家，每年的死亡人数和致死率都不容乐观。减 少交通事故不仅要在主观上增强安全意识，客观上更要提高汽车本身安全驾驶 的可靠性。现存的各式各样的辅助驾驶工具就是为了解决这个问题。汽车安全 保障系统大体可以分为被动和主动系统，前者主要包括安全带、安全气囊等,虽 然能降低事故伤亡程度,但并不能防止事故的发生。后者则主要利用各类传感器 如,超声波、雷达、红外热传感器和摄像机等。它们能够为驾驶员决策提供障碍 物等路况信息。同时,主动安全保障系统也构成了智能交通系统的重要组成部分。 在上述所有的方法中，摄像机具有低成本、易维护和高集成性等优点，因此得到 了广泛的应用。
随着图像处理和计算机视觉的快速发展，越来越多的先进技术被应用到汽 车电子领域。传统的基于图像的辅助驾驶，只在汽车车尾安装倒车摄像头，只能 覆盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的
隐患。为了扩大驾驶员的视野范围，就必须感知汽车四周36(T环境，这就需要多 个视觉传感器之间信息融合和配准。多个视觉传感器之间的相互位置和姿态关 系参数从特定的测量传感器获得，这就使融合配准的结果严重依赖于精确的位 置和姿态参数。
发明内容
本发明的目的是提供一种全景视觉辅助泊车系统的标定方法,它不依赖摄像 机之间的相互位置和姿态关系,能够有效获得图像之间的拼接关系。根据这些关 系，能够产生虚拟的全景鸟瞰图像，从而最大限度扩大了驾驶员的视野范围。 本发明的全景视觉辅助泊车系统的标定方法，包括以下步骤 步骤1):采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼 镜头的失真系数；
步骤2):用至少两个步骤l)描述的摄像机拍摄汽车周围不同区域的图像，
所说的摄像机之间具有一定的公共区域；
步骤3):在步骤2)的摄像机的公共区域内标记两点，确定各个图像之间的拼接缝隙。
步骤4):在步骤2)的摄像机的非公共区域内沿地面平铺标定模板，同时指 定每个模板世界坐标系的坐标原点和X，少方向。
步骤5):测量汽车的长和宽，确定虚拟鸟瞰摄相机对地面垂直投影的位置， 测量该位置在步骤4)中的每个世界坐标系下的相对位置。
步骤6):根据步骤l)得到的摄像机内部参数和失真系数，对步骤2)中采集 的图像进行失真去除处理，得到失真校正后图像。
步骤7):根据步骤6)得到的无失真图，计算从原始摄像机位置到虚拟鸟瞰
位置的单映性变换矩阵。利用该矩阵，将步骤6)中的无失真图像变换到虚拟鸟
瞰摄相机视角图像。
步骤8):根据步骤7)得到虚拟鸟瞰视角的图像，利用非线性最小二乘法计
算拼接缝隙方向，以补偿步骤4)中标定模板之间的对齐误差。
步骤9):根据步骤8)中的拼接缝隙方向，对步骤7)中的虚拟鸟瞰视角图像
进行旋转和平移变换，直到得到全景拼接图像，记录此时的平移参数。
步骤10):输出标定参数摄相机内部参数，鱼眼镜头失真系数，单映性矩 阵，拼接缝隙方向和平移参数。
本发明中，所述的采用鱼眼广角摄相机的标定算法，计算摄相机的内部参 数和鱼眼镜头的失真系数，包括以下步骤-
1)摄相机用针孔模型表示-
其中《=
0 乂 v0 0 0 1
为摄相机内部参数，和/v为用图像行和列像素表示的相
机焦距，"o， vo为投影中心，a为倾斜度;义为世界坐标系中的三维点;及和r为
世界坐标系到摄相机坐标系的旋转和平移;w为X对应的图像点坐标。
2) 用高阶径向模型近似鱼眼镜头的径向和切向失真
wdist = w + (w - w0 )[V2 + k,4 + k,6 + k4 (一/w + 2w)〗 严=v + (v _ v。)[k,2 + k,4 + k,6 + k5 (一/v + 2v)〗
r = "v/w2 +v2
其中^，^，^为径向失真系数，^,&为切向失真系数。
3) 分别拍摄标定模板不同姿态的一系列图像，标记模板在每个图像上的对
5应点，以及图像之间的对应关系。
4)初始计算摄相机内部参数&和鱼眼镜头的失真系数&=|^, &， &]， 再根据标定模板在图像上的投影点与实际图像中的对应观测点之间的欧氏距离 最短原则，用非线性最小二乘法优化计算&和&。
本发明借助简单的标定模板，对安装在汽车四周多个摄像机产生的图像进 行一系列变换，从而得到可以用来实时全景图像拼接的各种参数。它的主要步骤 包括鱼眼广角摄相机的模型参数求取；标记公共视场中某条直线作为拼接缝 隙；标记非公共视场中世界坐标系的位置；固定虚拟鸟瞰相机的位置；基于地 平面的单映性变换计算；拼接缝隙的位置全局优化；虚拟鸟瞰坐标系下各个图 像之间位置参数计算。该方法过程简单；对设备要求低,不依赖于摄像机之间的 相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即 可提供实时工作的计算参数；具有良好的汽车四周全景鸟瞰效果。
图1是全景视觉辅助泊车系统的标定流程图 图2是标定模板示意图
图3是安装四个鱼眼摄像机的汽车鸟瞰示意图
图4是本发明中单个鱼眼摄相机到虚拟鸟瞰视角变换过程示意图，(a)为鱼 眼失真图像，(b)为去除鱼眼失真后的普通透视图像，(c)为鸟瞰图像。
图5是拼接缝隙方向的全局优化示意图
具体实施例方式
图l给出了全景视觉辅助泊车系统的标定流程图，它主要包括以下步骤 步骤l:采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜
头的失真系数；
1)摄相机用针孔模型表示
其中/*:=
<formula>formula see original document page 6</formula>
为相机内部参数，乂和/v为用图像行和列像素表示的相机焦
距，"Q， Vo为投影中心，a为倾斜度;I为世界坐标系中的三维点;^和r为世界 坐标系到相机坐标系的旋转和平移；"为Z对应的图像点坐标.
2)用高阶径向模型近似鱼眼镜头的径向和切向失真,=k + O - "o)[V2 + k2, + V6 + k4 + 2w)] ,=v + (v - v。)[k,2 + k,4 + k3r6 + k5 (一/v + 2v)]
其中^，&，^为径向失真系数，h，^为切向失真系数。
3) 分别拍摄如图2所示的标定模板不同姿态的一系列图像，(图例中采集了 10帧图像，每帧图像上取5x5=25个点)，标记世界坐标系中模板上三维点^以 及在每帧图像上的对应点，此处z'与乂表示图像序列数目索引与每个标定模板 上点的个数索引。
4) 采用与Zhang, Z.Y: A flexible new technique for camera calibration.
相似的方法,初始计算摄相机内部参数&和鱼眼镜头的失真系数^， &， ^。再根据标定模板在图像上的投影点与实际图像中的对应点之间的欧氏距离 最短原则，用非线性最小二乘法优化下式，计算&和&。
10 25
W^arg^n艺艺")-甲(4，《，M
其中T为三维到二维的投影函数
步骤2:本实例中采用四个摄像机^，/=1,...4如图3所示，它们相互之间有
一定的公共区域l，所有摄像机能够覆盖汽车周围的区域，并拍摄这些不同区域 的图像力。
步骤3:根据步骤1.4)所得参数&和^，对所拍摄的汽车四周的图像/,进
行去除失真处理，得到失真校正后图像/r"st。具体地，假设图4a为标定模板在 鱼眼摄相机中的图像，经过失真校正后，得到如图4b的普通透视图，原来的曲 线变成直线。
步骤4.在每两个摄像机之间的公共地面区域内标记两点，如图3中的区域 1。用经过两点的直线确定图像之间的拼接缝隙(/々，/=1,...4和产1，2分别为摄相 机和拼接缝隙的索引)。
步骤5:在摄像机的非公共地面区域内沿地面平铺标定模板，如图3中的区 域2。使得模板上的格子方向与汽车的长和宽方向基本平行。指定每块模板的世 界坐标系原点Q和;c，;;方向。
步骤6:测量汽车的长丄和宽『，确定虚拟鸟瞰摄相机的位置，如图3中 PCL/2，『/2，/Z)所示，对地面垂直投影的位置户v(丄/2,『"，0)，测量Z在步骤4)中的 每个世界坐标系0,下的相对位置(《,K)。步骤7:根据步骤3得到的无失真图7Tdlst，计算从原始摄相机C,位置到虚
拟鸟瞰位置户的单映性变换矩阵"。利用该矩阵，将无失真图像力undist变换到
虚拟鸟瞰摄相机视角图像/严d。主要包括以下步骤
1) 标记步骤3中所述标定模板在无失真图像/Tdist上至少四个不共线的点
<formula>formula see original document page 8</formula>s为所标记的点的数目。
2) 计算As (&j^，l)的对应点在各自世界坐标系中的三维位置C
(no 。
3) 计算(《>1^")在虚拟鸟瞰图像上的投影位置如下
<formula>formula see original document page 8</formula>
4) 线性最小二乘法计算单映性变换矩阵S:
<formula>formula see original document page 8</formula>
5) 无失真图像/rdist经单映性矩阵"变换到虚拟鸟瞰视角图像/,d。如图 4b到4c表示了单映性矩阵对标定模板变换的结果。
步骤8:根据步骤7)得到虚拟鸟瞰视角的图像/,d，利用非线性最小二乘法计算 拼接缝隙方向，以补偿步骤5)中标定模板之间的对齐误差。如图5中表示了拼 接缝隙之间的旋转误差，目的就是使得相邻缝隙尽量平行。主要包括以下步骤:
1) 标记步骤4所述公共区域内拼接缝隙仏在图像/严a上的位置，计算对应 直线的斜率m^
2) 最小化如下函数,补偿图像/严(1对应的旋转角度<formula>formula see original document page 8</formula>
不失一般性，初始参数0-0, M表示所用摄相机的个数。
步骤9:根据步骤8中的最优化拼接方向，对步骤7)中所得的虚拟鸟瞰视角图像
/严d进行平移变换，直到得到满意的全景拼接图像，记录此时的平移参数
步骤io输出标定参数每个鱼眼摄相机内部参数矩阵&和镜头失真系数^每
个视角的单映性矩阵"，补偿标定模板对齐旋转参数《和平移参数r,。 到此，实现了全景视觉辅助泊车系统的标定。
权利要求
1. 一种全景视觉辅助泊车系统的标定方法，其特征在于该方法包括如下步骤步骤1)采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数；步骤2)用至少两个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，所说的摄像机之间具有一定的公共区域；步骤3)在步骤2)的摄像机的公共区域内标记两点，确定各个图像之间的拼接缝隙。步骤4)在步骤2)的摄像机的非公共区域内沿地面平铺标定模板，同时指定每个模板世界坐标系的坐标原点和x，y方向。步骤5)测量汽车的长和宽，确定虚拟鸟瞰摄相机对地面垂直投影的位置，测量该位置在步骤4)中的每个世界坐标系下的相对位置。步骤6)根据步骤1)得到的摄像机内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像。步骤7)根据步骤6)得到的无失真图，计算从原始摄像机位置到虚拟鸟瞰位置的单映性变换矩阵。利用该矩阵，将步骤6)中的无失真图像变换到虚拟鸟瞰摄相机视角图像。步骤8)根据步骤7)得到虚拟鸟瞰视角的图像，利用非线性最小二乘法计算拼接缝隙方向，以补偿步骤4)中标定模板之间的对齐误差。步骤9)根据步骤8)中的拼接缝隙方向，对步骤7)中的虚拟鸟瞰视角图像进行旋转和平移变换，直到得到全景拼接图像，记录此时的平移参数。步骤10)输出标定参数摄相机内部参数，鱼眼镜头失真系数，单映性矩阵，拼接缝隙方向和平移参数。
2.根据权利要求1所述的全景视觉辅助泊车系统的标定方法，其特征在于 采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系 数，包括以下步骤1)摄相机用针孔模型表示-其中<formula>formula see original document page 2</formula> 为摄相机内部参数，乂和/v为用图像行和列像素表示的相机焦距，"o， Vo为投影中心，a为倾斜度;I为世界坐标系中的三维点;及和r为世界坐标系到摄相机坐标系的旋转和平移；w为x对应的图像点坐标。2) 用高阶径向模型近似鱼眼镜头的径向和切向失真产=w + (w - w0 )[k,2 + k,4 + k3, + k4 (力w + 2w)] v*st = v + (v — v。)[k/ + k,4 + k,6 + k5 (一/v + 2v)]其中^,^,^为径向失真系数，^，&为切向失真系数。3) 分别拍摄标定模板不同姿态的一系列图像，标记模板在每个图像上的对 应点，以及图像之间的对应关系。4) 初始计算摄相机内部参数&和鱼眼镜头的失真系数&， &， &]， 再根据标定模板在图像上的投影点与实际图像中的对应观测点之间的欧氏距离 最短原则，用非线性最小二乘法优化计算&和&。
全文摘要
本发明公开了一种全景视觉辅助泊车系统的标定方法，用安装在汽车四周至少两个广角鱼眼摄像机产生的图像生成汽车顶部某一高度的虚拟鸟瞰图像。该方法包括鱼眼广角相机的模型参数求取；标记公共视场中某条直线作为拼接缝隙；标记非公共视场中世界坐标系的位置；固定虚拟鸟瞰相机的位置；基于地平面的单映性变换矩阵计算；拼接缝隙的位置全局优化；虚拟鸟瞰坐标系下各个图像之间位置参数计算。本方法对设备要求低，过程简单；不依赖于摄像机之间的相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即可提供实时工作的计算参数；具有良好的汽车四周全景鸟瞰效果。
文档编号G06T7/00GK101425181SQ200810163310
公开日2009年5月6日 申请日期2008年12月15日 优先权日2008年12月15日
发明者鑫 丁, 刘济林, 杰 雷 申请人:浙江大学