专利名称：交通监视环境下的路况摄像机标定方法
技术领域：
本发明属于智能交通技术领域，特别涉及交通监视环境下的路况摄像机的标定方法，主要用于交通监视环境下云台摄像机的精确标定。
背景技术：
应用电视视频技术、通信与网络技术、模式识别技术、计算机视觉技术等技术，发展现有交通视频监控技术，实现交通信息流的自动采集与分析，是智能交通技术领域中具有广阔应用前景的研究方向。其目标就是用计算机视觉技术通过分析路况监视图像序列来对车辆、行人等交通目标的运动进行检测定位、识别和跟踪，并对检测跟踪的交通运动目标的交通行为进行分析和判断，从而既完成各种交通流数据的采集又进行与交通管理有关的各种日常管理和控制，形成一个全方位立体化的数字交通监控网，真正实现交通管理智能化。
针对监视需求，多数路况摄像机为变焦摄像机且采用云台摄像技术。因此当路况摄像机的视域发生改变时，监控路段与成像平面间映射关系也会相应变化，为此需通过对当前路况图像分析，标定摄像机的当前状态，确定场景点与图像像素间确定对应关系，避免摄像机状态改变为车速、车型、运动距离等参数的计算带来影响。
摄像机标定是计算机视觉领域里从二维图像提取三维空间信息的重要步骤，需依据摄像机几何成像原理，对实际摄像装置进行抽象处理，提出表征物空间与成像平面间映射关系的视觉模型。进而，从此视觉模型入手，针对其成像特点，在像平面中拟定合适参照物，分析找出相关图像特征参数，标定视觉模型中各未知参数。
路况摄像机组的标定作为相机标定的重要工程应用，多采用传统标定方法和相机自标定方法。传统标定方法是指用一个结构已知的标定块作为空间参照物，通过建立标定块上一组非退化(非共面)的空间点及其图像投影点间的对应关系来建立摄像机模型参数间的约束，然后通过优化算法来求取这些参数；自标定方法是指直接分析利用获得的多幅图像信息，提取表征摄像机内参数自身存在约束的匹配点，建立基于绝对二次曲线(曲面)的虚拟标定块，从而标定摄像机参数。
传统标定方法标定精度高，但需于现场设置标定物，标定点设置困难，过程繁琐，图像特征量需求大，仅适用于小范围场景，不满足路况大场景监视要求。自标定算法优势在于充分利用监视场景图像信息，但其在标定过程中，需控制监视摄像机做数次刚体运动，并对不同视点下的图像进行特征参数精确匹配，如是，算法依赖于要求极高的图像识别及特征匹配技术，鲁棒性差。
为简化标定流程，针对交通监视景物具体特点，Nelson，Grantham和George等人引入了基于简单成像模型的交通视频监控系统摄像机标定方法，其直接利用交通场景中的路面分道线角点组成的矩形标定目标，标定摄像机焦距和方位参数。与之类似，发明CN1564581A公布了一种城市交通监视环境下标定摄像机焦距及空间外部参数的自标定方法，其利用交通场景中监控路面上数条特殊直线作为标定目标，完成摄像机标定。此类方法实现简单，具有线性时间计算复杂度，然而其在建立三维映射模型时，需要固化摄像机模型部分内部参数(主点坐标和畸变参数)，降低了标定算法的适用范围，难以满足摄像机高精度标定要求。
发明内容
本发明的目的在于针对现有摄像机标定技术的不足，提供应用于交通监视环境下的一种新的摄像机多级标定方法。
针对监视需求，建立高精度的摄像机视觉成像模型，确定物空间与像平面间对应关系；根据监视场景下，不同标称放大系数下场景图像光流特性，建立基于摄像机主点的优化模型，以标定摄像机主点及实际放大系数；选择场景图像上的相邻分道线上角点作为标定目标，利用分道线平行关系及分道线间的基准路宽作为约束条件，建立包含有效焦距及摄像机空间位置参数在内的约束方程，求解视觉模型内、外部参数。
算法采用复杂的摄像机模型，充分考虑了相机主点变化及镜头径向畸变带来的影响，满足高精度摄像机标定的要求；采用了多级标定方法，分解摄像机内部参数为固定参数、可变参数，简化标定流程；标定过程中，无需复杂的特征匹配，提高算法鲁棒性。
本发明以下述方法实现交通监视环境下的路况摄像机标定方法，包含如下标定步骤 (1)视觉模型描述和相关坐标系建立针对监控系统性能要求，沿用经典的Tsai透射投影模型，并针对路况成像特点，对其进行相应修正，提出新的视觉模型，建立三种坐标系 其中地面坐标系Xw-Yw-Zw和摄像机坐标系Xc-Yc-Zc用来表征三维空间；图像平面坐标系Xf-Yf用来表征成像平面。建立世界坐标系，其原点为摄像机光轴与地面交点。Yw轴正向沿路面方向指向前方，Xw轴正向水平指向右方，Zw轴正向垂直于地面，方向向上。建立摄像机坐标系，原点为摄像机光心位置，Zc轴为摄像机光轴方向，Xc-Yc平面平行于像平面。
Xc＝(cos(p)cos(s)+sin(t)sin(p)sin(s))Xw +(sin(p)cos(s)-sin(t)cos(p)sin(s))Yw Yc＝(-cos(p)sin(s)+sin(t)sin(p)cos(s))Xw(1) +(-sin(p)sin(s)+sin(t)cos(p)cos(s))Yw Zc＝-cos(t)sin(p)Xw+cos(t)cos(p)Yw+l 建立此视觉模型下，世界坐标系与像平面坐标系下映射关系，如式(3)所示 由式(3)出发，以Zw为已知参数，同样可建立由像平面坐标到世界坐标系下的逆映射关系，如式(4)所示 式中H为摄像机的垂直安置高度，t，p，s分别为摄像机俯仰角、偏角和旋角，f为广角有效焦距，M(z)为放缩系数，Cx(z)。Cy(z)为图像主点坐标。k为一阶径向畸变。
(2)标定摄像机主点及放缩系数以监视图像光流作为标定基元。通过摄像机作放缩运动，应用参考帧预测图像及实时帧采样图像间光流场差值作为约束，使用最小二乘方法建立约束方程，通过powell方向族法辨识摄像机主点坐标及摄像机实际放大系数。
(3)标定目标选择与参数线性求解在监视场景中选择分道线角点作为标定参照物，利用相邻四个分道线角点的像平面投影确定消失线斜率及相应摄像机旋角；以分道线平行关系及分道线间基础路宽作为约束，利用此四个角点的像平面坐标，线性求解摄像机有效焦距及其空间位置参数。
(4)摄像机畸变补偿利用已定标出完备的理想的无透视畸变摄像机成像模型，计算图像上所有角点的理想象素坐标，通过其与真实角点像平面投影的坐标差值，求解非线性视觉模型中的一阶径向畸变。
(5)求精摄像机内外部参数以监视图像中所有角点和对应的世界坐标点，以上述算法所求出的视觉模型参数作为优化模型初值，采用Levenberg-Marquardt优化算法求精摄像机模型参数，完成摄像机标定。
本发明特点是利用本发明完成摄像机标定的方法实现简单，能满足摄像机高精度标定要求。适用于交通监视环境下的摄像机多级标定。
图1为本发明所建立的摄像机成像视觉模型 图2为本发明所选择的角点标定目标鸟瞰示意图 图3为角点标定目标所决定灭点及地平线的示意图 图4为本发明实施例所采用的交通场景原始图像 图5为本发明实施例中选择的角点标定目标示意图 图6为本发明实施例中检测的摄像机可变参数分布示意图 其中图6a是主点座标分布，图6b是是横向座标分布
具体实施例方式 (1)视觉模型描述和相关坐标系建立针对监控系统性能要求，沿用经典的Tsai透射投影模型，并针对路况成像特点，对其进行相应修正，提出新的视觉模型，如图1所示。
图中定义了三种坐标系，其中地面坐标系Xw-Yw-Zw和摄像机坐标系Xc-Yc-Zc用来表征三维空间；图像平面坐标系Xf-Yf用来表征成像平面。建立世界坐标系，其原点为摄像机光轴与地面交点。Yw轴正向沿路面方向指向前方，Xw轴正向水平指向右方，Zw轴正向垂直于地面，方向向上。建立摄像机坐标系，原点为摄像机光心位置，Zc轴为摄像机光轴方向，Xc-Yc平面平行于像平面。
设摄像机光心与世界坐标系原点距离为1，摄像机的俯仰角(摄像机光轴与地平面夹角)为t，偏角(光轴与车道分割线的夹角)为p。旋角为s，忽略高速公路坡度影响，以地平面上平行线间的区域来对应摄像机视域内的高速公路路面。
基于定义的摄像机空间方位参数，可建立地面坐标系与摄像机坐标系间的坐标变换关系，如上述式(1)所示。
根据透视变换原理，可建立二维图像坐标系与摄像机坐标系间的坐标映射关系，如上述式(2)所示。
式中f为广角有效焦距，M(z)为放缩系数，Cx(z)。Cy(z)为图像主点坐标。k为一阶径向畸变。
不失一般性，记Xf＝Xf-Cx(z)，Yf＝Yf-Cy(z)，f＝f*M(z)，联立式1、式2，可建立理想透视模型下，世界坐标系与像平面坐标系下映射关系，如上述式(3)所示。
由式(3)出发，以Zw为已知参数，同样可建立由像平面坐标到世界坐标系下的逆映射关系，如上述式(4)所示 (2)摄像机主点确定高速公路监控场景作为复杂场景，难以提供监视图像间标定目标的精确匹配，需以光流作为标定基元。通过相机变焦或纯旋转运动，根据参考帧预测图像及实时帧采样图像光流场，使用最小二乘方法辨识摄像机内部参数 设Ir[x1]参考帧灰度图像，If[x2]为改变摄像机部分参数p所获得的采样灰度图像。因图像放缩与纯旋转并未引入新的场景，故可引入转换G实现象素坐标x1，x2间映射，如式(5)所示 考虑在同一场景下，固定摄像机其余参数，以不同标称放大系数拍摄两幅场景图像，不失一般性，不妨设参考帧为广角图像I0(标称放大系数＝0)，采样帧为In(标称放大系数n)。由式(2)可得参考帧与采样帧间坐标映射公式H如式(6)所示。
X′f＝M(n)[Xf-Cx(n)]+Cx(n)(6) Y′f＝M(n)[Yf-Cy(n)]+Cy(n) 据此坐标对应关系，即可写出基于参考帧灰度值的期望图像Iw[x] Iw[x]＝I[H(x，Cx(n)，Cy(n)，M(n))] 故针对采样图像，可得出基于期望图像与采样图像间的标准方差函数，如式(7)所示 式中V为采样帧图像坐标子集，防止坐标转换H(x，p)中可能出现的坐标溢出。
使式(2)中E(p)最小是摄像机参数优化问题，优化模型的初值可设为M(n)＝M(n-1)，Cx(n)＝Cx(n-1)，Cy(n)＝Cy(n-1)，基值为M(0)＝1，(Cx(0)，Cy(0))为图像中心坐标。由于优化模型的采样点较多，为保证收敛，算法使用powell方向族法实现。
(3)标定目标选择与参数线性求解摄像机在视角和焦距未知的条件下，若进行参数标定，必须拟定参照物，而高速公路分道线是严格划出的，可据此作为参照物，建立摄像机未标定参数与图像特征参数之间的对应关系。图2所示为监控路段上选取的基于分道线角点的平行四边形标定模块。
地平线及灭点计算 根据透视投影原理，地面上互不重合的多条平行直线在像平面上的投影具有相同的灭点和不同的斜率。由四角点决定的两组平行直线决定的灭点及地平线如图(3)所示。
由直线xaxd，xbxc决定的灭点记为x0(u0，v0)，由直线xaxb，xdxc决定的灭点记为x1(u1，v1)，其坐标如式(8)所示 故地平线所在斜率即旋角的正切值为 依所求出的旋转角，记 可得像平面与地平面坐标映射方程(Zw＝0) 根据角点间平行对应关系，有方程 YA-YB＝YC-YD (10) XA-XC＝XB-XD 由高速公路相对规范性，路宽一般为定值，故有方程 XD-XC＝w(11) 为方便记，已u、v表示
联立式(10)、(11)即可解出未知摄像机参数p，f，s，f，l，如式(12)所示 f＝v0/tan(t) (4)摄像机畸变补偿考虑到非线性摄像机模型中存在一阶径向畸变，改写式(2)如下 Xd＝Xf+(Xf-Cx(z))*kr2 (13) Yd＝Yf+(Yf-Cy(z))*kr2 由于已定标出完备的理想的无透视畸变摄像机成像模型，故理想象素坐标(Xf，Yf)可得，故可改写式(13)为方程形式，如式(12)所示 给一副图像中n个角点，故共可得2n个方程，表示成矩阵形式为 Dk＝d 其最小二乘解如式(15)所示 k＝(DTD)-1DTd(15) (5)求精摄像机内外部参数为获取精确的摄像机模型参数，需考虑提取的全部图像角点和对应世界坐标点，建立如式(14)所示优化模型，求精所有内、外部参数。
n场景图像上角点个数 Wi场景图像上第i个角点的实际坐标
第i个角点的实际图像坐标
由Wi代入实际成像模型求出映射图像坐标 优化模型的初值为利用本节算法所求出的摄像机模型各参数值以及初始的畸变系数，模型参数可采用Levenberg-Marquardt优化算法求解。
(1)设监控摄像机的标称放大系数范围为0～k，针对同一场景，固定摄像机其余参数，逐渐增大标称放大系数，以步长m拍摄k/m幅场景图像，以图像中心为主点初值，利用式(6)、式(7)，使用powell方向族法，迭代求出不同标称放大系数下，摄像机主点及图像实际放大系数； (2)检测场景图像角点，利用图像主点附近四相邻角点，利用式(9)、(12)，计算摄像机的内部固定参数及外部空间方位参数；利用图像上全部角点，利用式(15)计算摄像机一阶径向畸变。
(3)将检测的图像角点及其对应的世界坐标点代入式(16)，求解非线性最小化模型，求精摄像机全部参数。
表1 物像换算精度 为了验证本发明所提出方法的有效性，本发明的一个实施例采用了图4所示的高速公路交通场景图像，并在此交通场景图像中选择分道线角点作为标定目标，并以图像主点附近四角点作为主要标定特征，记为A、B、C、D，如图5所示。分道线间距离事先已知。
图6，包括6a、6b所示为不同标称焦距下摄像机主点及放大系数的实际分布，显然随标称放大系数的增加，图像主点坐标拟直线递增，其与图像中心的位移范围为±30个象素。而实际放大系数则为拟抛物线递增过程。以分道线角点作为测试样本点，利用摄像机标定结果，采用样本点的物像空间正反换算与样本点的标准值进行比较作为评价尺度。表1所示为样本点物像换算与标准值间的差值精度。实验结果表明，本发明提出的分级标定方法物像换算精度高，完全能够满足交通监控的精度要求。
权利要求
1.交通监视环境下的路况摄像机标定方法，其特征是包含如下标定步骤
(1)视觉模型描述和相关坐标系建立针对监控系统性能要求，沿用经典的Tsai透射投影模型，并针对路况成像特点，对其进行相应修正，提出新的视觉模型，建立三种坐标系
其中地面坐标系Xw-Yw-Zw和摄像机坐标系Xc-Yc-Zc用来表征三维空间；图像平面坐标系Xf-Yf用来表征成像平面。建立世界坐标系，其原点为摄像机光轴与地面交点。Yw轴正向沿路面方向指向前方，Xw轴正向水平指向右方，Zw轴正向垂直于地面，方向向上。建立摄像机坐标系，原点为摄像机光心位置，Zc轴为摄像机光轴方向，Xc-Yc平面平行于像平面；
Xc＝(cos(p)cos(s)+sin(t)sin(p)sin(s))Xw
+(sin(p)cos(s)-sin(t)cos(p)sin(s))Yw
Yc＝(-cos(p)sin(s)+sin(t)sin(p)cos(s))Xw (1)
+(-sin(p)sin(s)+sin(t)cos(p)cos(s))Yw
Zc＝-cos(t)sin(p)Xw+cos(t)cos(p)Yw+l
建立此视觉模型下，世界坐标系与像平面坐标系下映射关系，如式(3)所示
由式(3)出发，以Zw为已知参数，同样可建立由像平面坐标到世界坐标系下的逆映射关系，如式(4)所示
式中H为摄像机的垂直安置高度，t，p，s分别为摄像机俯仰角、偏角和旋角，f为广角有效焦距，M(z)为放缩系数，Cx(z)、Cy(z)为图像主点坐标，k为一阶径向畸变。
(2)标定摄像机主点及放缩系数以监视图像光流作为标定基元；通过摄像机作放缩运动，应用参考帧预测图像及实时帧采样图像间光流场差值作为约束，使用最小二乘方法建立约束方程，通过powell方向族法辨识摄像机主点坐标及摄像机实际放大系数。
(3)标定目标选择与参数线性求解在监视场景中选择分道线角点作为标定参照物，利用相邻四个分道线角点的像平面投影确定消失线斜率及相应摄像机旋角；以分道线平行关系及分道线间基础路宽作为约束，利用此四个角点的像平面坐标，线性求解摄像机有效焦距及其空间位置参数；
(4)求精摄像机内外部参数以监视图像中所有角点和对应的世界坐标点，以上述算法所求出的视觉模型参数作为优化模型初值，采用Levenberg-Marquardt优化算法求精摄像机模型参数，完成摄像机标定。
2.根据权利要求1所述的交通监视环境下的路况摄像机标定方法，其特征是采用摄像机畸变补偿利用已定标出完备的理想的无透视畸变摄像机成像模型，计算图像上所有角点的理想象素坐标，通过其与真实角点像平面投影的坐标差值，求解非线性视觉模型中的一阶径向畸变。
全文摘要
交通监视环境下的路况摄像机标定方法，包含如下标定步骤(1)视觉模型描述和相关坐标系建立针对监控系统性能要求，沿用经典的Tsai透射投影模型，并针对路况成像特点，对其进行相应修正，提出新的视觉模型，建立三种坐标系(2)标定摄像机主点及放缩系数以监视图像光流作为标定基元；通过摄像机作放缩运动，应用参考帧预测图像及实时帧采样图像间光流场差值作为约束，使用最小二乘方法建立约束方程，通过powell方向族法辨识摄像机主点坐标及摄像机实际放大系数；(3)标定目标选择与参数线性求解；(4)求精摄像机内外部参数以监视图像中所有角点和对应的世界坐标点，采用Levenberg-Marquardt优化算法求精摄像机模型参数，完成摄像机标定。
文档编号H04N5/225GK101118648SQ200710022810
公开日2008年2月6日 申请日期2007年5月22日 优先权日2007年5月22日
发明者陈启美, 勃 李, 凡 郭, 蓉 董 申请人:南京大学