专利名称：室外环境下变焦云台摄像机全自动标定方法
技术领域：
本发明属于计算机视觉与摄像机标定的技术领域，特别是涉及ー种室外环境下变焦云台摄像机全自动标定方法。
背景技术：
变焦云台摄像机(Pan-Tilt-Zoom, PTZ)能够对焦距、姿态、光圈等进行自动调节与控制，具有灵活、视场范围大、对光照条件适应能力强等特点，因此已在视频监控、电子安防、机器人导航，智能空间等各个领域中得到了广泛的应用。随着图像处理技术，模式识别技术以及计算机处理技术等的高速发展，一方面，对运动目标的检测、分类、跟踪、超分辨率 重建与行为分析等成为ー个重要的发展方向；另外一方面，利用视觉传感器对运动目标的状态如尺寸，速度等进行几何測量或者估计，在自动仓储、加工制造、交通事故鉴定等方面的需求推动下，也亟待便捷度与精度的改善。为了提高视觉测量的精度，往往需要使用离线采集的大量数据对摄像机的模型參数进行预先标定。经典的摄像机标定算法，如Tsai的两步标定法[I]，张正友的平面标定法等，主要研究焦距固定情况下的摄像机标定算法。该类方法利用高精度的立体或平面标定设备，借助于线性最小ニ乘/奇异值分解，以及基于最大似然准则的非线性优化方法，能够达到较为精确的标定结果[3，4]。遗憾的是，由于温度、使用环境、底座震动等因素影响，摄像机參数往往逐渐发生变化，造成实际參数与出厂參数偏差较大，从而导致视觉测量精度较低甚至产生错误。此外，在室外工作场合下，利用參考标定物对摄像机进行标定往往非常繁琐，甚至难以实现。为了解决这ー问题，通常需要在现场环境下，如公共场所监控，自主机器人载体上等，自主进行摄像机參数标定，即完成摄像机自标定[5-11]。随着电子安防与视频监控行业的发展，该功能的研发可以大大地提高监控相机对环境变化的自适应能力，因此可以提高产品的核心竞争力。当前主流的摄像机自标定方法主要包括基于Kruppa方程的自标定方法与基于分层逐步标定的自标定方法。针对场景未知和摄像机任意运动的一般情形，Faugeras等人首先提出了自标定的概念，利用绝对二次曲线和极线变换得到了 Kruppa方程，在此基础上可望实时在线地校准摄像机模型參数[6]。但是，直接求解Kruppa方程的方法存在计算复杂，对噪声敏感的问题，为此研究学者们又提出了分层逐步标定的思想[7-9]，即首先对图像序列做射影重建，在此基础上再进行仿射标定和欧氏标定。分层逐步标定的方法以Hartley的QR分解法[7] ,Triggs的绝对二次曲面法[8], Pollefeys的模约束法[9]等为代表。此外，与现有这些基于离散视觉多视几何原理的标定方法不同，方勇纯等人从连续动态视觉系统的角度出发，结合非线性观测器设计理论，设计了一种摄像机内參数在线自标定与自校正方法，并证明了该方法的收敛性[12]。然而，上述方法主要适用于焦距固定情况下的摄像机标定，仍然无法解决焦距连续变化的PTZ摄像机的參数标定问题。针对室外PTZ监控摄像机标定问题，R. T. Collins等人在美国DARPA项目VSAM(Visual Surveillance and Monitoring)的支持下,提出了一种室外PTZ摄像机的标定方法。遗憾的是，该方法假设摄像机变焦中心与主点(即光轴与图像平面的交点)相互重合，因而使得视觉测量的精度受到了限制[13]。R.G. Willson在其博士论文中对PTZ摄像机的标定方法进行了深入的研究，他提出了图像几何中心，主点，变焦中心，畸变中心等多个概念，对PTZ的严格几何数学模型进行了详细的探讨。然而由于其模型过于复杂，实际标定的步骤比较繁琐，从而限制了其应用范围[14]。M. Sarkis等人利用离线标定的方法，在几个焦距设定点处，分别对其焦距，主点等内參数进行了标定，然后利用移动最小ニ乘方法(Moving Least Squares)拟合出内參数随 焦距设定值变化的函数曲线。这种方法需要进行离线标定，并且其精确度与离线标定次数有夫，因此标定步骤较为繁琐，且无法实现全自动的在线运行[15]。总结文献可以得知，现有方法或者在模型精度上有所欠缺，或者标定过程过于繁琐，难以实际应用。
发明内容
本发明目的是解决现有技术存在的上述不足，提供ー种室外环境下PTZ摄像机全自动标定方法。本发明为了兼顾模型准确度，精度与标定便捷性方面的需求，将PTZ摄像机模型分解为变焦转换模型与定焦參数模型两个部分。在此基础上，利用特征点提取与匹配技术对这两个子模型分别进行全自动标定，然后将两者相互融合。因而，一方面，着重考虑到变焦中心随焦距连续变化的情况，求取了多參考点变焦转换模型；另一方面，在视觉测量吋，又能够根据变焦转换模型将不同焦距參数下的图像首先变换到某一定焦等效图像中，进而可以根据定焦摄像机參数完成精度较高的视觉测量任务，同时避免了求解主点，焦距等内參数随变焦參数的变化规律，使得标定过程更为快捷。实验结果证明本发明算法具有全自动、便捷、且精度较高的优点。本发明提供的室外环境下变焦云台摄像机全自动标定方法包括第1，变焦云台摄像机，简称PTZ摄像机模型建立为了兼顾模型的准确性与标定的快捷性，本发明将先考虑模型变焦中心(zoom中心)随着变焦參数(即zoom值)变化的情况，建立变焦转换模型；根据该模型，可将不同zoom值下的图像等效转换为特定zoom值下的图像。最后，根据特定zoom值下建立的定焦參数模型，可以对外界物体进行相关的视觉测量。第I. 1，对于单參考点变焦转换模型，采用如下所示的模型ぬ-^( )=-の⑷)(I)Pyt — Cg (Z2) = Mz^ ( ) — (Z2))(2)上式中，与分别表示三维特征点Pi在zoom值为Z1和Z2时的像素坐标，且通过通用的特征点提取与匹配算法自动获得，其中i = 1,2, ...,η, η表示三维特征点的个数且通过通用的特征点提取与匹配算法自动确定；(の(ろ)，％(ら))表示摄像机zoom值从Z1变化到Z2时图像的zoom中心，Afjl ( )表示对应的缩放系数。式(I) (2)描述了摄像机变焦转换模型，即将zoom值为Z1时的图像作为參考图像，把其转换到zoom值为Z2时的图像像素间的数学变化关系。
第I. 2,在摄像机zoom值固定时,本发明将采用如下小孔摄像机模型
权利要求
1. ー种室外环境下变焦云台摄像机全自动标定方法，其特征在于该方法包括 第1，变焦云台摄像机，简称PTZ摄像机模型的建立 第I. 1，对于单參考点变焦转换模型，采用如下所示模型 PA -^(Z2) =~Cp(z2)h P；；-C^(Z2) = M^(Z2)(P^-CpiZ2)) 上式中，(PS ·Pi)与ぬ.-P^)分别表示三维特征点P1在zoom值为Z1和Z2时的像素坐标，且通过通用的特征点提取与匹配算法自动获得，其中i = 1，2，...，n，n表示三维特征点的个数且通过通用的特征点提取与匹配算法自动确定；(^^(ら)，c^1(Z2))表示摄像机zoom值从Z1变化到Z2时图像的zoom中心,A/"1 ( )表示对应的缩放系数，“zoom值”是指变焦參数； 第I. 2,在摄像机zoom值固定时,采用如下小孔摄像机模型4 0 uO Mzr) = O /, %OUl 其中，A(zr)表示在特定变焦參数Z1^时的摄像机内參数矩阵，fx, fy分别表示有效焦距沿图像u轴与V轴方向的尺度因子，(U(I，V(I)表示主点位置； 第2，多參考点变焦转换模型自标定 第2. I，单參考点变焦转换模型标定 对第I. I中的变焦转换模型进行整理可得IV = H : p； 其中P〗1 ,P-Γ分别为zoom值为Z1和Z2时的三维特征点Pi的图像齐次坐标，即P == [PJWPf，且符号‘τ，表示对相应矩阵求转置，矩阵表示对应两幅图像的2D单应矩阵，为如下表达式 Mz^ {ζ2) O (I —APi“2))02) H = O Mz^(Z2) (I-MzHz2)P^(Z2); OOI 第2. 2，多參考点变焦转换模型标定 令zA表示第k个參考zoom值,其中k = 1,2, ···, kn,且满足2η < zr2 <…< zrkn ;令I表示Zri5与zHk+1)之间以zA作为參考点的某一 zoom值，即2W く Kk仝ろ认⑷，其中τ =1,2,…，Tk，kn与τ,分别为k与τ的最大值，并且由下面所述的标定步骤自动决定其值的大小；根据式!^ =Η= 'P，可得多參考点变焦转换模型为P ■ =H _ P 丨
全文摘要
一种室外环境下变焦云台摄像机全自动标定方法。针对室外环境下变焦云台摄像机，提出一种全自动且高精度的标定算法。首先将摄像机模型分解为变焦转换模型与定焦参数模型。对于前者，通过设立多个参考点，建立多倍变焦情况下的变焦转换模型；然后基于单应矩阵回溯技术，得到全局参考点与多组已选定变焦参数下变焦模型的转换关系，并在此基础上对缩放系数与变焦中心等参数进行曲线拟合。对于后者，利用旋转角度信息对定焦参数模型进行在线标定。由于将变焦中心与主点位置作为独立变量分别进行标定，确保了模型的完整性与准确性；且多参考点方法较好解决了变焦情况下特征匹配点过少问题，提高了标定精度。实验结果表明了本发明具有良好的性能。
文档编号G06T7/00GK102693543SQ20121015913
公开日2012年9月26日 申请日期2012年5月21日 优先权日2012年5月21日
发明者张雪波, 方勇纯, 李宝全, 路晗 申请人:南开大学