本发明属于计算机视觉与摄像机标定技术领域，特别是涉及一种ptz摄像机现场标定及定焦方法。
背景技术：
ptz(pan-tilt-zoom，ptz)摄像机，又叫变焦云台摄像机，能够对焦距、姿态、光圈等进行自动调节与控制，具有灵活、视场范围大、对光照条件适应能力强等特点，因此已经在视频监控、电子安防、机器人导航等各个领域中得到了广泛的应用。ptz摄像机应用于视觉测量领域，解决了测量视角范围小、视角视向固定等问题，在增加视觉测量系统灵活性的同时，降低了对摄像机数目的要求。
为了提高视觉测量的精度，往往需要使用离线采集的大量数据对摄像机的模型参数进行预先标定。经典的摄像机标定算法，如两步标定法，平面标定法等，主要研究焦距固定情况下的摄像机标定算法。该类方法利用高精度的立体或平面标定设备，借助于线性最小二乘/奇异值分解，以及基于最大似然准则的非线性优化方法，能够达到较为精确的标定结果。但是，由于温度、使用环境、底座震动等因素影响，摄像机参数往往逐渐发生变化，造成实际参数与标定参数偏差较大，从而导致视觉测量精度较低甚至产生错误。
在工作场合下，对于已安装的ptz摄像机，利用参考标定物进行标定往往非常繁琐，甚至难以实现。为了解决这一问题，通常需要在现场环境下，如公共场所监控等，自主进行摄像机参数标定，完成摄像机自标定。当前主流的摄像机自标定方法主要包括基于kruppa方程的自标定方法与基于分层逐步标定的自标定方法。分层逐步标定的方法以qr分解法、绝对二次曲面法和模约束法等为代表。然而，上述方法主要适用于焦距固定情况下的摄像机标定，仍然无法解决焦距连续变化的ptz摄像机的参数标定问题。
针对ptz监控摄像机标定问题，现有技术已经提出过很多种标定方法，例如，sinha和pollefeys提出一种对ptz摄像机zoom参数进行离散采样标定的方法(参考文献【1】sinhasnandpollefeysm.pan-tilt-zoomcameracalibrationandhigh-resolutionmosaicgeneration.computervisionandimageunderstanding.2006,103(3):170-183p)；sarkis等人提出利用移动最小二乘来建立摄像机内参函数的方法(参考文献【2】sarkism,senftcanddiepoldk.calibratinganautomaticzoomcamerawithmovingleastsquares.ieeetransactionsonautomationscienceandengineering.2009,6(3):492-503p)；ashraf和foroosh等人提出利用无重叠视场的ptz摄像机自标定方法(参考文献【3】ashrafnandforooshh.robustauto-calibrationofaptzcamerawithnon-overlappingfov.ininternationalconferenceonpatternrecognition,dec.2008:738-748p)，在这些已知的方法中，有些是忽略镜头畸变，有些是假设镜头畸变的变化是随着放大倍数的一个线性变化，有些是假设镜头畸变满足畸变模型，然而，对于加工精度不均匀的镜头，镜头畸变并不能用简单畸变模型描述。因此，对于设计一种能够有效应对镜头畸变的方案，是本领域技术人员亟待解决的问题。
技术实现要素：
本发明的目的在于提出一种ptz摄像机现场标定及定焦方法，能够有效描述镜头非轴对称性下不同部位的畸变，利用基准点在图像中分布的变化自动完成畸变参数标定，并通过关键焦距的选取及插值计算，实现可覆盖相机全焦段的畸变及相机内部参数的标定，减少了标定工作的复杂性，并设计了可依据标定视场内基准点在其他视场自动选择特征点的方法，在实际使用中可根据任意图像快速判定相机焦距，为视觉测量及目标识别提供准确尺度信息。
一种ptz摄像机现场标定及定焦方法，包括以下几个步骤：
步骤一：标定视场基准点选取与测量；
步骤二：焦距固定下摄像机标定；
步骤三：关键焦距的选取；
步骤四：非标定视场基准点自动获取；
步骤五：ptz摄像机在线标定。
本发明的优点在于：
(1)本发明针对非严格轴对称镜头，设计了一种基于基准点的镜头畸变校正方法，通过已知的基准点坐标信息，无需采用网格图像，相机转动时基于基准点在图像中位置的变化，自动计算出图像每一像素点的畸变量，能够有效实现对非严格轴对称镜头的畸变校正；
(2)本发明针对ptz摄像机具有大视场的特点，设计了一种非标定视场基准点自动获取的方法，由标定视场的基准点自动计算得到覆盖整个摄像机视场的基准点，减少标定工作量；
(3)本发明设计了一种适用于非轴对称镜头的畸变描述方法，可描述镜头不同区域的畸变情况；
(4)针对ptz摄像机焦距可变情况，设计了关键焦距抽取方法，进而可以在插值法基础上利用关键焦距畸变标定数据，实现对所有焦距下畸变的有效估计；
(5)在相机焦距变化情况下，利用视场中基准点在相机视场中夹角不变性，通过最小二乘算法快速确定焦距，并通过插值获得成像平面内每个点的畸变校正数据。
附图说明
图1是本发明的一种ptz摄像机现场标定及定焦方法流程图；
图2是本发明中基准点的选取示意图；
图3是本发明中基准点遍历方法示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
现有ptz摄像机自主标定方法中，采用多项式畸变模型来拟合镜头畸变，但是对于非严格轴对称的镜头，是无法用简单畸变模型来拟合的。为了解决这一问题，本发明提出一种ptz摄像机现场标定及定焦方法，能够自动计算畸变图像的内参矩阵以及每一像素点的畸变校正参数，实现镜头畸变的高精度、自动校正。
一种ptz摄像机现场标定及定焦方法，流程如图1所示，包括以下几个步骤：
步骤一：标定视场基准点选取与测量；
本发明利用已知的基准点信息来进行标定，所以需要确定基准点及其世界坐标，具体方法如下：
1.1：基准点的选取；
在待拍摄的场景范围内找一处图像信息丰富的场景作为标定视场。然后，在ptz摄像机最小焦距f1下，拍摄标定视场得到图像i0，使用sift算法提取图像i0的特征点，在这些特征点中人为挑选出m个特征点作为基准点pi(i＝1,…,m)，基准点的选取结果如图2所示，图2中外部矩形图样表示图像i0，内部矩形图样dense表示基准点的密集区域，所述密集区域要求图像畸变不明显，本发明要求密集区域dense中的基准点至少在20个以上，以适应ptz摄像机变焦的情形；图2中黑色的实心点表示前述人为挑选的基准点pi(i＝1,…,m)，m为大于20的整数。
1.2：保存基准点的特征描述符；
保存基准点的特征描述符descriptorsi(i＝1,…,m)，当基准点出现在任意一张包含了基准点的新的图像中时，使用sift算法提取新的图像中的特征点，将新的图像中的特征点描述符与基准点的特征描述符进行匹配，确定基准点在新的图像中的坐标，所述特征点描述符是sift算法给出的128维向量，每一个特征点都可以用一个128维向量表示。
1.3：基准点世界坐标测量；
利用全站仪，定义全站仪坐标系为世界坐标系，测得m个基准点在世界坐标系下的坐标pi(i＝1,…,m)。
步骤二：焦距固定下摄像机标定；
ptz摄像机是通过多组可调间距的镜头组件来实现变焦功能，通常都有一定的焦距范围，而在焦距范围内的某一固定焦距时，内部镜头组件可认为结构稳定不变，ptz摄像机可以看作是一个定焦摄像机，此时的ptz摄像机模型可以用同参数下的静态摄像机模型替代。所以本发明采用针孔模型，模型如下：
fx＝f/dx,fy＝f/dy
其中，k表示内参矩阵，f为ptz摄像机焦距范围内的某一固定焦距，fx，fy分别表示固定焦距f沿以像素为单位的图像坐标系中u轴与v轴方向的尺度因子，(u0,v0)表示ptz摄像机光轴与图像平面的交点在以像素为单位的图像坐标系中的坐标，即图像主点，dx，dy分别表示每一像素沿图像坐标系中u轴与v轴方向的物理尺寸。
本发明利用有限的、已测量的基准点，实现固定焦距f下ptz摄像机的标定，具体方法如下：
步骤2.1：图像采集；
在固定焦距f下，转动ptz摄像机，使图像i0中基准点的密集区域dense的基准点能够有效遍历ptz摄像机图像平面。具体遍历方法为，控制ptz摄像机作水平旋转运动方向与垂直俯仰运动方向的运动，使基准点的密集区域dense分别出现在ptz摄像机图像平面上的不同位置，直到覆盖整个ptz摄像机图像平面，并采集j张图像ij(j＝1,2,…,j)，如图3所示，img表示ptz摄像机图像平面，dense(j)表示图像ij的图像基准点密集区域，dense(j)在图像平面img中的位置也是dense(j)在图像ij中的位置。
步骤2.2：内参矩阵k自动获取；
步骤2.2.1：确定参考图像ire：从采集到的j张图像ij(j＝1,2,…,j)中挑出一幅作为参考图像ire，该参考图像满足密集区域dense位于参考图像中心处的条件。
步骤2.2.2：计算参考图像ire的参考投影矩阵mre：将在参考图像ire提取到的参考特征点描述符与基准点的特征描述符descriptorsi进行匹配，得到基准点pi在参考图像ire中的图像坐标
步骤2.2.3：计算内参矩阵k：分解参考投影矩阵mre，可得到内参矩阵k。
步骤2.3：确定固定焦距下任意图像中心区域；
步骤2.3.1：利用参考投影矩阵mre，由
步骤2.3.2：设定第一阈值εd，形成如下所示集合：
其中，集合no-distortion表示畸变量忽略不计的基准点所在像素点的集合；集合distortion表示畸变量不忽略不计的基准点所在像素点的集合。
步骤2.3.3：确定固定焦距下任意图像中心区域center：首先找出集合distortion中离图像主点(u0,v0)最近的基准点所在像素点pmin，基准点所在像素点与图像主点的距离为dmin；然后在以图像主点(u0,v0)为圆心，以dmin为半径的圆形区域内，找出集合no-distortion中离图像主点(u0,v0)最远的基准点所在像素点pmax，基准点所在像素点与图像主点的距离为dmax；最后，畸变量可忽略不计的图像中心区域center为以图像主点(u0,v0)为圆心，以dmax为半径的圆形区域。
步骤2.4：描述摄像机镜头畸变；
本发明采用畸变矩阵d实现镜头畸变的描述，假设图像平面的大小为a*b，建立一个a行b列即a*b的畸变矩阵d，a行b列的图像平面中的每一个元素即为像素，畸变矩阵d中的每个元素存储对应基准点所在像素点的畸变量(δu,δv)，如下式所示：
其中，图像中心区域center内的像素的畸变量设置为(0,0)。
步骤2.5：优化单应性矩阵；
根据上述步骤2.2，利用特征匹配计算每一张图像ij与参考图像ire之间的单应性矩阵hj，使得xj＝hj*xre，其中xj表示图像ij中特征点的齐次坐标，xre表示参考图像ire中对应特征点的齐次坐标。因为单应性矩阵受到图像畸变的影响，求出的单应性矩阵hj存在较大误差，所以需要进行优化求精，得到最优单应性矩阵
步骤2.5.1：将在图像ij提取到的图像特征点描述符与基准点特征描述符descriptorsi进行匹配，得到基准点在图像ij中的图像坐标即为基准点实际值
步骤2.5.2：本发明采用穷举法，在单应性矩阵hj的邻域内搜索出符合判断条件的最优单应性矩阵
单应性矩阵hj作为优化的初值，并分解单应性矩阵hj求出旋转矩阵rj，继而分解旋转矩阵rj求出初始旋转角度，分别为初始偏航角α0，初始俯仰角β0，初始横滚角γ0，如下式所示：
rj＝k-1*hj*k
将可变偏航角α，可变俯仰角β，可变横滚角γ定义为变量，3个旋转角度变量的取值范围分别定义为：
α∈[α0-ξ,α0+ξ]
β∈[β0-ξ,β0+ξ]
γ∈[γ0-ξ,γ0+ξ]
其中，ξ表示邻域半径。对3个旋转角度变量的取值范围进行等间隔采样，采样间隔为δ，分别得到采样后的采样偏航角αg1，采样俯仰角βg1，采样横滚角γg1：
αg1＝α0±gδ
βg1＝β0±gδ
γg1＝γ0±gδ
其中，
对3个旋转角度变量的不同取值依次进行组合，计算出对应的单应性矩阵h，由
假设
对于每一个基准点理论值
则计算差值平方和：
根据以上判断条件在所述邻域内找到所有差值平方和中的最小值，此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵
步骤2.6：估计畸变矩阵d；
根据步骤2.3所确定的图像中心区域、步骤2.4描述的摄像机镜头畸变和步骤2.5优化的单应性矩阵估计畸变矩阵d，利用固定焦距f下采集到的每一幅图像ij(j＝1,2,…,j)，对所有基准点所在像素点的畸变量进行计算，并填入畸变矩阵d中，计算如下：
步骤2.6.1：若图像ij的图像中心区域center内至少存在6个非共面基准点：由图像中心区域center内的基准点，利用dlt算法估计出图像投影矩阵mj；由
本发明认为由投影矩阵求得的畸变量较精确，无需利用单应性矩阵。
步骤2.6.2：若图像ij的图像中心区域center内不存在至少6个非共面图像基准点，基准点理论值
步骤2.7：畸变矩阵插值，得到非轴对称相机的畸变描述优化矩阵；
图像平面中，对于基准点出现过的位置，可以有效求出畸变量。但是基准点不能遍历过所有像素点，因此上述过程并不能计算出图像平面中所有像素点的畸变量，即畸变矩阵d中存在空元素。本发明认为经过上述步骤后，求出了已满足本发明需求的像素点畸变量，所以d中为空的元素可以由周围非空元素插值得到。同时，本发明认为对于图像平面中的任意一块小区域，畸变可以用一阶径向畸变模型来描述。具体插值方法为：
步骤2.7.1：假设(u，v)为待估计畸变量的像素点坐标，以(u，v)为圆心，以r1为半径的邻域e内存在若干个已知畸变量的像素点(u's,v's)，所选r1满足保证领域e内存在若干个已知畸变量的像素点，利用这些像素点(u's,v's)的畸变量(δu's,δv's)拟合出畸变模型，求出模型参数k1、k2，如下式所示：
rs2＝(u's-u0)2+(v's-v0)2
其中，(u0,v0)表示图像主点坐标，可以由内参矩阵k得到，rs表示(u's,v's)距图像主点的径向距离。
步骤2.7.2：用计算出的畸变模型参数估计像素点(u，v)的畸变量(δu,δv)，并存入畸变矩阵d中的对应位置，如下式所示，同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵d*：
r2＝(u-u0)2+(v-v0)2
其中，r表示像素点(u，v)距图像主点(u0,v0)的径向距离。
步骤三：关键焦距的选取；
若相邻焦距之间可以进行畸变矩阵的线性插值，将这样的焦距定义为关键焦距。将ptz摄像机镜头焦距的变焦范围划分为若干等分，得到划分后的n个焦距值f1,f2,…,fn，其中f1表示镜头最小焦距，fn表示最大焦距。在每一个焦距值下都可以通过步骤二，计算得到对应的内参矩阵以及畸变描述优化矩阵。从n个焦距值中选取出关键焦距，使相邻关键焦距之间可以进行畸变的线性插值。在线标定时，只要估计当前图像的焦距值，就可以通过插值得到相应的内参矩阵与畸变参数。关键焦距的选取具体为：
3.1：焦距值f1,f2,...,fn确定出区间[f1,fn]，同时将f1,fn选为关键焦距，并确定该区间的中点，即从n个焦距值f1，f2,…,fn中找出中间焦距值fc；
3.2：判断f1,fn对应的畸变描述优化矩阵
首先，通过步骤二，利用焦距值f1,fc,fn下采集到的图像，分别得到f1,fc,fn对应的畸变描述优化矩阵
然后，利用插值确定出fc对应畸变描述优化矩阵的估计值
最后，计算
将差值矩阵
a.若每个区域都满足|mk|≤εk，则认为fc不为关键焦距；
b.若至少有一个区域满足|mk|＞εk，则认为fc选为关键焦距。
3.3：对相邻关键焦距组成的区间，确定出中间焦距，并通过上述判定过程决定该中间焦距是否为关键焦距，不断重复此过程即可选出所有的关键焦距，并由步骤二给出对应的内参矩阵与畸变描述优化矩阵。
步骤四：非标定视场基准点自动获取；
至此，只在标定视场内存在基准点，为了实现非标定视场摄像机焦距的自动识别，需要将基准点扩展到非标定视场。对于任意焦距fany，只要已知对应的内参矩阵与对应的畸变描述优化矩阵
4.1：在任意焦距fany下，转动ptz摄像机，拍摄n幅图像，使这些图像能完全覆盖摄像机能拍摄到的场景范围，并且相邻图像之间存在重叠区域。
4.2：利用畸变描述优化矩阵
4.3：通过特征匹配确定n幅图像ia相对于参考图像iref的单应性矩阵ha，使其满足下式：
xref＝haxa
其中，xa表示图像ia中图像特征点的齐次坐标，xref表示参考图像iref中对应特征点的齐次坐标。
4.4：对于每幅图像ia，提取出若干个在图像ia中均匀分布的sift特征点，由下式计算出这些sift特征点在参考坐标系下的方向矢量direction：
其中，(x,y)表示图像ia中sift特征点在以毫米为单位的图像坐标系中的坐标。将已知方向矢量的sift特征点作为新的基准点，就可以得到覆盖整个摄像机视场的基准点。
步骤五：ptz摄像机在线标定；
本发明认为，在ptz摄像机工作过程中，只要估计出待标定图像的焦距值，就可以通过关键焦距之间的插值实时计算出待标定图像的内参矩阵与畸变矩阵；经过步骤四，得到了覆盖整个摄像机视场的基准点以及基准点在参考坐标系下的方向矢量，即可以求出任意两个基准点与参考坐标系原点之间连线的夹角，其中参考坐标系原点即为摄像机光心。只要待标定图像中存在至少两个基准点，就可以利用已知的基准点夹角信息，对待标定图像进行焦距的自动识别，从而得到该图像的内参矩阵与畸变矩阵，具体为：
步骤5.1：特征匹配；
对待标定图像i'进行sift特征提取，并与基准点的特征描述符进行特征匹配，确定图像i'中基准点的图像坐标；
步骤5.2：摄像机焦距自动识别；
因为基准点与摄像机光心位置固定，所以两个基准点与摄像机光心连线的夹角θ不受摄像机旋转以及变焦的影响。选择最接近图像中心的两个基准点，通过下式求出此时摄像机的焦距f'：
其中，(ub,vb)(b＝1,2)表示两个基准点的图像坐标；(xb,yb)(b＝1,2)表示两个基准点在以毫米为单位的图像坐标系中的坐标；direction1,direction2表示两个基准点的方向矢量；夹角θ表示两个基准点与摄像机光心连线的夹角；dx，dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸；(u0,v0)表示图像主点。
步骤5.3：插值得到图像i'的内参矩阵与畸变描述优化矩阵；
得到焦距f'后，假设f'处在关键焦距fp,fq(p＜q)之间，就可以通过下式求得图像i'的内参矩阵ki'与畸变描述优化矩阵
其中，kp,kq分别表示fp,fq对应的内参矩阵；