一种鱼眼镜头内部参数自标定方法与流程

本发明涉及计算机视觉、数字摄影测量领域，具体涉及一种鱼眼镜头内部参数自标定方法。

背景技术：

鱼眼镜头具有视角广阔(接近甚至超过180°)、信息量丰富、体积小等优点，是发展轻、小型全方位视觉系统的理想光学传感器，在安全监控、机器人导航、全景泊车等众多领域有极其广泛的应用前景。然而，由于镜头焦距短、视场大特点以及光学原理约束，鱼眼图像存在严重畸变，使用前需将其转换成符合人眼视觉习惯的平面透视投影图像，其前提是获得与鱼眼镜头光学成像模型相联系的一套高精度参数。鱼眼镜头通常由10组以上、甚至多达几十组的光学镜片复杂组合而成，光路计算十分困难，传统的鱼眼镜头标定算法多以球面投影模型来表征其光学成像过程，并通过获取人工标定参照物的标定影像来解算模型参数，如直接利用三维控制点信息及dlt模型迭代求解空间参数，或以二维靶标为标定参照物，先根据靶标点在世界坐标系、球面坐标系及鱼眼图像坐标系下的坐标映射关系获得参数初值，再综合利用空间直线位置特性及其投影特性进行非线性优化，等等，但高精度、大范围三维标定场建造较复杂、造价高且需不断维护，二维靶标虽应用灵活、成本低，但需移动靶标位置来获得鱼眼图像不同区域的标定影像且要求具有特殊模式(如非等间距的点阵、棋盘格)；另一方面，基于人工标定参照物的传统鱼眼镜头标定算法往往引入数量较多的外部参数，存在过参数化问题，不准确的外部参数初始值极易使优化陷入局部最优，其它以鱼眼图像纠正为目的的参数标定方法，如经纬矫正、多项式矫正，虽标定参数计算过程简单、复杂度低，但精度不高且无法获得鱼眼镜头等效焦距等参数，不利于量测信息的获取。低成本、超宽视角鱼眼镜头在众多领域的广泛采用促使寻求精度高、操作简单、对实施条件依赖小的鱼眼镜头标定方法以解决多应用环境下的鱼眼图像量测需求，从这一角度出发，仅依靠场景自身特征信息实现参数解算的鱼眼镜头自标定方法，将具有更为广阔的市场应用前景。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种鱼眼镜头内部参数自标定方法。

为实现上述目的及其他相关目的，本发明提供一种鱼眼镜头内部参数自标定方法，该方法包括：

建立鱼眼成像模型并获得待标定的鱼眼镜头内部参数；

根据空间直线在水平面的理想投影椭圆约束建立标定方程；

利用鱼眼图像有效区域椭圆轮廓边界及空间直线在鱼眼图像上的投影椭圆弧段信息给出待标定的鱼眼镜头内部参数初值并迭代求解标定方程获得标定参数的最小二乘估计。

可选地，所述获得待标定的鱼眼镜头内部参数，具体包括：

空间坐标变换，将世界坐标系下任一空间点pw，经旋转和平移空间坐标变换，转换为相机坐标系下的点pc；

单位球面映射，将点pc沿射线ocpc方向映射为单位球面上的点ps；

球面投影，将点ps正投影到一个与鱼眼镜头主光轴垂直的固定平面，从而获理想投影点pm(xm,ym)，

像素坐标变换，利用相机内部参数将理想投影点坐标变换到鱼眼图像像素坐标；

从理想投影点到鱼眼图像像素的坐标变换关系为：

(u-u0)*(1+k1r²+k2r⁴)＝af*xm,(v-v0)*(1+k1r²+k2r⁴)＝f*ym

r²＝(u-u0)²+(v-v0)²

其中：(u,v)为鱼眼图像实际像素坐标,(u0,v0)为相机主点坐标，f为相机等效焦距，a为纵横比，k1,k2为径向畸变系数，参数(u0,v0,f,a,k1,k2)为待标定的鱼眼镜头内部参数。

可选地，所述根据空间直线在水平面的理想投影椭圆约束包括：

①不同空间直线在球面透视投影下水平面投影椭圆，其椭圆中心为投影球心，长半轴a恒等于投影球面半径rg，短半轴b长度则与过球心、空间直线的空间平面法线方向相关；

②对同一空间直线而言，投影球面半径大小改变仅使其投影椭圆长、短半轴产生等比例缩放。

可选地，所述标定方程为：

其中，b为椭圆短半轴，γ为椭圆长轴与坐标x轴旋转角。

可选地，通过以下方式迭代求解标定方程：

其中，表示误差方程最小二乘平差结果，

所述误差方程v为：

其中，为给定的参数初值；为方程系数，是非线性函数e在给定参数初值下的偏导数；(du0,dv0,dk1,dk2,da,df,db,dγ)为方程未知数，是非线性函数e的参数增量。

如上所述，本发明的一种鱼眼镜头内部参数自标定方法，具有以下有益效果：

本发明以空间直线在水平面的理想投影椭圆约束为基础建立标定方程估计鱼眼镜头内部参数，标定计算不涉及相机外部参数，不仅避免了过参数化问题，其标定参数更精确地表征球面透视投影模型，且标定计算形式、过程统一、精度高，可灵活应用于单视、多视条件；适用于场景内任一空间直线并与直线方向、位置、长度无关，不依赖于特定的标定参照物模式及其量测信息，对于具有大量平行直线的人工场景可实现自标定，应用方式灵活，具有良好的应用前景和价值。

附图说明

为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。

图1是本发明实施例的鱼眼镜头内部参数自标定方法结构图；

图2是本发明实施例的鱼眼成像阶段示意图；其中(a)空间变换过程，(b)正交投影过程；

图3是本发明实施例的空间直线单位球面投影示意图；

图4是本发明实施例的单位球面投影下的鱼眼图像有效像素区域；其中(a)表示椭圆轮廓边界位于视野之内，(b)表示部分椭圆轮廓边界位于视野之外；

图5是本发明实施例的鱼眼图像及其边缘图椭圆轮廓(弧)检测示意图；其中：(a),(c),(e)为用于测试的网上鱼眼图像，(b),(d),(f)为鱼眼图像边缘图上检测出的椭圆轮廓(弧)；

图6是本发明实施例的鱼眼镜头单视标定迭代计算过程图；其中：(a)，(b)，(c)，(d)分别为对应于网上鱼眼图像的鱼眼镜头参数(f,a,k1,k2)迭代估计结果，(e)为迭代估计精度结果；

图7是本发明实施例的网上鱼眼图像标定参数纠正测试结果图；其中(a)为本发明方法标定参数下的鱼眼图像平面纠正(立方盒)视觉效果，(b)法国知名图像软件dxo的鱼眼图像局部区域平面纠正视觉效果。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本实施例提供了一种新的鱼眼镜头内部参数自标定方法，该方法基于球面透视投影原理，首先建立鱼眼成像模型并给出待标定的鱼眼镜头内部参数，再根据空间直线在水平面的理想投影椭圆约束建立标定方程，最后利用鱼眼图像上的椭圆轮廓(弧)信息给出待标定的鱼眼镜头内部参数初值并迭代求解标定方程获得标定参数的最小二乘估计。

如图2(a)所示，于一实施例中，鱼眼成像模型采用球面透视投影原理，整个成像过程经过四个阶段从空间点变换到鱼眼图像像素坐标：

1、空间坐标变换，即将世界坐标系下任一空间点pw＝[xw,yw,zw]^t，经旋转和平移空间坐标变换，转换为相机坐标系下的点pc＝[xc,yc,zc]^t，两者满足以下关系：

pc＝r·pw+t(1)

式中：t为平移向量，r为旋转矩阵。

2、单位球面映射，即将点pc沿射线ocpc(oc表示坐标系的原点)方向映射为单位球面上的点ps：

式中：θ为入射角，α为入射光线在xcyc平面的投影和xc轴的夹角，故有：

3、球面投影，即将点ps投影至鱼眼图像平面。如图2(b)所示，本发明采用正交投影模型，将点ps正投影到一个与z轴(鱼眼镜头主光轴)垂直的固定平面(像平面)，从而获得理想投影点pm(xm,ym)，两者坐标变换关系如下：

xm＝xs,ym＝ys(4)

4、像素坐标变换，即利用相机内部参数将理想投影点坐标变换到鱼眼图像像素坐标，相机内部参数通常表示为矩阵考虑到鱼眼镜头光学畸变并主要受径向畸变误差影响，则从理想投影点到鱼眼图像像素的坐标变换关系为：

(u-u0)*(1+k1r²+k2r⁴)＝af*xm,(v-v0)*(1+k1r²+k2r⁴)＝f*ym(5)

r²＝(u-u0)²+(v-v0)²

其中：(u,v)为鱼眼图像实际像素坐标,(u0,v0)为相机主点坐标，f为相机等效焦距，a为纵横比，k1,k2为径向畸变系数。上述鱼眼成像过程中，参数(u0,v0,f,a,k1,k2)与鱼眼镜头本身光学设计、加工相关，称为内部参数，本发明对该内部参数进行高精度估计。

如图3所示，于本实施例中，根据空间直线在水平面的理想投影椭圆约束建立标定方程，其原理为：球面透视投影下的空间直线l被映射为过投影中心(球心)的大圆g，该大圆可由球面方程和过球心的平面方程联合给出：

其中：rg为投影球面半径，(x,y,z)为球面上的点，(p,q,s)为过球心原点o(0,0,0)的某一空间平面方程系数。将式(6)中的空间平面方程改写为：代入球面方程并消去z可得：

式(7)可视为球面大圆在水平面的投影，该投影为一个椭圆，若定义该椭圆中心位于(x0,y0)，长、短半轴为(a,b)，椭圆长轴与坐标x轴旋转角为γ，并令：

将式(7)左右两边同除l1,即有(这里c＝0，d＝0)：

式(8)为表征椭圆的圆锥曲线方程，该椭圆几何参数可由圆锥曲线方程系数导出，有：

x0＝y0＝0

上式表明：①不同空间直线在球面透视投影下水平面投影椭圆，其椭圆中心为投影球心，长半轴a恒等于投影球面半径rg，短半轴b长度则与过球心、空间直线的空间平面法线方向相关；②对同一空间直线而言，投影球面半径大小改变仅使其投影椭圆长、短半轴产生等比例缩放。本发明将①②合称为空间直线在球面透视投影下的水平面理想投影椭圆约束，由于径向畸变影响以及相机纵横比不等于1，空间直线在鱼眼图像上的水平面投影椭圆并不满足上述理想约束，表现为长半轴a并不相等，故可利用该约束建立标定方程求解鱼眼镜头内部参数(u0,v0,f,a,k1,k2)。

令p(x,y)为平面椭圆e上任一点，椭圆几何参数为(x0,y0,a,b,γ)，其中：(x0,y0)表示椭圆中心位置，(a,b)分别为椭圆长、短半轴，γ为椭圆长轴与坐标x轴旋转角，若(f1,f2)表示椭圆两焦点,则根据椭圆几何特性：|pf1|+|pf2|＝2a，有：

其中：f1＝(x0-c*cosγ，y0-c*sinγ)，f2＝(x0+c*cosγ，y0+c*sinγ)，c²＝a²-b²。当投影球面半径rg＝1时，式(9)中a＝1，则(x-x0,y-y0)等价于式(4)中pm(xm,ym)，有：

将式(10)左右同乘以相机等效焦距f，则有：(这里c为投影椭圆长、短半轴按比例因子f放大后计算得到)

则根据式(5)，式(11)可改写为：

其中：

故式(12)是关于未知数(u0,v0,f,a,k1,k2)及部分椭圆参数(b,γ)的非线性函数e(u0,v0,f,a,k1,k2,b,γ)，式(12)为本发明求解鱼眼镜头内部参数的标定方程。但该方程非线性，按泰勒级数展开并取一次项，可得误差方程v：

式(13)中：为给定的参数初值；为方程系数，是非线性函数e在给定参数初值下的偏导数；(du0,dv0,dk1,dk2,da,df,db,dγ)为方程未知数，是非线性函数e的参数增量。令eⁱ＝(x0,y0,a,b,γ)(i＝0,1,...,n-1)表示不同空间直线i在鱼眼图像上的投影椭圆(弧)，为投影椭圆eⁱ上的像素点，则当n≥2，m≥5时，根据式(13)以投影椭圆上任一像点为观测值建立误差方程v求解，待估计未知数总数为6+2n，即有：

按间接平差原理对上述误差方程进行最小二乘平差计算，得到最优解：

由于方程(12)非线性，可在给定参数初值的条件下迭代求解参数，有：

于一实施例中，(k1,k2)的初值直接设为0,其余参数初值计算方式如下：

令(xi,yi)(i＝1,2,...,s)表示空间直线在鱼眼图像上的投影椭圆(弧)e^j轮廓点，并采用以下圆锥曲线方程拟合椭圆(弧)：

x²+axy+by²+cx+dy+e＝0(13)

若s不少于5，通过极小化以下目标函数min(f)可获得方程系数a,b,c,d,e的最小二乘求解，进而导出e^j的几何参数值：

根据式(13)-(14)计算获得e^j几何参数后，其中：(b,γ)直接作为初值，以全部空间直线在鱼眼图像上投影椭圆长半轴参数a的均值作为f初值。

假定鱼眼镜头视野满足180°，则根据给定的鱼眼成像模型，单位球面投影下的鱼眼图像有效像素将为一圆形区域，见图4(a)，该区域半径由最大入射角θ决定，见图2(b)，即鱼眼图像轮廓边界上的点理论上应满足：

代入式(5)可得：

由式(15)可知，纵横比参数a不等于1使得鱼眼图像轮廓由圆形变为椭圆，类似的，令(xi,yi)(i＝1,2,...,s)表示检测出的鱼眼图像有效区域椭圆轮廓点，可根据式(13)-(14)计算获得该椭圆轮廓e的几何参数，则可由e的长、短轴几何参数比值给出纵横比参数的初值a＝a/b，由e的轮廓中心位置给出主点坐标初值(u0,v0)＝(x0,y0)。当鱼眼镜头视野不足180°时，可认为部分椭圆轮廓边界位于视野之外，见图4(b)，但仍可利用剩余椭圆轮廓边界上的点拟合得到该椭圆中心位置和长、短轴参数值。

本实施例中还提供了本实施例方法性能测试实验，以网上公开的、具有丰富直线特征的鱼眼图像为对象，通过单视标定计算获得影像获取时鱼眼镜头的内部参数，见图5(a),5(c)和5(e)。本实施例通过canny边缘检测、随机霍夫椭圆提取操作获得单张鱼眼图像上的椭圆轮廓(弧),见图5(b),5(d)和5(f),鱼眼镜头内部参数初值由提取出的椭圆轮廓(弧)给出并利用标定方程进行迭代优化，见图6，表1列出了最终标定参数极其估计误差rmse。图7给出了本实施例标定参数及知名商业软件dxo对图5中鱼眼图像的平面透视矫正结果，因软件dxo无法进行立方盒展开，这里dxo平面透视矫正选取鱼眼图像变形相对小的中心区域(对应于本文立方盒展开中间部分)，并通过手工调整得到最佳矫正效果，由图7可以看出，本文方法矫正效果优于商业软件dxo，即使是参数标定精度相对较差的图像c，其提取椭圆(弧)涵盖视野内的直线也具有良好的透视特性保持，符合人眼视觉习惯。

表1本文方法测试影像特单视标定参数值

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。