根据球截面的几何特性标定抛物折反射摄像机的方法与流程

本发明属于计算机视觉领域，涉及一种利用空间中一个球及其球截面的几何特性求解抛物折反射摄像机内参数的方法。

背景技术：

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片进行处理以获得相应场景的三维信息。计算机视觉的起源在国际上公认是美国r.roberts在六十年代中期开创的三维实物的分析研究,他利用已知多面体的模型来分析刻画二维图片中对应的物体在三维空间中的真实位置，他把过去的二维图像分析推广到三维的景物分析。从七十年代初期起，计算机视觉开始发展起来。

随着计算视觉技术在各个领域中的大量应用，传统摄像机的可视范围小已满足不了计算视觉技术的要求。为了满足计算视觉技术的要求，中心折反射摄像机孕育而生，从而摄像机标定也成为了计算视觉技术研究的重点。摄像机标定就是得到摄像机内参数，标定的过程是寻找实三维实际物体与像平面二维物体像之间几何射影关系。根据图像二维点，通过有关的代数计算就可以得到匹配的空间三维点坐标。文献“auto-calibrationandabsolutequadric”(triggsb.，proceedingofcomputervisionandpatternrecognition,1997:604-614.)首次将高等几何中的相关的知识引入到摄像机自标定中，大大简化了标定绝对二次曲线过程，而且标定的精确度依旧很高，在摄像机标定的进程中具有重大的意义。文献“geometricpropertiesofcentralcatadioptriclineimagesandtheirapplicationincalibration”,(barretoj.p.,araujoh.,ieeetransactionsonpatternanalysisandmachineintelligence,27(8),2005,1327-1333.)研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。文献“calibrationofcentralcatadioptriccamerasusingadlt-likeapproach”,(puigl.,bastanlary.,sturmp.,etal.internationaljournalofcomputervision,93(1),2011,101-114.)提出了一种基于三维控制点的标定方法，通过使用veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于直接线性变换——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。

球、直线是三维空间中常见的几种几何形状。虽然直线和球通过单位球模型在像平面上都是形成二次曲线，但是球对于直线其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个热点。文献“catadioptriccameracalibrationusinggeometricinvariants”，(yingx.,huz.,ieeetransactionsonpatternanalysisandmachineintelligence,26(10),2004,1260-1271.)首次提出了利用球标定中心折反射摄像机。他们证明了球在中心折反射摄像机的单位球投影模型下的像为椭圆，并且在非退化情况下一个球的投影二次曲线提供两个不变量。为了降低求解的复杂度，他们提出了一种分步标定方法，该方法至少需要4个球的投影才能完成摄像机的标定。但是该文献提出的标定方法是非线性的，计算的复杂度较高，并且该标定方法只能标定抛物折反射摄像机的部分内参数。文献“cameracalibrationfromimagesofspheres”(zhangh.,wongk.y.k.,zhangg.,ieeetransactionsonpatternanalysisandmachineintelligence,29(3)，2007，499-502.)利用球像的对偶关系和绝对二次曲线的投影之间的代数关系求解折反射摄像机内参数。文献“identicalprojectivegeometricpropertiesofcentralcatadioptriclineimagesandsphereimageswithapplicationstocalibration”(yingx.,zhah.，internationaljournalofcomputervision,78(1),2008:89-105.)具体阐述了在折反射摄像机下利用‘双接触’理论对摄像机进行标定，提出在折反射摄像机下每个线像和球像都与修正的绝对二次曲线的像‘双接触’，再由双接触理论利用三条直线或者三个球对折反射摄像机进行标定，直线是球的一个特例。文献“acalibrationmethodforparacatadioptriccamerafromsphereimages”(duanh.,wuy.,patternrecognitionletters,33(6)，2012，677-684.)用球对抛物折反射摄像机进行标定的方法，这个方法解决了用‘双接触’理论无法解决的抛物折反射摄像机的标定问题，但是需要清楚知道抛物镜面的投影轮廓。

技术实现要素：

本发明提供了一种制作简单，适用广泛，鲁棒性好的利用空间球来求解抛物折反射摄像机内参数的方法。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄空间球的三幅图像线性求解出抛物折反射摄像机的五个内参数。

本发明采用如下技术方案：

用抛物折反射摄像机从不同的位置拍摄三幅球像。本发明考虑空间球在单位视球上的投影模型，在单位视球上形成的小圆，光心与球像形成的斜锥和单位视球的交线即为小圆。存在一个圆心与单位视球球心重合的大圆与这个小圆平行，即大圆可通过在单位视球球面上平移小圆获得。根据几何性质(直径外的圆上一点与直径两端点的连线垂直)和透视投影的几何不变性可得，一幅球像可提供一对正交灭点。在获得主点的基础上，三幅球像即可获取摄像机内参数。具体步骤包括：拟合镜面轮廓投影方程和球像方程，求解圆心与单位视球球心重合且与小圆平行的大圆的像的方程，确定摄像机主点，确定正交灭点，求解抛物折反射摄像机内参数矩阵。

1.拟合镜面轮廓投影方程和球像方程

利用matlab程序中的函数提取镜面轮廓投影边缘点和拍摄的球像图片边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。

2.求解圆心与单位视球球心重合且与小圆平行的大圆的像的方程

单位视球上的小圆s是斜锥hs和单位视球的交线。首先，求出在抛物折反射摄像机下斜锥hs的齐次方程，该方程的求解分为三步:第一步，通过拟合得到球像cs，得出它在世界坐标系下的齐次坐标表达式。cs是一条位于像平面上的二次曲线，它在世界坐标系下，zw轴的值为z1＝f+1,其中f为有效焦距，即为斜锥准线的齐次方程。第二步，取球像cs上的一点m，连接m和光心oc所得直线为斜锥母线，即为斜锥母线的方程。第三步，联立母线方程和准线方程，即可得在世界坐标系下斜锥hs的齐次方程。然后联立单位视球在世界坐标系下的齐次方程和斜锥hs的齐次方程，即可求出空间球在单位球上投影小圆s的方程。小圆s与该小圆所在平面的法向量[nxnynz]^t的向量积为0，同时这两点也位于单位视球上，因此小圆s上任意点满足：

其中为d0单位视球球心o到小圆s所在平面(基础平面)的距离，由此方程组可求得法向量[nxnynz]^t和d0。

在抛物折反射摄像机下，如果已知小圆s所在平面的单位法向量[nxnynz]^t，圆心与单位视球球心重合并与小圆s平行的大圆s在像平面的像为c's,则其中为虚拟摄像机oc内参数的初始值,是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是折反射摄像机主点的初始齐次坐标矩阵形式，记为h′s是圆心与单位视球球心重合且与小圆s平行的大圆s的方程系数矩阵。

3.确定摄像机主点

在抛物折反射系统中，图像中心即为主点，也就是单位视球球心o在图像平面上的投影。选取三个空间球,它们在单位球上的投影为三个小圆s1，s2，s3，通过平移可以得到圆心与单位视球重合且与小圆平行的三个大圆s1，s2，s3。设s1，s2，s3在像平面上的投影为cl1,cl2,cl3交点分别为h12,k12，h13，k13，h23，k23，对应的交点连线形成三条线段h12k12，h13k13，h23k23这三条直线必交于一点p，这一点就是图像中心，也就是主点

p＝h12k12∧h13k13∧h23k23，

即可以确定主点坐标p＝(u0,v0)。

4.确定正交灭点

将图像平面坐标系的原点移到主点，即乘一个矩阵tp：

则图像上所有的点都跟着平移，则在新坐标下，绝对二次曲线的像可表示为ω'＝k'^-tk'^-1,其中k'＝tpk。三个大圆的投影相交于6个交点，根据圆的几何知识，直径外的圆上一点与直径两端点的连线垂直，便可以确定一组正交方向。根据投影几何的正交不变性，在像平面上可以确定三组正交方向灭点。

5.求解抛物折反射摄像机内参数

单位球上的三个大圆在像平面上共能够确定三组正交方向灭点，可以提供三个对于绝对二次曲线的约束条件。已知主点坐标，就可以确定绝对二次曲线的方程，继而对其进行cholesky分解再求逆，就可以得到内参数矩阵其中r是纵横比，f是有效焦距，s是倾斜因子，[u0v01]^t是摄像机主点p的齐次坐标矩阵形式，即获得抛物折反射摄像机内参数。

本发明优点：

(1)本文方法只需要球作为靶标。

(2)本文方法具有一般性，在镜面参数已知的情况下可以适用于各种中心折反射摄像机。

附图说明

图1是空间球在单位视球上的投影模型。

图2是三个大圆的一组正交方向灭点。

具体实施方式

本发明提供了一种利用空间球求解抛物折反射摄像机内参数的方法。空间球投影到单位视球上形成一个小圆，一个圆心与单位视球球心重合的大圆与这个小圆平行，通过小圆和大圆在像平面的成像关系，可以得到大圆在摄像机下投影到像平面的像。根据几何性质(直径外的圆上一点与直径两端点的连线垂直)和透视投影的几何不变性可得，一幅球像可提供一对正交灭点。在获得主点的基础上，三幅球像即可获取摄像机内参数。具体步骤包括：拟合镜面轮廓投影方程和球像方程，求解圆心与单位视球球心重合且与小圆平行的大圆的像的方程，确定摄像机主点，确定正交灭点，求解抛物折反射摄像机内参数。具体步骤如下：

1.拟合镜面轮廓投影方程和球像方程

利用matlab程序中的函数提取镜面轮廓投影边缘点和拍摄的球像图片边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。这里用c0表示镜面轮廓投影曲线的系数矩阵，ci表示第i幅图像中的球像的系数矩阵，通过c0可获得摄像机内参数矩阵k的一个初始值，具体如式(1)：

这里，c0(p,q)(p＝1,2；q＝1,2,3)表示矩阵c0的第p行第q列元素，φ为摄像机视场角的一半，ρ为抛物面镜轮廓投影椭圆c0的长半轴长。

2.求解圆心与单位视球球心重合且与小圆平行的大圆的像的方程

如图1，o是单位视球的球心，oc的单位视球球面上的一点，成像面与轴ooc垂直并且交点为p，单位视球上的小圆s是斜锥hs和单位视球的交线，zw轴和zc轴与ooc重合，xw轴，xc轴和yw轴，yc轴分别与图像平面的u轴，v轴平行。首先，求出在抛物折反射摄像机下斜锥hs的齐次方程，该方程的求解分为三步:

第一步，通过拟合得到球像cs，则它在世界坐标系o-xwywzw下的齐次坐标表达式为：

其中[x1y1z11]^t为cs上的一点的齐次坐标矩阵，其中βij＝βji(ij＝ji),cs一条位于像平面的二次曲线，它在世界坐标系下zw轴的值为z1＝f+1,f为有效焦距，即斜锥准线的齐次方程如下：

记为f(x1,y1,z1,1)＝0,其中βij＝βij(ij＝ji)，f为有效焦距。

第二步，取球像cs上的一点m＝[x1y1z11]^t，连接m和光心oc所得直线为斜锥母线，即斜锥母线的参数方程如下：

其中λ为参数，(x,y,z)是在摄像机坐标系oc-xcyczc下的点，如图1。

第三步，联立母线方程和准线方程，即可得在世界坐标系下斜锥hs的齐次方程。

记为fs′(x,y,z,1)＝0,其中[xyz1]^t为hs上的点齐次坐标矩阵，βij＝βji(ij＝ji)。

单位视球在o-xwywzw下的齐次方程可以表示为：

记为f′(x,y,z,1)＝0，其中[xyz1]^t为单位视球上的齐次坐标矩阵点。然后联立单位视球和斜锥hs的齐次方程，即可求出空间球在单位球上投影小圆s的方程：

小圆s与该小圆所在平面的法向量[nxnynz]^t的向量积为0，同时这两点也位于单位视球上，因此小圆s上任意点[xsyszs1]^t齐次坐标矩阵满足：

其中为d0单位视球球心o到小圆s所在平面(基础平面)的距离，由此方程组可求得法向量[nxnynz]^t和d0。

在抛物折反射摄像机下，如果已知小圆s所在平面的单位法向量[nxnynz]^t，圆心与单位视球球心重合并与小圆s平行的大圆s在像平面的像为c's,则

其中为虚拟摄像机oc内参数的初始值,h′s是圆心与单位视球球心重合且与小圆s平行的大圆s的方程系数矩阵。

3.确定摄像机主点

在抛物折反射系统中，图像中心即为主点，也就是单位视球球心o在图像平面上的投影。选取三个空间球,它们在单位球上的投影为三个小圆s1，s2，s3。通过平移可以得到：圆心与单位视球重合且与小圆平行的三个大圆s1，s2，s3。如图2所示，设s1，s2，s3在像平面上的投影为cl1,cl2,cl3交点分别为h12,k12，h13，k13，h23，k23，对应的交点连线形成三条线段h12k12，h13k13，h23k23这三条直线必交于一点p，这一点就是图像中心，也就是主点

p＝h12k12∧h13k13∧h23k23，(10)

其中∧表示相交，即可以确定主点坐标p＝(u0,v0)。

4.确定正交灭点

三个大圆的投影相交于6个交点，根据圆的几何知识，直径外的圆上一点与直径两端点的连线垂直，便可以确定一组正交方向。根据投影几何的正交不变性，在像平面上可以确定三组正交方向灭点。

将图像平面坐标系的原点移到主点，即乘一个矩阵tp：

则图像上所有的点都跟着平移，直径端点hij,kij平移得到h'ij,k'ij，则

在新坐标系下，绝对二次曲线的像可表示为ω'＝k'^-tk'^-1,其中k'＝tpk。这样k'就只依赖于三个参数r，f，s。

设三个大圆为s1，s2，s3，根据几何性质，与每一个大圆共面的直径只有两条。图2中，空间球的投影为cl1,cl2,cl3，其中h12,k12是cl1,cl2的实交点，h13,k13是cl1,cl3实交点，h23,k23是cl2,cl3实交点，共面直径投影为h12k12和h13k13。在新坐标系下，平移成为h'12k'12和h'13k'13。从而可求出新坐标下正交方向的灭点

f'23＝h'12h'13∧k'12k'13，(13)

u'23＝h'12k'13∧h'13k'12。(14)

解得一组正交方向的灭点f'23和u'23，即如图2所示的f23和u23方向的一组正交方向的灭点。同理可得，f'24和u'24，f'34和u'34是另外两组正交方向灭点。

5.求解抛物折反射摄像机内参数

单位球上的三个大圆在像平面上共能够确定三组正交方向灭点，可以提供三个对于绝对二次曲线的约束条件。如公式(15)：

已知主点坐标，就可以确定绝对二次曲线的方程，继而对其进行cholesky分解再求逆，就可以得到内参数矩阵k，即获得抛物折反射摄像机内参数。

实施例

本发明提出了一种利用空间的一个球截面的几何特性来标定抛物折反射摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。在真实实验中，我们使用的实验设备是抛物折反射摄像机，该设备的视野角为180°。具体步骤如下：

1.拟合镜面轮廓投影方程和球像方程

本发明采用的图像大小为2510×2400。以一个空间球为标定物，根据球的不同位置，用上述抛物折反射摄像机拍摄三幅图像。用canny边缘算子处理拍摄的三幅图像，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。第一幅图像镜面轮廓投影方程的系数矩阵为c0，三幅球像方程的系数矩阵分别为cn(n＝1,2,3)，结果如下：

2.求解圆心与单位视球球心重合且与小圆平行的大圆的像的方程

将(16)带入(1)中可得矩阵结果如下：

由(9)式：h′s是圆心与单位视球球心重合且与小圆s平行的大圆s的方程系数矩阵，可得3幅图像中圆心与单位视球球心重合且与小圆平行的大圆的像的方程的系数矩阵分别为c′1、c′2和c′3，具体结果如下：

3.确定摄像机主点

将三个大圆的像的方程分别联立起来，即可获得六个交点的像的齐次坐标矩阵，具体结果如下：

h12＝[2330.181283374150-554.9405727575821]^t，(24)

k12＝[1141.363894479753-135.3341940095781]^t；(25)

h13＝[1870.30583280823-644.1551707654461]^t，(26)

k13＝[1123.074004583982-40.4819389958921]^t；(27)

h23＝[1058.749027771881-243.905644931881]^t，(28)

k23＝[1331.355884369049-78.7202801200071]^t。(29)

再将(24)(25)(26)(27)(28)(29)式带入(10)式，并使用svd方法求解(10)，可得摄像机的主点p的齐次坐标矩阵：

p＝[1253.3162865355391200.3241592675781]^t。(30)

4.确定正交灭点

将(30)式带入(11)式，可得到将平面坐标系的原点移到主点的平移矩阵tp，结果如下：

将(24)(25)(26)(27)(28)(29)分别带入(12)式中，得到新坐标系下六个交点像的齐次坐标矩阵，具体结果如下：

h′12＝[1076.864996838616359.20469909354301]^t，(32)

k′12＝[-1119.523920557881254.34481425462601]^t；(33)

h′13＝[6169.922967452878-4409.8474725740961]^t，(34)

k′13＝[-1302.4228195155841123.8238185467891]^t；(35)

h′23＝[-1945.672587636570-738.00524851176301]^t，(36)

k′23＝[78039.59783351228976413.9024909046041]^t。(37)

再将(32)至(37)式带入(13)和(14)式中，可得新坐标系下正交方向的灭点的齐次坐标矩阵，具体结果如下：

f′23＝[8.908102047018100-549.12153104713641]^t，(38)

u′23＝[-432.2127108993893230.35479045693341]^t；(39)

f′24＝[-350.9545753799571-38.69555345833411]^t，(40)

u′24＝[-30.20792156985200123.62398853241701]^t；(41)

f′34＝[-899.8051516840750245.27923408044321]^t，(42)

u′34＝[-87.69793925413430235.52318624913321]^t。(43)

5.求解抛物折反射摄像机内参数。

将(38)至(43)式带入(15)式得到ω中元素的线性方程组，使用svd分解求解该线性方程组得到ω的系数矩阵，结果如下：

最后，对(44)式中的ω进行cholesky分解再求逆得到内参数矩阵k，即获得抛物折反射摄像机内参数矩阵，结果如下：

故抛物折反射摄像机的5个内参数分别为：r＝2.796857599，f＝221.3601894290854，

s＝-2.899145753753384，u0＝1253.316286535539，v0＝1200.3241592675780。