利用公共自极三角形标定针孔摄像机的方法与流程

本发明属于计算机视觉领域，涉及一种利用空间中球像及公共自极三角形求解针孔摄像机内参数的方法。

背景技术：

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

针孔摄像机成像模型简单，制作方便，不需要一些特殊的镜面，是全景视觉领域研究的热点之一。文献“analgorithmforself-calibrationfromseveralviews”，(r.hartley.,inproc.ieeeconferenceoncomputervisionandpatternrecognition,pages908–912,june1994.)提出了一种针孔摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“aneweasycameracalibrationtechniquebasedoncircularpoints”，(meng,x.,hu,z.,patternrecognition,2003,36(5):1155-1164.)提出在针孔摄像机下以一个圆以及过圆心的若干支线作为标定模板，该方法的优点是可以线性求解得到影消点，但是不能直接得到圆环点的像，并且还会有多余的直线，从而产生更大的误差。“cameracalibrationfromthequasi-affineinvarianceoftwoparallelcircles”，(wu,y.,zhu,h.,hu,z.,etal.，computervision-eccv2004.springerberlinheidelberg,2004:190-202.)提出了利用平行圆的类仿射不变性标定针孔摄像机，求解两个圆的交点进而得到圆环点的像，进而求解内参数。但是在获得圆环点的像时，需要分析不同的情况判断。

球作为一种常见的几何体，其最重要的优点在于从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且无需知道标定的球和摄像机的位置关系，只利用球像就可标定摄像机。“cameracalibrationfromimagesofspheres”,(huizhangandkwan-yeek.,ieeetransactionsonpatternanalysis&machineintelligence.2007,29(3):499-502.)研究了球像的对偶和绝对二次曲线的像的关系，并将此关系应用于摄像机的标定。文献“cameracalibrationbasedonthecommonself-polartriangleofsphereimages”，(haifeihuang,huizhang,yiu-mingcheung,computervision--accv2014，pp:19-29.)提出了定位两个球像之间的公共自极三角形，从而得到圆环点的像，进而求得内参数。文献“interpretingsphereimagesusingthedouble-contacttheorem”,(xying,hzha,springerberlinheidelberg,2006,3851(91):724-733.)介绍了双接触原理，利用双接触原理可以确定三个球像与绝对二次曲线的像的关系，使用这个关系建立了关于内参数的线性约束，通过此线性约束即可获得内参数。

技术实现要素：

本发明提供了一种制作简单，适用广泛，稳定性好的用于求解针孔摄像机内参数的靶标，该靶标由空间中的三个球构成。在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄靶标的1幅图像便可线性求解出针孔摄像机的5个内参数。

本发明采用如下技术方案：

用针孔摄像机从不同的位置拍摄1幅含有三个球的图像。本发明是利用空间中三个球作为靶标用于求解针孔摄像机内参数的方法。首先，分别从这一幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得三个球像方程。根据任意两个分离球像都有唯一的公共自极三角形，可以得到这两个球像的一组对应的极点与极线。同时这条极线是经过这个两个球的球心的像，故根据球像与绝对对偶二次曲线的像的关系可以得到绝对二次曲线的像与公共极点和极线的约束关系，从而求得绝对二次曲线的像，求解针孔摄像机内参数。具体的步骤包括：拟合靶标投影方程，获得公共的极点与极线，确定绝对二次曲线的像，求解针孔摄像机内参数。

1.拟合靶标投影方程

利用matlab程序中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到公共极点与极线

空间中的球q在针孔摄像机下的成像过程等价于过摄像机中心为顶点的射线锥与球q表面相切的成像过程，其中与球q相切形成圆c1，包含其所在的平面为π相截，即在像平面π′上的球像c1与投影圆c1所成的像是射影等价。若令以oc为光心的摄像机的内参数矩阵为其中rc是纵横比，fc是有效焦距，s是倾斜因子，[u0v01]^t是摄像机主点p的齐次坐标矩阵形式，其中rc,fc,u0,v0,s为摄像机的5个内参数。根据靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用cn(n＝1,2,3)分别表示图像中三个球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

设任意两个分离的球像c1,c2，则c1，c2都有唯一的公共自极三角形，且极点是的一个特征向量。则对应的极线可由关系式l1＝c1·x1确定，其中x1为极点，l1为极线。

3.确定绝对二次曲线的像

因为公共极线l1经过c1，c2的球心的像，则根据球像与绝对对偶二次曲线的像的代数关系可以得到绝对二次曲线的像与公共极线l1和极点x1的约束关系，从而得到绝对二次曲线的像ω。

4.求解针孔摄像机内参数

根据对绝对二次曲线的像ω进行cholesky分解再求逆便得到内参数矩阵kc，即获得摄像机5个内参数。

本发明优点：

(1)该靶标制作简单，只需任意三个球。

(2)对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

(3)该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解针孔摄像机内参数的靶标示意图。

图2是靶标在图像平面上的投影。

具体实施方式

本发明提供了一种用于求解针孔摄像机内参数的靶标，它是由空间中的球构成的，如图1。用此新型靶标完成针孔摄像机内参数的求解需要经过以下步骤：从图像中提取靶标图像边缘点，使用最小二乘法拟合获得球像方程。利用本发明中的方法对实验的针孔摄像机进行标定，具体步骤如下：

1.拟合靶标投影方程

利用matlab程序中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到公共极点与极线

空间中的球q(如图1)在针孔摄像机下的成像过程等价于过摄像机中心oc为顶点的射线锥与球q表面相切的成像过程，其中与球q相切形成圆c1，即包含其所在的平面为π与球相截形成，并且在像平面π′上的球像c1与投影圆c1所成的像是射影等价。如图1所示，坐标轴zc与光轴o1o1重合，xc,yc轴分别与像平面π′上的水平和垂直的轴重合。用matlab中的edge函数提取图像中靶标图像的边缘点像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用cn(n＝1,2,3)分别表示拍摄获得的图像中三个球像的系数矩阵。

如图2，设l1和x1是球像c1，c2的公共极线与极点，l2和x2是球像c2，c3的公共极线与极点，l3和x3是球像c3，c1的公共极线与极点，oi为ci(i＝1,2,3)球心的像。则有

其中，“.”表示点积。由(1)式整理得

其中λ为比例因子，i为单位矩阵。从(2)式可知，公共极点x1是得一个特征向量。根据(1)式可得极线l1。同理，可得l2，x2，l3，x3。

3.确定绝对二次曲线的像

因为球像与绝对对偶二次曲线的像之间的代数关系为

其中，βi(i＝1,2,3)为非零系数，ω^*＝ω^-1。以球像c1，c2为例，因为极线l1经过c1，c2的球心的像，故(3)式可写为

又由(1)式知

则有

ω^-1l1＝x1，(6)

即

l1＝ωx1。(7)

同理，对球像c2，c3和球像c3，c1分别有

l2＝ωx2，(8)

l2＝ωx2。(9)

联立(7)、(8)和(9)式可利用svd分解解得ω。

4.求解针孔摄像机内参数

对进行cholesky分解得再求逆便得到内参数矩阵kc，即获得摄像机5个内参数。

实施例

本发明提出了一种利用空间的球作为靶标线性确定针孔摄像机内参数的方法。本发明采用的实验模板结构示意图如图2所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中球的针孔摄像机标定采用的实验模板是空间中的球，如图1所示，球记为q。利用本发明中的方法对用于实验的针孔摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程

本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的1幅实验图像，读入图像，利用matlab中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得球像的方程。图像中的3个球像的方程的系数矩阵分别为cn(n＝1,2,3)，结果如下：

2.得到公共极点与极线

求的特征值及特征向量，为了统一，取的最大特征值对应的特征向量为x1，即：

x1＝[-738.5376642187211417.7945491475091]^t，(13)

则由(1)式可得

l1＝[-0.0023014733063880.0020320655487581]^t。(14)

同理，对于球像c2,c3和c3,c1的极点与极线结果如下：

x2＝[300.6928203230331417.7945491469021]^t，(15)

l2＝[0.00000000000000002860.006553157973573401]^t；(16)

x3＝[-739.337664218491257.79454914685561]^t，(17)

l3＝[-0.001472690936802-0.0002001567236751]^t。(18)

3.确定绝对二次曲线的像

将(13)和(14)、(15)和(16)、(17)和(18)分别带入(7)、(8)、(9)联立可得关于ω的线性方程组，将方程组svd分解，可解得ω的系数矩阵，结果如下：

4.求解针孔摄像机内参数

根据对(19)中的ω进行cholesky分解再求逆便可获得kc，结果如下：

其中纵横比rc＝kc(1，1)/kc(2,2)(kc(1,1)表示矩阵kc的第1行第1列的元素，kc(2,2)表示矩阵kc的第2行第2列的元素)，故针孔摄像机的5个内参数分别为：rc＝0.8823529411764601，fc＝679.9999999999833，s＝0.3999999999372，u0＝300.0000000001482，v0＝239.9999999999557。