分离圆的公共自极三角形及圆环点标定针孔摄像机的方法与流程

本发明属于计算机视觉领域，涉及一种利用空间中分离圆的公共自极三角形以及圆环点的像求解针孔摄像机内参数的方法。

背景技术：

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

针孔摄像机成像模型简单，制作方便，不需要一些特殊的镜面，是全景视觉领域研究的热点之一。文献“analgorithmforself-calibrationfromseveralviews”，(r.hartley.,inproc.ieeeconferenceoncomputervisionandpatternrecognition,pages908–912,june1994.)提出了一种针孔摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“aneweasycameracalibrationtechniquebasedoncircularpoints”，(meng,x.,hu,z.,patternrecognition,2003,36(5):1155-1164.)提出在针孔摄像机下以一个圆以及过圆心的若干支线作为标定模板，该方法的优点是可以线性求解得到影消点，但是不能直接得到圆环点的像，并且还会有多余的直线，从而产生更大的误差。

“cameracalibrationfromthequasi-affineinvarianceoftwoparallelcircles”，(wu,y.,zhu,h.,hu,z.,etal.，computervision-eccv2004.springerberlinheidelberg,2004:190-202.)提出了利用平行圆的类仿射不变性标定针孔摄像机，求解两个圆的交点进而得到圆环点的像，进而求解内参数。但是在获得圆环点的像时，需要分析不同的情况判断。

圆作为一种在生活中十分常见的几何图形，与无穷远元素有着密切的联系，并且它的投影轮廓线可全部提取。由于圆具有丰富的视觉几何特性，因此利用圆进行摄像机标定已成为近年来的一个热点。文献“thecommonself-polartriangleofconcentriccirclesanditsapplicationtocameracalibration”，(haifeihuang,huizhangv,yiu-mingcheung.ieeeconferenceoncomputervisionandpatternrecognition,pp.4065-4072,2015)提出了利用同心圆标定针孔摄像机。他们提出了同心圆具有一个公共自极三角形，利用配极原则得到消失线与圆心的像，利用圆环点的像与绝对二次曲线的像的约束标定摄像机。文献“thecommonself-polartriangleofseparatecircles:propertiesandapplicationstocameracalibration”，(haifeihuang,huizhangv,yiu-mingcheung.ieeeinternationalconferenceonimageprocessing,pp.1170-1174,2016)介绍了任意两个相交圆都有一个公共自极三角形，那么在分离圆的情况下，两个圆相交与两对共轭虚点，其中有一对为圆环点，那么就可以根据公共自极三角形的性质得到一个消失点，三个分离圆就可以得到两消失点，从而得到消失线，进而标定针孔摄像机。文献“determiningintrinsicandposeparametersofcamerabasedonconcentriccircles”，(zhubin.internationalconferenceondigitalmanufacturing&automation,2010.)运用同心圆中一条直径上的交比不变性求解得到消失点，利用消失线与圆像的交点得到圆环点的像从而得到摄像机内参数。文献“alinearapproachfordeterminingcameraintrinsicparametersusingtangentcircles”，(chen,xu,zhao,yue.multimediatoolsandapplications,pp.5709-5723,2015.)利用三个正切圆的关系求解得到三个圆心的像，利用一个切点的像和对应的直径上的像点结合交比不变性求解得到一个消失点，同时根据两条平行切线获得另外一个消失点，从而线性求解内参数。

技术实现要素：

本发明提供了一种制作简单，适用广泛，稳定性好的用于求解针孔摄像机内参数的靶标，该靶标由空间中的一对分离圆构成。在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄靶标的三幅图像便可线性求解出针孔摄像机的5个内参数。

本发明采用如下技术方案：

用针孔摄像机从不同的位置拍摄三幅含有一对分离圆的图像。本发明是利用平面中一对分离圆作为靶标用于求解针孔摄像机内参数的方法。首先，分别从这一幅图像中提取靶标图像边缘点，使用最小二乘法拟合获得圆像方程。根据任意两个分离圆像都有唯一的公共自极三角形，可以得到这一对分离圆像的一组对应的极点与极线。同时这条极线是经过这个两个圆的圆心的像，且这个极点是一个消失点。又两个分离圆像交于两对共轭复点，其中一对为圆环点的像，根据圆环点的像与消失点共线的性质可以判断两对共轭复点中哪一对为圆环点的像，从而求得圆环点的像。那么三幅图像可以得到三组圆环点的像，从而利用圆环点的像与绝对二次曲线的像的约束求解针孔摄像机内参数。具体的步骤包括：拟合靶标投影方程，获得分离圆像的公共极点与极线，求两个分离圆像的交点，判断并得到圆环点的像，确定绝对二次曲线的像，求解针孔摄像机内参数。

1.拟合靶标投影方程

利用matlab程序中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到公共极点

设oc-xcyczc为摄像机坐标系，ow-xwywzw为世界坐标系，设平面π上的圆c在针孔摄像机模型下的成像为像平面π’上的圆像c。则圆c上任意一点a与圆像c上的像点ma满足ma＝kc[r|t]a，其中r和t分别为摄像机坐标系与世界坐标系之间的变换关系的旋转矩阵和平移向量。若令以oc为光心的摄像机的内参数矩阵为其中rc是纵横比，fc是有效焦距，s是倾斜因子，[u0v01]^t是摄像机主点p的齐次坐标矩阵形式，其中rc,fc,u0,v0,s为摄像机的5个内参数。利用matlab中的edge函数提取每幅图像中的靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用表示第n幅图像中第一个圆像的系数矩阵，表示第n幅图像中第二个圆像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

由于是分离的圆像，则都有唯一的公共自极三角形，且极点是的一个特征向量，也是一个消失点。

3.得到圆环点的像

因为是分离的圆像，则交于两对共轭复点，其中一对为圆环点的像。根据圆环点的像与消失点共线的性质就可以确定圆环点的像。

4.确定绝对二次曲线的像

三幅图像提供三组圆环点的像，根据圆环点的像与绝对二次曲线的像的约束关系得到绝对二次曲线的像ω。

5.求解针孔摄像机内参数

根据对绝对二次曲线的像ω进行cholesky分解再求逆便得到内参数矩阵kc，即获得摄像机5个内参数。

本发明优点：

(1)该靶标制作简单，只需任意一对分离圆。

(2)对该靶标的物理尺度没有要求，无需知道圆心在世界坐标系下的坐标。

(3)该靶标的图像边界点几乎可以全部提取，提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解针孔摄像机内参数的靶标示意图。

图2是靶标在图像平面上的投影。

具体实施方式

本发明提供了一种用于求解针孔摄像机内参数的靶标，它是由平面中的分离圆构成的，如图1。用此新型靶标完成针孔摄像机内参数的求解需要经过以下具体步骤：

1.拟合靶标投影方程

利用matlab程序中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得靶标投影方程。

2.得到公共极点

如图1，设世界坐标系为ow-xwywzw，原点ow与xw,yw轴确定的平面与空间中的π平面平行，zw与π平面垂直。设oc-xcyczc为摄像机坐标系，oc为摄像机光心，其中光轴与zc轴重合，成像面π'与摄像机的光轴垂直，即与xc,yc确定的平面平行。在针孔摄像机模型下，平面π上的圆c成像为像平面π'上的圆像c。圆c上任意一点a与对应于圆像c上的像点ma满足ma＝kc[r|t]a，其中旋转矩阵r和平移向量t分别为摄像机坐标系oc-xcyczc与世界坐标系ow-xwywzw之间的变换关系。若令以oc为光心的摄像机的内参数矩阵为其中rc是纵横比，fc是有效焦距，s是倾斜因子，[u0v01]^t是摄像机主点p的齐次坐标矩阵形式，其中rc,fc,u0,v0,s为摄像机的5个内参数。利用matlab中的edge函数提取每幅图像中的靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用表示第n幅图像中第一个圆像的系数矩阵，表示第n幅图像中第二个圆像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

以第一幅图像为例，如图2，因为圆像是分离的，所以圆像有四个虚交点，其中有一对是圆环点的像，因此圆像的公共自极三角形的一个极点为消失点。设l1和x1是圆像的公共极线与极点，有：

其中，“.”表示点积。由(1)式整理得

其中λ为比例因子，i为单位矩阵。从(2)式可知，公共极点x1是得一个特征向量，极点x1也为消失点。

3.得到圆环点的像

因为是分离的圆像，则相交于两对共轭复点，即

通过求解公式(3)可以得到两对共轭复点，记为{m1,m2}，{m3,m4}，其中一对为圆环点的像。根据射影变换下的仿射不变性，圆环点的像mi1,mj1与消失点x1共线于l∞(图2)，其中下标i1,j1表示第一幅图像的一组圆环点，所以有

det(mi1,mj1,x1)＝0，(4)

其中det(.)表示矩阵行列式的值，满足(4)式的一组共轭复点为圆环点的像。

4.确定绝对二次曲线的像

三幅图像可以得到三组圆环点的像，根据圆环点的像mii，mji之一与绝对二次曲线的像ω的约束关系可以得到

其中re，im分别表示实部和虚部，利用svd分解(4)式可以线性的解得ω。

5.求解针孔摄像机内参数。

对进行cholesky分解得再求逆便得到内参数矩阵kc，即获得摄像机5个内参数。

实施例

本发明提出了一种利用平面中分离圆作为靶标线性确定针孔摄像机内参数的方法。本发明采用的模板结构示意图如图2所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于平面中分离圆的针孔摄像机标定采用的实验模板是空间中的分离圆，如图1所示，圆记为c。利用本发明中的方法对用于实验的针孔摄像机进行标定，具体步骤如下：

1.拟合图像边界及靶标曲线方程

本发明采用的图像大小为1038×1048。用针孔摄像机拍摄靶标的3幅图像，读入图像，利用matlab中的edge函数提取靶标图像边缘点的像素坐标，并用最小二乘法拟合获得圆像的方程。用表示第n幅图像中第一个圆像的系数矩阵，表示第n幅图像中第二个圆像的系数矩阵，结果如下：

2.得到公共极点

由(2)式可以得到的公共极点x1，即：

x1＝[178.39030011078325.8097451212271]^t，(12)

同理，对于圆像和的极点与极线结果如下：

x2＝[808.915044836739-138.3772777314821]^t，(13)

x3＝[-483.655299576381-181.3211140879911]^t。(14)

3.得到圆环点的像

利用公式(3)计算圆像的两对共轭交点{m1,m2}，{m3,m4}，即它们的齐次坐标矩阵表示：

m1＝[349.09+472.31i458.82+368.04i1]^t，(15)

m2＝[349.09-472.31i458.82-368.04i1]^t；(16)

m3＝[70.58+14.32i766.19+11.42i1]^t，(17)

m3＝[730.58-14.32i766.19-11.42i1]^t，(18)

其中i表示复数。

满足(4)式的一对共轭交点就为圆环点的像，即它们的齐次坐标矩阵表示：

mi1＝[349.09+472.31i458.82+368.04i1]^t，(19)

mj1＝[349.09-472.31i458.82-368.04i1]^t。(20)

同理可得圆像和的圆环点的像，即它们的齐次坐标矩阵表示：

mi2＝[7.1825-1.0257i3.8877+5.9634i1]^t，(21)

mj2＝[7.1825+1.0257i3.8877-5.9634i1]^t；(22)

mi3＝[3.8115+4.8294i4.3163+3.4229i1]^t，(23)

mj3＝[3.8115-4.8294i4.3163-3.4229i1]^t。(24)

4.确定绝对二次曲线的像

将(19)、(21)和(23)带入(5)联立可得关于ω的线性方程组，将方程组svd分解，可解得ω的系数矩阵，结果如下：

5.求解针孔摄像机内参数

根据对(25)中的ω进行cholesky分解再求逆便可获得kc，结果如下：

其中纵横比rc＝kc(1，1)/kc(2,2)(kc(1,1)表示矩阵kc的第1行第1列的元素，kc(2,2)表示矩阵kc的第2行第2列的元素)，故针孔摄像机的5个内参数分别为：rc＝1.090902051300164，fc＝550.000089766280，s＝0.00298281032696173，u0＝450.000554439949，v0＝349.998371731629。