利用球和公共自极三角形标定抛物折反射摄像机的方法与流程

本发明属于计算机视觉领域，涉及一种利用球在单位球投影模型下的对拓性质标定抛物折反射摄像机的方法。

背景技术：

人工智能在视觉领域的发展要求计算机有更精确的从2维图像中识别、处理、应用空间中的3维信息。摄像机系统的标定是计算机视觉研究中基础的一步。标定方法的准确性，直接决定计算机视觉系统中三维分层重构的精确性。计算机标定就是需要利用2维的图像信息获得对应的3维空间信息，如根据图像信息进行测量对应3维信息，得到空间中物体的形状、位置、大小、运动姿态等信息，对应的就需要对摄像机系统中的参数进行测量，这个测量的过程就称为摄像机的标定。摄像机标定结果的准确性直接决定测量得到3维空间中物体信息与真实值之间的误差，比如需要得到3维空间中3维点的坐标，需要用到摄像机系统的主点和焦距，标定得到的主点和焦距的准确性决定了得到3维点的准确性，决定后续3维重构和3维测量结果的准确性。所以，提出准确合理的摄像机标定方法具有实际应用价值。

中心折反射摄像机的成像模型应用最为普遍的是一般化的单位视球投影模型，这个模型由文献“catadioptricprojectivegeometry”，(geyerc,daniilidisk.,internationaljournalofcomputervision,2001,45(3):223-243.)提出，并证明此模型把中心折反射系统成像过程等价为单位视球的两步投影。基于geyer和daniilidis提出的一般化投影模型，出现了许多关于中心折反射摄像机的标定方法，从标定类型上区分可以分为自标定和标定两类。另外，中心折反射摄像机系统下提出了许多基于标定标靶的标定方法：目前为止，除文献“catadioptricself-calibration”，(kang,s.b.,inproceedingsofieeeinternationalconferenceoncomputervisionandpatternrecognition,2000,1:201-207.)和文献“epipolargeometryforcentralcatadioptriccameras”，(sobvert,pajdlat.,internationaljournalofcomputervision,2002,49(1):23–37.)提出的基于图像点之间的对应关系完成自标定的方法外，利用实体标定标靶提出中心折反射摄像机的标定方法可以分为三类。第一类为文献“aflexibletechniqueforaccurateomnidirectionalcameracalibrationandstructurefrommotion”，(scaramuzza,d.,martinelli,a.,siegwart,r.,inproceedingsofieeeinternationalconferenceoncomputervisionsystems,2006:45-45.)提出的基于控制点的标定方法，通过建立2维图像平面与3维空间之间的单应矩阵，代数的方法完成摄像机的标定；第二类为文献“geometricpropertiesofcentralcatadioptriclineimagesandtheirapplicationincalibration”，(barretoj,araujoh.,ieeetransactionsonpatternanalysisandmachineintelligence,2005,27(8):1327–1333.)提出的基于直线的标定方法，通过3条或5条直线的像在图像平面上的几何性质完成摄像机内参数以及镜面参数的求解；第三类为文献“catadioptriccameracalibrationusinggeometricinvariants”，(yingx,huz.,ieeetransactionsonpatternanalysisandmachineintelligence,2004,26(10):1260–1271.)中首次提出球像与摄像机内参数和提供的约束数之间的关系。

文献“acalibrationmethodforparacatadioptriccamerafromsphereimages”，(duanh,wuy.,patternrecognitionletters,2012,33(6):677–684.)利用空间球在一般化的单位视球模型下的成像性质完成标定，在此基础上文献“cameracalibrationfromthequasi–affineinvarianceoftwoparallelcircles”，(wuy,zhuh,huz,etal.,procofeuropeanconferenceofcomputervision,2004,3021:190–202.)中提出的空间球在单位视球模型上的平行对拓小圆得到图像平面上的对拓球像(可视球像与对拓球像)，利用对拓球像之间的关系完成标定。本文在此基础上，利用文献“cameracalibrationbasedonthecommonself-polartriangleofsphereimages”，(haifeih,huizandyiumingc.,lecturenotesincomputerscience,2014.)中公共自极三角形构成条件及公共极点和极线之间的关系得到1个消失点和对应的极线，根据共轭直径得到在公共极点中的消失点与公共极线上的消失点是正交的，由此获得5组正交消失点，从而完成摄像机的标定。

技术实现要素：

本发明提供了一种制作简单，普遍适用，稳定性好的空间球为标靶的标定抛物折反射摄像机的方法。该方法通过5幅标靶图就可线性求解出摄像机的5个内参数.

本发明采用如下技术方案：

由抛物折反射摄像机从不同的角度拍摄得到5幅标靶图像。本发明是由空间中单个球作为标定标靶求解摄像机5个内参数的方法，其特征在于充分利用标靶在单位球模型下的投影性质：第一，分别从5幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像投影；第二，根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像；第三，根据球像和对拓球像得到公共自极三角形，从而得到公共极点和极线。根据公共极点与球像和对拓球像的位置关系确定出消失点及对应的极线，由于极线与球像和对拓球像的交点是以单位视球为圆心的大圆上点的投影，从而得到公共极线方向的消失点。根据共轭直径得到在公共极点中的消失点与公共极线上的消失点是正交的。最后通过正交消失点和摄像机内参数的约束标定摄像机。

1.获得镜面轮廓和球像方程

基于matlab平台，利用最小二乘法从edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标以拟合出镜面轮廓投影方程和球像方程。

2.估计对拓球像

单位球投影模型下，空间球q在拋物折反射摄像机下的成像分为两步。第一步，球q投影为单位视球上的小圆sn+和sn-(n＝1,2,…,5表示拍摄的第n幅图像)，其中一个可见(下标“+”表示)一个不可见(下标“-”表示)，m+和m-分别对应于这对平行小圆上的2个点，且为单位视球直径的2个端点。单位视球直径的2个端点为1对对拓点，则sn+与sn-为1对对拓平行小圆。第二步，通过单位视球表面的虚拟摄像机光心oc把平行1对对拓小圆sn+和sn-投影到图像平面π上，得到二次曲线cn+和cn-，其中称cn-为可见的二次曲线cn+的对拓球像，下标“-”与“+”分别表示不可见和可见，图像平面π与单位视球球心ow所在直线ocow垂直。设以oc为光心的虚拟摄像机内参数矩阵为其中fu，fv为摄像机在u轴和v轴方向上的尺度因子，摄像机主点齐次坐标矩阵式p＝[u0v01]^t，s为u轴和v轴方向的倾斜因子(也称畸变因子)，fu,fv,u0,v0,s为标定过程中需要求解摄像机的5个内参数。利用最小二乘法从edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。设c0为第1幅图像的镜面轮廓投影曲线的系数矩阵，cn+表示第n(n≥5)幅图像中的球像的系数矩阵，则通过c0可获得摄像机内参数矩阵k的一个初始矩阵值k0，从而得到绝对二次曲线的像ω的初始值ω0，即其中，ω与摄像机内参数关系为ω＝k^-tk^-1。若对拓球像cn+和cn-上的点分别为和其中n＝1,2,…5，j＝1,2,…n(n≥5)表示第j幅图像，则由初始化内参数k0得到ω0。再利用方程通过成像点计算对拓像点下标j表示拍摄的第j幅图像，上标n＝1,2,3表示第取的第n个像点，“+,-”分别表示可见与不可见。由投影映射结合性知道点集在对拓球像cn-上，则通过最小二乘法拟合点集可以得到对拓球像cn-的方程。

3.公共自极三角形获得消失点

空间球q在单位球投影模型下，得到图像平面上2条不相交的1对二次曲线c+和c-，由公共自极三角形定义知道c+与c-构成1个公共自极三角形δmambmc，其中ma,mb,mc三点分别对应中的特征向量。3个顶点中，1个为无穷远点，2个位于经过二次曲线中心的极线上，通过svd分解的方法可以得到对应值，且根据点与二次曲线的位置关系可以判断出3点中的消失点和对应的经过二次曲线中心的极线。

4.调和共轭获得消失点

在单位视球上的小圆s+上任意取1点m+，由对拓性质知道s-上必定存在1点m-，称m+和m-为1对对拓点。则m+与m-在单位视球球心ow为圆心的大圆oi上，根据投影映射元素保持结合不变性，在虚拟摄像机有效投影点oc下，1对对拓点m+和m-投影得到图像平面π上的1对对拓像点m+和m-，ow投影为摄像机主点p，m+和m-在大圆oi的像om上。其中，m+和m-与在虚拟摄像机有效投影点oc投影下得到的图像点p共线。由交比调和共轭性计算出对应方向的消失点(m-m+,p0m∞)＝-1，其中m∞为直线m-m+方向上的消失点。5.消失点的正交性

空间球q在单位视球上形成1对平行小圆s+与s-，记平面πs为平行s+与s-的平面，则不相交的平行小圆s+与s-构成1个公共自极三角形δa0b0c0，这里假设c0为无穷远点。由极点和极线的定义，点c0关于小圆s+与s-的极线分别为ls+与ls-，根据圆的共轭直径性质知道c0与ls+两方向的无穷远点正交，同样c0与ls-两方向的无穷远点正交，又因为s+与s-平行，所以ls+与ls-平行。则射影几何中平行直线ls+与ls-相交于无穷远点x∞，则根据直线与平面垂直的判定条件知道c0方向垂直于ls+与ls-所在平面πl，从而得到c0与x∞为1组正交无穷远点。因此图像平面上公共自极三角形δmambmc中顶点ma,mb,mc对应的消失点与极线方向的消失点m∞为1组正交消失点，分别记为di1和di2，其中i＝1,2,…,5表示第i幅图像对应的消失点。

6.求解抛物折反射摄像机内参数

根据正交消失点和绝对二次曲线的像ω之间的约束关系得到ω。再根据方程ω＝k^-tk^-1的关系，通过cholesky分解的方法得到摄像机内参数相关矩阵k^-1，对k^-1求逆即得到摄像机内参数k。

本发明优点：

(1)该靶标制作简单，只需1个球即可。

(2)该靶标不需要考虑球的物理尺度和位置信息。

(3)该靶标自身无遮挡的几何性质使得标定过程中有丰富完整的轮廓点源。

附图说明

图1是用于求解中心折反射摄像机内参数的靶标示意图。

图2是靶标在抛物折反射系统平面上的投影。

具体实施方式

本发明提供了一种用于求解抛物折反射摄像机内参数的方法，它是由空间中的1个球构成，如图1。用此靶标完成抛物折反射摄像机的标定需要经过以下步骤：第一，从抛物折反射摄像机系统中拍摄5幅图像并从中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像投影；第二，由像点获得对拓像点，最小二乘法拟合对拓球像；第三，利用球像和对拓球像得到公共自极三角形，从而得到公共极点和极线；第四，根据公共极点与球像和对拓球像的位置关系确定出消失点及对应的极线，由极线与球像和对拓球像的交点是以单位视球为圆心的大圆上点的投影，从而得到公共极线方向的消失点。通过正交消失点和摄像机内参数之间的关系得到摄像机内参数。具体操作步骤如下：

1.获得镜面轮廓和球像方程

利用最小二乘法从matlab中的edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。

2.估计对拓球像

如图1所示，图中二次曲线的下标n省略，单位球投影模型下的空间球q在拋物折反射摄像机下的成像分为两步。第一步，球q投影为单位视球上的平行小圆sn+和sn-(n＝1,2,3表示拍摄的第n幅图像)，其中，投影中心为单位视球球心ow，以单位视球球心ow建立世界坐标系ow-xwywzw，m+和m-分别为平行小圆上的2个点，且为单位视球直径的2个端点，单位视球直径的两个端点为1对对拓点，则sn+与sn-为对拓平行小圆。第二步，通过单位视球表面的虚拟摄像机光心oc把平行1对对拓小圆sn+和sn-投影到图像平面π上，其中以oc为原点建立虚拟摄像机坐标系oc-xcyczc，xc,yc轴分别与xw,yw平行，zc轴和zw重合垂直于像平面π，并相交于主点p。得到二次曲线cn+和cn-，其中称cn-为可见二次曲线cn+的对拓球像，图像平面π与单位视球球心ow所在直线ocow垂直。设以oc为光心的虚拟摄像机内参数矩阵为其中fu，fv为摄像机在u轴和v轴方向上的尺度因子，摄像机主点齐次坐标矩阵式p＝[u0v01]^t，s为u轴和v轴方向的倾斜因子(畸变因子)。fu,fv,u0,v0,s为标定过程中需要求解的5个内参数。利用最小二乘法从edge函数提取的镜面轮廓投影边缘点和靶标图像边缘点像素坐标拟合出镜面轮廓投影方程和球像方程。设c0为第1幅图像镜面轮廓投影曲线的系数矩阵，其参数表示为：

则通过c0可获得摄像机内参数矩阵k的一个初始矩阵值k0，计算方法如下

从而得到绝对二次曲线的像ω的初始值ω0，由得到的初始值k0，可以得到绝对二次曲线的像的初始值

若对拓球像cn+和cn-上的点分别为和其中n＝1,2,…5，j＝1,2,…n(n≥5)表示第n幅图像，则由初始化内参数k0得到ω0，在此基础上，通过成像点计算对拓像点约束方程如下：

p0为摄像机内参数k0中对应的齐次矩阵主点坐标，由投影映射结合性知道点集在对拓球像cn-上，则通过最小二乘法拟合点集可以得到对拓球像cn-的方程。为了简化表达相同的字母既表示几何元素，也表示几何元素所对应的系数矩阵。

3.由公共自极三角形确定消失点

如图2所示，空间球q在单位球投影模型下，得到图像平面上1对不相交的二次曲线c+和c-，其中c+为可见二次曲线，c-为不可见二次曲线。由公共自极三角形定义知道c+与c-构成1个公共自极三角形δmambmc，其中ma,mb,mc三顶点分别对应中的特征向量：

x＝[x1x2x3]^t，x1,x2,x3为矩阵运算中3个特征值对应的3个特征向量，通过svd分解的方法可以得到。其中，3个顶点x1,x2,x3中1个为无穷远点，2个在经过二次曲线中心的极线上。则根据下式可以得到对应的消失点：

与

由(6)和(7)有下列式子成立：

通过(8)可以看出，消失点x1对应的值g(x1)均大于0，其余点x2,x3对应的值g(x2),g(x3)均小于0，令

g＝max{g(x1),g(x2),g(x3)}，(9)

其中g表示g(x1),g(x2),g(x3)中对应的最大值，即公共自极三角形顶点中对应的消失点为x1。则由5幅图像可以得到对应的5个公共自极三角形和对应的消失点，记为di1(i＝1,2,…,5)。

4.调和共轭性获得消失点

如图1所示，在单位视球上的小圆s+上任意取1点m+，由对拓性质知道s-上必定存在1点m-，称m+和m-为1对对拓点。则m+与m-在单位视球球心ow为圆心的大圆oi上，根据投影映射元素保持结合不变性，在虚拟摄像机有效投影点oc下，对拓点m+和m-投影得到图像平面π上的1对对拓像点m+和m-，ow投影为摄像机主点p，m+和m-在单位圆oi的像om上，如图2所示。其中，m+和m-与在虚拟摄像机有效投影点oc投影下得到的图像点p共线，由交比调和共轭性计算出对应方向的消失点：

(m-m+,p0m∞)＝-1，(10)

其中m∞为直线m-m+方向上的消失点。则由5幅图像可以得到对应的5个极线方向上的消失点，记为di2(i＝1,2,…,5)。

5.求解抛物折反射摄像机内参数

根据正交消失点和绝对二次曲线ω之间的约束关系，得到下列方程组：

由最小二乘法求解方程组(11)得到ω，最后根据ω和摄像机内参数的关系：

ω＝k^-tk^-1，(12)

对ω进行cholesky分解的方法得到摄像机相关矩阵k^-1，对k^-1求逆得到摄像机的5个内参数值。

实施例

本发明提出了一种利用空间球为靶标标定抛物折反射摄像机的方法。本发明采用的实验模板结构示意图如图1所示。下面以1实例对本发明的实施方案做出更为详细的描述。

基于空间中球的抛物折反射摄像机标定采用的实验模板是空间中的1个球，如图1所示，球为q。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1、拟合镜面轮廓和球像方程

本实例中所用图像大小为1063×1033。通过抛物折反射摄像机系统拍摄5幅靶标图像，利用matlaba2016对靶标图像进行canny算子边缘检测和二值化处理，通过最小二乘法拟合镜面轮廓方程和空间球的像的方程。其中，镜面轮廓为图像的边界，用于初始化摄像机内参数，1幅图像的边界可以完成摄像机内参数的估计，记镜面轮廓投影方程的系数矩阵为c0，球像方程的系数矩阵为cn+(n＝1,2…5)，具体数值如下：

2.估计对拓球像

把(13)式代入(2)得到内参数的初始化值k0，参数矩阵值如下：

将(19)代入(3)式可以得到绝对二次曲线初始值ω0，矩阵结果如下：

在cn+(n＝1,2…5)上分别取至少5个点，分别代入(4)式得到对应的对拓像点，通过最小二乘法拟合出对应的对拓球像cn-(n＝1,2…5)方程的系数矩阵，结果如下：

3.获得消失点

把(14)式和(21)式代入(5)式，通过svd分解可以计算出对应公共自极三角形顶点矩阵x1：

根据(14)式、(21)式、(26)式结果，通过(8)式判断出公共自极三角形中的消失点d11，齐次坐标矩阵结果如下：

d11＝(1.0e+04)×[4.3937909209472794.7082733332053200.000100000000000]^t。(27)

根据经过球像中心的公共极线与球像的2个交点为m+,m′+，通过(4)式计算出对应的对拓像点m-,m′-，2对对拓像点齐次坐标矩阵结果如下：

和

由(19)式可以得到摄像机主点初始值p0，齐次坐标矩阵结果如下：

p0＝(1.0e+02)×[4.5000000000000013.5000000000000000.010000000000000]^t。(30)

把(28)式和(30)式代入(10)式得到m-m+方向上的消失点结果齐次坐标矩阵如下：

d12＝(1.0e+02)×[-9.3534480718901124.4860698771562410.010000000000000]^t。(31)

利用(15)式和(22)式，类似的方法得到公共自极三角形中的消失点d21和消失点d21对应极线方向上的消失点d22，它们齐次坐标矩阵结果如下：

利用(16)式和(23)式，类似的方法得到公共自极三角形中的消失点d31和消失点d31对应极线方向上的消失点d32，结果齐次坐标矩阵如下：

利用(17)式和(24)式，类似的方法得到公共自极三角形中的消失点d41和消失点d41对应极线方向上的消失点d42，结果齐次坐标矩阵如下：

利用(18)式和(25)式，类似的方法得到公共自极三角形中的消失点d51和消失点d51对应极线方向上的消失点d52，结果齐次坐标矩阵如下：

4.求解抛物折反射摄像机内参数

将(27)式和(31)式，(32)式，(33)式，(34)式代入(11)式，通过最小二乘法计算得到绝对二次曲线ω的系数矩阵，结果如下：

最后，把(36)式代入(12)式，利用cholesky分解ω，再求逆获得摄像机内参数矩阵k，结果如下：

由(37)式中可以得到摄像机5个内参数的值：为摄像机在u轴和v轴方向上的尺度因子fu＝600.2091061072760，fv＝550.1916805967444，u轴和v轴方向的倾斜因子(畸变因子)s＝0.800278796555200，摄像机主点u0＝449.9999999969917，v＝350.0000000011084。