两主轴相对位置的无心二次曲线求解摄像机内参数的方法

本发明属于计算机视觉领域，涉及一种根据空间平面上的两条无心二次曲线的主轴相对位置关系，利用不同的方法求解消失线，并标定针孔摄像机内参数的方法。

背景技术：

1、计算机视觉已经发展成一门处于前沿领域的独立学科,其核心任务将二维的图像信息转化为三维的物体进行分析处理。图像是由摄像机与空间物体的相对位置以及摄像机内部结构决定的。将摄像机和物体的相对位置称为摄像机的外参数，而摄像机的内参数只与摄像机本身有关。在绝大多数情况下摄像机内外参数必须通过实验和计算才能得到，其中求解内参数的过程称为摄像机的标定。所有二次曲线在射影变换下都是射影等价的，这意味着所有的二次曲线经过射影变换后仍然是二次曲线，因此平面二次曲线也常被用于摄像机标定，并且利用二次曲线对摄像机进行标定的精度较高，稳定性好。

2、绝对二次曲线则是在摄像机标定过程中的基本概念之一，得到绝对二次曲线的像后，利用cholesky分解绝对二次曲线的像即可恢复摄像机内参数矩阵k。恢复正交消失点是常见的对绝对二次曲线的像产生约束的方法，文献“a camera calibration method basedon two orthogonal vanishing points”，(l.g.zhao,c.k.wu,and j.f.ning,inconcurrency and computation:practice and experience,vol.26,no.5,pp.1185-1199,july 2013.)通过检测得到多条互相正交的平行线的像，找出其交点并得到正交消失点，对绝对二次曲线的像产生约束。圆是最基本也是最常见的作为摄像机标定二次曲线之一。文献“camera calibration based on he common pole-polar properties between twocoplanar circles with various positions”，(s.x.liang and y.zhao,in appliedoptics,vol.59,no.17,pp.5167-5178,jun.10 2020.)以其投影的角度引入公共极点极线的性质研究,并分别从几何和代数的角度来解释共面两个圆的各种情况，证明了其中都有公共极点位于无穷远直线处，并且该极点对应的极线通过两个圆的圆心。同心时两个公共极点是无穷远点，为非同心圆时，两个共面圆的其中一个公共极点是无穷远点。因此，利用两组两个共面圆模板的公共极点极线性质获得消失线，根据圆环点的像对绝对二次曲线的像的约束求解摄像机的内参数。除了圆其他的二次曲线也是重要的几何标定物。由于有心二次曲线拥有较为良好的性质，同时也很容易从图像中提取轮廓，故也常常被用于摄像机标定。文献“camera calibration using principal-axes aligned conies”，(x.ying andh.zha,in computer vision-accv 2007pt.1,tokyo,japan,nov.18-22,2007,pp.138–148.)找出主轴对齐有心二次曲线图像上正交消失点，以求解出摄像机内参数。它通过计算两个相同类型的主轴对齐的二次曲线的广义特征值与广义特征向量，及其几何意义，三个二次曲线像的广义特征向量分别代表两个正交消失点以及两个二次曲线的公共中心的像。在未知离心率未知的情况下，必须要通过5幅图才能标定摄像机。已知离心率的情况下，就可以根据like-svd分解，直接找出单应矩阵，只需要3幅图就可以完成摄像机标定。文献“recovering euclidean structure from principal-axes paralleled conics:applications to camera calibration”，(z.zhao and y.weng,journal of the opticalsociety of america a,vol.31,no.6,pp.1186-93,may 2014.)抓住了离心率相同的两平行椭圆相交于四点，其中两个绝对点位于无穷远直线上，而另两个有穷远点位于根轴上，由此就可以利用广义特征值分解得到3组退化的二次曲线，根据绝对符号判断出哪一个是无穷远直线。利用射影变换的几何不变性，在图像上可以确定出消失线进行标定。由于上述方法需要的是两个离心率相同的二次曲线,因此它有它的局限性。文献“conics with acommon axis of symmetry:properties and applications to camera calibration”(z.zhao,in proc.22nd int.joint conf.artif.intell.,vol.1,pp.2079–2084,july2011.)计算图像上两条二次曲线的广义特征值和广义特征向量，可以在离心率相同和不同的情况下通过使用不同的方法找出消失线以及正交消失点进行标定。文献“euclideanstructure from confocal conics:theory and application to camera calibration”(j.s.kim,r.gurdjos,and r.s.kweon,in proc.ieee int.conf.comput.vis.patternrecognit.,vol.114,no.7,pp.803–812,july 2010.)则将共焦二次曲线作为模板，找出圆环点的对偶进行标定。

3、以上文献提供的都是以有心二次曲线作为模板进行摄像机标定的方法，而将无心二次曲线作为主要模板进行摄像机标定方法很少有文献提及。

技术实现思路

1、本发明以两条无心二次曲线作为模板，根据其不同的主轴位置关系给出不同的标定针孔摄像机内参数的方法。本说明书以标定模板为两条主轴任意的无心二次曲线为例，在求解针孔摄像机内参数的过程中，需使用针孔摄像机拍摄的3幅图像，线性求解出针孔摄像机全部5个内参数。根据求解得到的内参数，进一步可以恢复出每幅图像的摄像机外参数。

2、本发明采用如下技术方案：

3、本发明将空间平面上的两条无心二次曲线作为靶标求解针孔摄像机内外参数，其特征在于不论两条无心二次曲线的位置关系如何，都可以利用准仿射变换的性质，恢复出摄像机的5个内参数。首先，直接选取3幅拍摄的图像，在每幅图像中分别提取两个无心二次曲线像的边缘点的像素坐标，使用最小二乘法拟合分别获得两个无心二次曲线像方程。在每幅图像中可以计算出其像的公切线，利用准仿射变换的性质，从中判断出消失线，并恢复出正交消失点对。利用恢复得到的正交消失点对，可以求解出绝对二次曲线的像，对其进行cholesky分解再求逆，内参数矩阵就可以被唯一的确定。

4、最后根据无心二次曲线的中心在无穷远直线的性质，给出了优化方案，提高了标定的精确性和鲁棒性。

5、具体的步骤包括：拟合两条无心二次曲线的像，计算公切线，判断消失线，确定正交消失点，求解针孔摄像机的内参数，优化标定参数。

6、1.拟合无心二次曲线像的方程

7、利用matlab程序中的edge函数的canny算子提取无心二次曲线像的边缘点的像素坐标，并用最小二乘法拟合获得其方程。

8、2.计算公切线

9、获取得到两条无心二次曲线c1,c2的像c1,c2。取摄像机的内参数矩阵为其中fu和fv分别是图像平面u和v轴方向上的尺度因子，s是倾斜因子，[u0v0 1]t是摄像机主点的齐次坐标。fu,fv,u0,v0,s为摄像机的5个内参数。利用matlab中的edge函数的canny算子提取含两个无心二次曲线像的5幅图像的边缘点的像素坐标，通过最小二乘法拟合分别得到两个无心二次曲线像的二次曲线方程。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。

10、不管两条无心二次曲线的位置关系如何，c1,c2的公切线在c1,c2的对偶上，故可以利用非线性的方法求解的到c1,c2的公切线。

11、3.判断消失线

12、因为无穷远直线与无心二次曲线相切的性质，由射影不变性，c1,c2的公切线中有一条即为消失线。由准仿射不变性，所有有穷远元素的像都在消失线的同一侧，由此可以从四条公切线中判断出消失线。

13、4.求解正交消失点

14、ck(k＝1,2)与消失线的切点为vyk(k＝1,2)。若ck(k＝1,2)的两个端点qk1,qk2(k＝1,2)关于主轴对称，连接qk1,qk2(k＝1,2)的像qk1,qk2(k＝1,2)的直线与消失线相交于vxk(k＝1,2)；这里x,y代表的是两个不同的方向。若ck(k＝1,2)的两个端点qk1,qk2(k＝1,2)不关于主轴对称，则也可以利用空间平面上的一些已知信息，得到vxk(k＝1,2)。而vxk(k＝1,2),vyk(k＝1,2)即为正交消失点对。

15、5.求解针孔摄像机的内参数

16、由vxk(k＝1,2),vyk(k＝1,2)得到一对或两对绝对二次曲线的像ω的约束。3幅图像可以提供6个独立的绝对二次曲线像的约束，即绝对二次曲线的像ω被恢复。最后，根据ω＝k-tk-1，对ω进行cholesky分解再求逆，内参数矩阵k即被恢复，即获得摄像机5个内参数。

17、本发明优点：

18、(1)标定要求简单，模板只需要两条无心二次曲线即可。

19、(2)模板对于无心二次曲线的位置关系没有任何限制，不论其位置关系如何均可作为模板进行摄像机标定。

20、(3)所有的标定方法都是线性的，计算复杂度低。

21、(4)无心二次曲线的像边界点容易提取。