基于空间平行圆求解平面折反射摄像机内参数的方法
【专利摘要】本发明涉及基于空间平行圆求解平面折反射摄像机内参数的方法，根据平面折反射系统中空间平行圆的性质线性求解摄像机内参数。该装置是由两个矩形平面镜和一个针孔摄像机组成，空间点连同其在平面镜中的反射像点在空间同一个圆上。空间两个平行圆有四个两两共轭的虚交点，其中与空间平行圆所在平面无穷远点共线的两个共轭复点为圆环点。拍摄包括物体及其在平面镜中四个反射成像的三幅图像，提取两组特征点并拟合二次曲线，利用反射点组关于平面镜的对称性求解像平面上的一个隐消点。在像平面上求解二次曲线的两组共轭虚交点，再根据圆环点像与隐消点的共线性得到圆环点的像坐标，建立圆环点的像关于绝对二次曲线像的约束，线性求解摄像机内参数。
【专利说明】基于空间平行圆求解平面折反射摄像机内参数的方法
【技术领域】
[0001]本发明属于计算机视觉研究领域，涉及一种基于空间平行圆求解摄像机内参数的一个新方法。由于两个成一定夹角的平面镜之间存在一次内部反射，空间点在双平面镜装置中可以形成四个虚像，并且空间点连同它的四个反射虚像在同一个圆上。利用反射点组关于平面镜的对称性及圆环点与无穷远点的共线性建立圆环点的像关于绝对二次曲线像的约束方程，线性求解摄像机的内参数。
【背景技术】
[0002]计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，计算机视觉的基本任务之一，就是从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，从而识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置与其图像中的对应点之间的相互关系，而这种关系又由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。在大多数条件下，这些参数都是通过实验得到的，这就是摄像机标定。它一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物体都是采用一些特殊的几何模型，例如:平面正方形、三角形、圆、空间立方体及圆柱等等，如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。
[0003]折反射摄像机是由折射镜头和反射镜头组成的成像系统，反射镜可以是曲面也可以是平面° 文献“Shape-from-Silhouette with Two Mirrors and an UncalibratedCamera，，(K.Forbes, F.Nicolls, G.de Jager, and A.Voigt, Proc.European Conf.Computer Vis1n, 2006, vol.2, pp.165-178)提出了利用两个平面镜和一个针孔摄像机组成的平面折反射系统。在包含多个视图的图像中提取物体的侧影轮廓，利用这些轮廓的公切线估计摄像机内参数。这种方法成本低，但需要精确定位轮廓的物理坐标，操作过程复杂。文献“Contour-based Structure from Reflect1n，，(Ρ.H.Huang and S.H.Lai, Proc.1EEE Int，I Conf.Computer Vis1n and Pattern Recognit1n, 2006, pp.379-386)利用一个完全透视摄像机模型，在标定过程中需要首先估计焦距的大小，使得结果不甚准确。由于圆环点是一种更简洁更全局化的基元，可以进一步提高方法的稳定性，于是用圆环点解决标定问题被广泛使用。
[0004]圆环点是无穷远平面上绝对二次曲线上的一对共轭点，在射影变换下，它们的像也是一对共轭的虚点，平面上任何圆与无穷远直线均交与圆环点。文献(胡钊政，谈正“利用二次曲线拟合和圆环点进行摄像机标定”，西安交通大学学报，自然科学版，vol.40,n0.10, pp.1065-1069, 2006.)通过对两圆的图像进行二次曲线拟合，再根据拟合的二次曲线来计算圆环点的像完成标定过程。文献(胡培成，黎宁，周建江“一种改进的基于圆环点的摄像机自标定方法”，光电工程，PP.54-60，2007.)基于拉盖尔定理求取圆环点像的坐标，进而建立对绝对二次曲线像(IAC)的约束。文献“Camera Calibrat1n from theQuas1-affine Invariance of Two Parallel Circles，，(ffu Y, Zhu H, et al.ComputerVis1n-ECCV 2004.Springer Berlin Heidelberg, 2004， vol.3021， pp.190-202)将同一平面内或者两个平行平面内的两个圆定义为平行圆，讨论了两个平行圆外离、内含两种位置关系下关联直线与平行圆的位置关系以及相应的摄像机标定问题。对于空间两个平行平面上的两个相离圆，该文献是通过平移借助于一个二次锥讨论关联直线与两个圆的位置关系，但是对相应的标定问题并未做详细的讨论。文献“Concentric-circle-basedCamera Calibrat1n”(Zhang B ff, Li Y F, Chen S Y.1mage Processing, IET, 2012,vol.6，pp.870-876)以平面两个位置、大小任意的同心圆作为标定模板,将圆环点像的求解问题转化为多项式的特征值问题。在标定过程中，标定模板局限于平面两个同心圆，并未讨论空间圆作为标定模板时摄像机内参数的求解问题。
【发明内容】
[0005]本发明提出了一种基于空间两平行圆求解平面折反射摄像机内参数的新方法。该成像系统是由两个矩形平面镜和一个针孔摄像机组成，两个平面镜之间的夹角保持在60^至80\镜面垂直于两平面镜底边所在的平面。将平面镜之间的夹角调整到合适的角度，由于平面镜之间存在一次内部反射，空间点在双平面镜装置中可以形成四个反射虚像。利用反射点组关于平面镜的对称性及圆环点与无穷远点的共线性建立圆环点的像关于绝对二次曲线像的约束方程，线性求解得到绝对二次曲线像，进而Cholesky分解求逆得到摄像机内参数。在求解摄像机内参数的过程中，只需要摄像机从不同方位拍摄包括物体及其在平面镜中四个反射虚像的3幅图像，建立三组圆环点的像关于绝对二次曲线像的六个约束方程，线性求解得到绝对二次曲线像，进而Cholesky分解求逆得到摄像机内参数。
[0006]本发明采用如下技术方案:
本发明是利用双平面镜装置进行摄像机自标定的方法。具体的步骤包括:拍摄三幅包括物体及其在平面镜中四个反射虚像的图像，从图像上提取两组特征点并分别拟合二次曲线；利用反射点组关于平面镜的对称性求解像平面上的一个隐消点。空间两个平行圆有四个两两共轭的虚交点，其中与空间圆所在平面的无穷远点共线的两个共轭虚交点为圆环点。在像平面上根据圆环点的像与隐消点的共线性得到圆环点的像坐标，建立圆环点的像关于绝对二次曲线像的约束，求解圆环点的像关于绝对二次曲线像的六个约束方程，线性求解得到绝对二次曲线像，进而Cholesky分解求逆得到摄像机内参数。
[0007]1.提取图像中的特征点
在Matlab软件中利用Harris角点检测提取出图像平面上的特征点坐标。
[0008]2.求解像平面上圆环点的像 (I)计算像平面上的隐消点V
如图1，II1与112是两个矩形实平面镜，它们之间的夹角是至8(Τ，两个实平面镜之间存在一次内部反射，得到两个虚平面镜Π3.Π4。Π3是平面镜112在平面镜玛中的虚像，是平面镜II1在平面镜112中所成的虚像。点Alj为空间一个实点，AA1是点Atl在平面镜H中的虚像，点A2是点Aq在平面镜Π2中的虚像，点A3是点A1在虚平面镜Π3中的虚像，点K是点A2在平面镜114中的虚像。由平面镜等大、等距的成像原理可知，点Ac^A1关于平面镜玛对称，且反射点组A3,A4在空间圆€^上。B。为空间异于A。的一个实点，点B1是点Bq在平面镜II1中的虚像，点B2是点B0在平面镜Π2中的虚像,点B3是点B1在虚平面镜Π3中的虚像，点民是点B2在平面镜114中的虚像。由平面镜等大、等距的成像原理可知，点BcmB1关于平面镜II1对称,且反射点组BQ，B4在空间圆Cb上。空间圆CA,Cb所在平面均与实平面镜I^n2所成交线垂直,故圆CA,Cb为空间两个平行圆。点Aq, A1所在直线与点Bc, B1所在直线平行且均垂直于平面镜II1，故其交点为空间圆(_-Α>?Β所在平彳丁平面上的无穷远点Pi。如图2,点为反射点组A0, AlsA2, A3sA4的像，点bo,bi,t>2,b3,b4为反射点组B。,B4的像，点a0, S1所在直线与点t>o* W所在直线的交点为隐消点V (无穷远点P1的像),计算公式为:V =(a#1) X(Wb1)。
[0009](2)计算圆环点的像如图2，二次曲线Ca为空间圆Ca的像，在二次曲线Ca上。二次曲线Cb为空间圆Cb的像，点^b1A2為上4在二次曲线Cb上。反射点组A。, AlsA2為為所在空间圆Ca与反射点组EvEvB2,B3,B4所在空间圆Cb平行，故圆CA,Cb有四个两两共轭的虚交点。已知空间圆都通过圆环点/,J，故圆环点是平行圆CA,Cb的一对共轭交点。空间圆与其所在平面的无穷远直线均交于圆环点，即圆环点与该平面的无穷远点是共线的。在双平面镜装置中，点AQ，A1所在直线与点B1所在直线的交点为空间圆
CA,Cb所在平行平面上的无穷远点P1，故无穷远点P1与圆环点J是共线的。在像平面上，假设点为二次曲线Ca,Cb的四个两两共轭的虚交点，其中一组共轭虚交点必为圆环点的像。假设为一组共轭虚交点，m3,m4为另一组共轭虚交点。透视变换保持点线结合性，故在像平面上圆环点的像与隐消点f也是共线的。已知三点共线的充要条件是点的齐次坐标构成矩阵的行列式为O,故在两组共轭虚交点中满足等式det (Ini, mM, V) = O,(i = I或3)的点组即为圆环点的像。图2中假设点In1, rn2满足等式
det (01^1113^)=0 ,即I^m2与隐消点艾共线，In1,m2为两平行圆所在平面圆环点的像。
[0010]3.求解摄像机内参数利用三幅图像中所得三组圆环点的像关于绝对二次曲线像的约束建立六个方程，线性
S U0
求解得到绝对二次曲线像，Cholesky分解求逆得到摄像机内参数，即矩阵
【权利要求】
1.本发明利用空间两平行圆的性质线性求解平面折反射摄像机内参数的方法；该装置是由两个矩形实平面镜和一个针孔摄像机组成，其特征在于两个实平面镜之间存在一次内部反射，物体在该装置中有四个反射虚像；利用反射点组关于平面镜的对称性及圆环点与无穷远点的共线性线性求解摄像机内参数；具体的步骤包括:从不同方位拍摄包括物体及其它在平面镜中四个反射虚像的3幅图像，从图像上提取两组特征点并拟合二次曲线，利用反射点组关于平面镜的对称性求解像平面上的一个隐消点；在像平面上求解二次曲线的两组共轭虚交点，再根据圆环点像与隐消点的共线性得到圆环点的像坐标，建立圆环点的像关于绝对二次曲线像的六个约束方程，线性求解摄像机内参数； (1)计算像平面上隐消点w 与112是两个矩形实平面镜，它们之间的夹角是至80'两个实平面镜之间存在一次内部反射，得到两个虚平面镜Π3，Π4 ; Π3是平面镜Π2在平面镜II1中的虚像，Π4是平面镜H1在平面镜112中所成的虚像；点Aq为空间一个实点，AA1是点A0在平面镜II1中的虚像，点A2是点Ad在平面镜Π2中的虚像，点A3是点A1在虚平面镜Π3中的虚像，点A4是点A2在平面镜114中的虚像；由平面镜等大、等距的成像原理可知，点AqiA1关于平面镜H1对称，且反射点组Aq,A1A2,A3,A4在空间圆〔\上；Bd为空间异于Aq的一个实点，点是点在平面镜1?中的虚像，点Β2是点B。在平面镜Π2中的虚像，点Β3是点E1在虚平面镜Π3中的虚像，点B4是点B2在平面镜114中的虚像；由平面镜等大、等距的成像原理可知，点B0, B1关于平面镜II1对称，且反射点组Bq，B1，B2,B3, B4在空间圆Cb上；空间圆CA,Cb所在平面均与实平面镜I^n2所成交线垂直,故圆CA,Cb为空间两个平行圆；点A0, A1所在直线与点B0, B1所在直线平行且均垂直于平面镜II1，故其交点为空间圆所在平彳丁平面上的无穷远点再；点ao>ai>a2>as>a4为反射点组Ag，A1, A2, A3rA4的像，b0,bj,b2,b3,b4为反射点组B。,B1,B2,B3,B4的像，点a0, B1所在直线与点1^為所在直线的交点为隐消点7 (无穷远点P1的像)，计算公式为; (2)计算圆环点的像 二次曲线Ca为空间圆Ca的像，点aQ，a2,a3, a4在二次曲线Ca上；二次曲线Cb为空间圆的像，,bx,b2,b3,b4在_■次曲线Ce上;反射点组Atj,所在空间圆Ca与反射点组所在空间圆Cb平行，故圆CaiCb有四个两两共轭的虚交点；已知空间圆都通过圆环点/，/，故圆环点是平行圆<^,€^的一对共轭交点；空间圆与其所在平面的无穷远直线均交于圆环点，即圆环点与该平面的无穷远点是共线的；在双平面镜装置中，点K A1所在直线与点B0, B1所在直线的交点为空间圆CA,Cb所在平行平面上的无穷远点P1，故无穷远点乓与圆环点是共线的；在像平面上，假设点为二次曲线CaiCb的四个两两共轭的虚交点，其中一组共轭虚交点必为圆环点的像；假设 为一组共轭虚交点，m3,m4为另一组共轭虚交点；透视变换保持点线结合性，故在像平面上圆环点的像与隐消点▽也是共线的；已知三点共线的充要条件是点的齐次坐标构成矩阵的行列式为O，故在两组共轭虚交点中满足等式= 0,(i = I或3)的点组即为圆环点的像。
【文档编号】G06T7/00GK104200477SQ201410458090
【公开日】2014年12月10日 申请日期:2014年9月11日 优先权日:2014年9月11日
【发明者】赵越, 张小芬 申请人:云南大学