利用双平面镜装置中的圆周运动求解摄像机内参数的方法
【专利摘要】本发明涉及利用双平面镜装置中的圆周运动求解摄像机内参数的方法。该装置由两个平面镜与一个针孔摄像机组成，空间点连同其在平面镜中的反射像点在空间同一个圆上。拍摄包括物体及其在平面镜中的四个反射成像的三幅图像，从图像上提取特征点，拟合曲线方程。利用反射点组关于平面镜的对称性质及曲线在特征点处的切线性质得到圆心的像，再利用极点极线的关系得到像平面上的消失线，即无穷远直线的像。消失线与曲线的交即为圆环点的像，建立圆环点的像关于绝对二次曲线像的六个约束方程，线性求解摄像机的内参数。
【专利说明】利用双平面镜装置中的圆周运动求解摄像机内参数的方法
【技术领域】
[0001]本发明属于计算机视觉研究领域，涉及一种用于求解平面折反射摄像机内参数的新方法。拍摄包括物体及其在平面镜中的四个反射成像的三幅图像，利用反射点组关于平面镜的对称性及曲线在特征点处的切线性质线性求解摄像机内参数。
【背景技术】
[0002]在计算机视觉领域，摄像机标定是指根据给定的摄像机模型求取摄像机参数的过程。从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，根据空间物体的三维几何位置与其图像中的对应点之间的相互关系，重建三维空间中物体的几何形状。摄像机标定的方法有很多种，大致可以分为传统标定方法、摄像机自标定方法两类。传统标定方法是在一定的摄像机模型下，基于特定的实验条件，如形状或尺寸已知的标定物，通过对其二维图像进行处理，利用一系列数学变换和计算方法求取摄像机参数。自标定方法不依赖于特定的标定物，利用摄像机在运动过程中周围环境的物体与图像之间的对应关系来标定摄像机。
[0003]折反射摄像机是由折射镜头和反射镜头组成的成像系统，反射镜可以是曲面也可以是平面° 文献“Shape-from-Silhouette with Two Mirrors and an UncalibratedCamera，，(K.Forbes, F.Nicolls, G.de Jager, and A.Voigt, Proc.European Conf.Computer Vis1n, 2006, vol.2, pp.165-178)提出了利用两个平面镜和一个针孔摄像机组成的平面折反射系统。在包含多个视图的图像中提取物体的侧影轮廓，利用这些轮廓的公切线估计摄像机内参数。这种方法成本低，但需要精确定位轮廓的物理坐标，操作过程复杂。文献“Contour-based Structure from Reflect1n，，(Ρ.H.Huang and S.H.Lai, Proc.1EEE Int，I Conf.Computer Vis1n and Pattern Recognit1n, 2006, pp.379-386)利用一个完全透视摄像机模型，在标定过程中需要首先估计焦距的大小，使得结果不甚准确。由于圆环点是一种更简洁更全局化的基元，因而可以进一步提高方法的稳定性，于是用圆环点解决标定问题被广泛使用，文献“A new easy camera calibrat1n technique basedon circular points，，，(Xiaoqiao Mengj Zhanyi Hu，Pattern Recognit1n, vol.36，n0.5，pp.115-1164，2003.)就是利用圆环点的属性，从单一投影图像中计算摄像机的内参数。
[0004]圆环点是无穷远平面上绝对二次曲线上的一对共轭点，在射影变换下，它们的像也是一对共轭的虚点，平面上任何圆与无穷远直线均交与圆环点。文献“利用二次曲线拟合和圆环点进行摄像机标定”(胡钊政，谈正，西安交通大学学报，自然科学版，vol.40，n0.10, pp.1065-1069, 2006.)通过对两圆的图像进行二次曲线拟合，再根据拟合的二次曲线来计算圆环点的像完成标定过程。文献“一种改进的基于圆环点的摄像机自标定方法”(胡培成，黎宁，周建江，光电工程，PP.54-60, 2007.)基于拉盖尔定理求取圆环点像的坐标，进而建立对绝对二次曲线像(IAC)的约束。
【发明内容】
[0005]本发明提出了一种在平面折反射系统中基于圆周运动和极点极线性质线性求解摄像机内参数的方法。该成像系统是由两个矩形平面镜和一个针孔摄像机组成，两个平面镜之间的夹角保持在60° -80°左右，镜面垂直于两平面镜底边所在的平面，放置一个物体在两平面镜之间。将平面镜之间的夹角调整到合适的角度，由于平面镜之间存在一次内部反射，物体在双平面镜装置中可以形成四个虚像。根据平面镜反射过程中等大、等距、对称的成像特点，像平面上二次曲线在特征点处切线性质以及极点极线间的关系求解得到圆环点的像。在求解摄像机内参数的过程中，只需要摄像机从不同方位拍摄包括物体及其它在平面镜中四个虚像的3幅图像，利用圆环点的像关于绝对二次曲线像的约束方程，线性求解摄像机内参数。
[0006]本发明采用如下技术方案:
本发明是利用两个平面镜装置进行摄像机自标定。具体的步骤包括:从不同的方位拍摄3幅包括物体及它在平面镜中四个虚像的3幅图像，从图像上提取特征点拟合得到二次曲线方程；利用平面镜成像原理计算反射点组所在空间圆圆心的像，根据物体在平面镜中的成像规律以及像平面上二次曲线在特征点处切线的性质求解得到圆心的像，再利用极点极线的关系得到无穷远直线的像，即消失线。消失线与二次曲线的交点即为圆环点的像，建立圆环点的像关于绝对二次曲线像的约束方程，线性求解摄像机的内参数。
[0007]1.提取图像中的特征点拟合二次曲线
在Matlab软件中利用Harris角点检测提取出图像平面上的特征点坐标,拟合特征点所在二次曲线。
[0008]2.求圆环点像的坐标
(O计算反射点组所在空间圆圆心的像
如图1, II1与II2是两个矩形实平面镜，它们之间的夹角是6CT至SCf，两个实平面镜之间存在一次内部反射，得到两个虚平面镜Π3，π+。Π3是平面镜112在平面镜玛中的虚像，是平面镜II1在平面镜112中所成的虚像。AAq为空间中一个实点。AA1是点Ad在平面镜D1中的虚像，点A2是点A0在平面镜Π2中的虚像，点A3是点A1在虚平面镜π3中的像，点A4是点A2在平面镜114中的像。根据平面镜反射过程中等大、等距的成像原理,A0及反射点组Al.A2,A3,A4在空间一个圆上，在空间一个圆上，将空间点Aq在四个平面镜中的反射成像过程看做是一个圆周运动。
[0009]如图2，Ad及反射点组A11A2,A31A4在空间一个圆上，所在圆的圆心为ο,点A0与平面镜H1所成的夹角为,与平面镜π2所成的夹角为:。以点A3为起点过点A1做射线，以点为起点过点Aq做射线，过点ApA1的射线与过点A2,Α。的射线交于点D1。以点A1为起点过点Aq做射线，以点A4为起点过点A2做射线，过点A1;A0的射线与过点A4, A2的射线交于点D2。分别过圆ο上的点Aa,A1,A2做切线，过点A1的切线交于点B1，过点AtjfA2的切线交于点B2。根据平面镜成像过程中的对称性质及圆的切线性质，三角形AqA1D1与三角形AqA1B1是底边均为A0A1的等腰三角形，且点Aq, A1关于平面镜H1对称，过点直线经过圆心O。同理，三角形AeA2D2与三角形AqA2B2是底边均为A0A2的等腰三角形，且点VA2关于平面镜Π2对称，过点D21B2的直线也经过圆心O，于是过点DlsB1的直线与过点D21B2的直线的交点即为圆心O。如图分别为空间点组^^^在像平面上的像点^^巧七為為所在的二次曲线为^卜过点a3>ai的直线与过点a2>ao的直线交于点^，点^为空间点D1的像点，过点Spaf3的直线与过点a+，a2的直线交于点d2 , d2为空间点D2的像点。二次曲线C1上点aQ,^处的切线交于点t?i，点％>32处的切线交于点b2，点分别为空间点BllB2的像点。过点b ^d1的直线与过点的直线交于点V ,V即为空间圆L 的像。
[0010](2)计算像平面上圆心的像关于二次曲线C1的极线
点Ad为空间一个实点，AA1是点A0在平面镜II1中的虚像，点A2是点Ad在平面镜Π2中的虚像，点A3是点A1在虚平面镜II3中的像，点是点A2在平面镜Π4中的像。根据平面镜等大、等距的成像原理，A0及反射点组ApA2iA3lA4在空间一个圆上，其圆心为
O。由二次曲线的仿射性质，二次曲线的中心是无穷远直线的极点。通过拟合得到像点a0,ai,a2,a3,a4所在二次曲线的方程，已知圆心的像，根据配极原则求解像点V关于二次曲线C1的极线，即无穷远直线的像。
[0011](3)求取圆环点的像
圆环点是无穷远平面上绝对二次曲线上的一对共轭点，且平面上任何圆与无穷远直线均交于圆环点。空间圆所在平面的无穷远直线与圆交于圆环点，像平面上二次曲线C1与点
ol勺极线的交即为圆环点的像。
[0012]3.求解摄像机内参数
利用在三幅图像中所得三组圆环点的像对绝对二次曲线像的约束可以列出六个约束方程，线性求解得到IAC，进而Cholesky分解求逆得到摄像机内参数。即矩阵
s U0
K= O f, V0，为图像的畸变因子，U;为图像坐标系中u轴、f轴的尺度因子，(?,%) OOlJs
是主点坐标，为摄像机的5个内参数。
[0013]本发明优点:
(I)该成像系统是由两个矩形平面镜和一个针孔摄像机组成，制作简单，成本低。将平面镜之间的夹角调整到60°至80°，两个实平面镜之间存在一次内部反射，物体在双平面镜装置中可以形成四个虚像。
[0014](2)只需用摄像机从不同方位拍摄三幅包含物体及其在平面镜中虚像的图像，提取一组特征点便可线性求解出摄像机的5个内参数。
【专利附图】
【附图说明】
[0015]图1双平面镜装置反射成像的空间立体图。
[0016]图2求解反射点组所在圆圆心像的原理图。
[0017]图3求解像平面上无穷远直线的像及圆环点的像。
【具体实施方式】
[0018]如图1，该装置是由空间中两个放置一定角度的矩形平面镜和一个物体构成。一种基于圆环点求解摄像机内参数的新方法，用此新方法求解摄像机内参数需要经过以下步骤:基于圆环点的摄像机标定方法采用的是两个平面镜装置，将其夹角调整在6(Γ至80°之间。物体放在两个平面镜所成夹角的任意位置，调整平面镜的夹角使得物体在平面镜中出现四个图像即可，利用本发明中的方法对用于实验的摄像机进行标定，具体步骤如下:
1.提取图像中的特征点拟合二次曲线
在Matlab软件中利用Harris角点检测法提取出图像特征点31:^2,&3,34的坐标,拟合特征点所在二次曲线。
[0019]2.计算圆环点像的坐标
(O计算反射点组所在空间圆圆心的像
如图1，玛与112是两个矩形实平面镜，它们之间的夹角是到80-,两个实平面镜之间存在一次内部反射，得到两个虚平面镜。π3是平面镜π2在平面镜II1中的虚像，IIi是平面镜II1在平面镜112中所成的虚像。点灰0为空间中一个实点。AA1是点A0在平面镜H1中的虚像，点A2是点Aq在平面镜Π2中的虚像，点A3是点A1在虚平面镜Π3中的像，点A4是点A2在平面镜Π4中的像。根据平面镜反射过程中等大、等距的成像原理，A0及反射点组在空间一个圆上，将空间点A0在四个平面镜中的反射成像过程看作是一个圆周运动。如图2，Aq及反射点组AlfA2iA3iA4在空间一个圆上，所在圆的圆心为O，点aO与平面镜πι所成的夹角为《，与平面镜1^所成的夹角为β。以点为起点过点A1做射线，以点A2为起点过点Α。做射线，过点A3為的射线与过点A2人的射线交于点D1。以点A1为起点过点A0做射线，以点A4为起点过点A2做射线,过点ApAcj的射线与过点A4為的射线交于点D2。分别过圆ο上的点HA2做切线，过点?的切线交于点B1,过点Ad,A2的切线交于点B2。根据平面镜成像过程中的对称性质及圆的切线性质，三角形AqA1D1与三角形AqA1B1是底边均为A13A1的等腰三角形，且点关于平面镜H1对称,过点D1為的直线经过圆心c,同理，三角形AqA2D2与三角形AgA2B2是底边均为A0A2的等腰三角形，且点Aq,A2关于平面镜Π2对称,过点的直线经过圆L ,于是过点化為的直线与过点D2iB2的直线的交点即为圆心O。如图3，点aQ,ai,a2,a3為分另Ij为空间点组A0, A1A2為，A4在像平面上的像点，点a,3, Wa3,七所在的二次曲线为C1。过点a3為的直线与过点a2，ao的直线交于点斗，点dI为空间点D1的像点，过点S1,ac的直线与过点a4,a2的直线交于点d2，d2为空间点02的像点。二次曲线C1上点3。為处的切线交于点I^1，点aQ，a2处的切线交于点b2，At^b2分别为空间点B11B2的像点。过点I^d1的直线与过点b2,d2的直线交于点, of即为空间圆;L.的像。
[0020](2)计算像平面上圆心的像关于二次曲线^的极线
点Ad为空间一个实点，点A1是点A0在平面镜II1中的虚像，点A2是点A0在平面镜Π2中的虚像，点A3是点A1在虚平面镜Π3中的像，点A4是点A2在平面镜Π4中的像。根据平面镜等大、等距的成像原理，A0及反射点组在空间一个圆上，其圆心为由二次曲线的仿射性质，二次曲线的中心是无穷远直线的极点。通过拟合得到像点a0,ai,a2ia3,a4所在二次曲线的方程，已知圆心的像0f，根据配极原则求解像占关于二次曲线C1的极线i，即无穷远直线的像。
[0021](3)求取圆环点的像圆环点是无穷远平面上绝对二次曲线上的一对共轭点，且平面上任何圆与无穷远直线均交于圆环点。空间圆所在平面的无穷远直线与圆交于圆环点，像平面上二次曲线4与点。'的极线的交即为圆环点的像。
[0022]3.求解摄像机内参数
利用在三幅图像中所得三组圆环点的像对绝对二次曲线像(IAC)的约束可以列出六个约束方程，线性求解出摄像机的5个内参数，即矩阵
【权利要求】
1.本发明利用双平面镜装置中的圆周运动求解摄像机内参数的方法，其特征在于两个实平面镜之间存在一次内部反射，物体在该装置中有四个虚像；根据平面镜等大、等距的成像特点、像平面上二次曲线在特征点处切线性质以及极点极线间的关系求解摄像机内参数；具体的步骤包括:从不同方位拍摄包括物体及其它在平面镜中四个虚像的3幅图像，从图像上提取特征点拟合二次曲线方程，利用平面镜成像原理计算反射点组所在空间圆圆心的像，最后利用极点极线之间的关系求解像平面上无穷远直线的像，即消失线；消失线与二次曲线的交即为圆环点的像，建立圆环点的像对绝对二次曲线的像的约束线性求解摄像机的内参数； (O计算反射点组所在空间圆圆心的像 与112是两个矩形实平面镜，它们之间的夹角是至80'平面镜内部存在一次内部反射，得到两个虚平面镜；H3是平面镜Π2在平面镜II1中的虚像，Π4是平面镜II1在平面镜Π2中所成的虚像；在该装置中I^n3为两个实平面镜，Π3,Π4为两个虚平面镜；点Ad为空间中一个实点；点A1是点Ac在平面镜II1中的虚像，点A2是点Aq在平面镜中的虚像，点A3是点A1在虚平面镜Π3中的像，点At是点A2在平面镜II4中的像；根据平面镜等大、等距的成像原理，A0及反射点组^A2sA3lA4在空间一个圆上，将空间点在四个平面镜中的成像过程看作是一个圆周运动；AQ及反射点组在空间一个圆上，所在圆的圆心为O，点Aq与平面镜II1所成的夹角为a ,与平面镜Π2所成的夹角为β ;以点A3为起点过点A1做射线，以点A2为起点过点Aq做射线，过点A3為的射线与过点A2,A0的射线交于点D1 ;以点A1为起点过点A0做射线，以点A4为起点过点A2做射线，过点A1,Aq的射线与过点的射线交于点D2 ;分别过曰上的点AbApA2做切线，过点AqsAi的切线交于点B1，过点Aq, A2的切线交于点B2 ;根据平面镜成像过程中的对称性质及圆的切线性质，三角形A0A1D1与三角BAdA1B1是底边均为AdA1的等腰三角形，且点AiitAl关于平面镜II1对称，过点D1為的直线经过圆心O ;同理，三角形A13A2D2与三角形AdA2B2是底边均为AqA2的等腰三角形，且点Ad,A2关于平面镜Π2对称，过点D2 32的直线经过圆心O，于是过点^為的直线与过点D2, B2的直线的交点即为圆L ；点a。,a4分别为空间点组A2,A3,A4在像平面上的像点，点aQ, a1;a2,a3,a+所在的二次曲线为ci ;过点a3，al的直线与过点a2’ao的直线交于点^ ,点^为空间点D1的像点，过点al，aO的直线与过点a4，aS的直线交于点d2 , d2为空间点的像点；二次曲线Cl上点处的切线交于点Ij1，点aQ,a2处的切线交于点b2，点1^,1>2分别为空间点BlsB2的像点；过点Wd1的直线与过点1?為的直线交于点夕，。.即为空间圆心?的像 (2)计算像平面上圆心的像关于二次曲线C1的极线 点A0为空间一个实点，点A1是点在平面镜中的虚像，点是点在平面镜π2中的虚像，点A3是点A1在虚平面镜π3中的像，点A4是点A2在平面镜Π4中的像；根据平面镜等大、等距的成像原理，空间AAe与反射点组在圆上，其中，，力圆心；由二次曲线的仿射性质，二次曲线的中心是无穷远直线的极点；通过拟合得到像点a0,ai,a2,a3,a4所在二次曲线的方程，已知圆心的像V，根据配极原则求解像点V关于二次曲线C1的极线?，即无穷远直线的像。
【文档编号】G06T7/00GK104200476SQ201410458088
【公开日】2014年12月10日 申请日期:2014年9月11日 优先权日:2014年9月11日
【发明者】赵越, 张小芬 申请人:云南大学