专利名称：基于平面和直线的三维重建方法
技术领域：
本发明属于计算机视觉研究领域，是一种基于平面和直线的三维重建方法，利用场景中任意一个平面和不在该平面上的两对相互正交的平行直线，从两个一般的摄像机运动获得的图像线性的重建场景的仿射和度量几何。
背景技术：
三维重建技术是计算机视觉研究的重要课题之一。所谓三维重建就是指从三维物体的图像来恢复三维物体的空间几何形状，文献“Computer Vision A ModernApproach(David A. Forsyth, Jean Ponce Faugeras 著，林学闻，王宏等译.电子工业出版社，2004)表明最好的度量重构结果也要与真实的物体相差一个相似变换。对于不同的视觉任务，需要不同的重建标准，具体的来说，几种不同类型的重构几何为射影重构，确定直线和平面的交点等；仿射重构，计算两点的中点和一个点集的形心和两线的平行性等；度量 重构，确定线线和线面的正交性和任意线段的比值等。Faugeras “Stratification of three-dimensional vision projective,affine, and metric representations，， (Journal Optical Society of America,1995,12(3))首先提出将三维重建分解成3步根据图像对应点得到射影重建，计算射影意义下摄像机矩阵；在射影重建空间计算无穷远平面位置，得到仿射意义下摄像机矩阵；在仿射空间中，进一步施加约束来确定绝对二次曲线的像，从而得到度量重建。根据摄像机成像几何和二维图像性质可知，二维图像本质就是射影空间图像，计算仿射几何就是获得无穷远单应，计算度量几何就是确定绝对二次曲线的像。文献“The impossibility of affine reconstruction from perspective imagepairs obtained by a translating camera with varying parameters，， (Hu ZhanYi, WuFuChao, Proceedings of the 5th Asian Conference on Computer Vision, Melbourne,Australia, 2002, 2 :782-784)指出在没有任何场景信息的情况下不能仿射重构，更不可能度量重构；文献“A Linear Method for Rank 2 Fundamental Matrix with NoncompulsoryConstraint，，(Shiming Wang, Juan Wang, Yue Zhao, IEEE Robotics and Biomimetics2009)给出了利用基本矩阵秩为2的约束线性解出基本矩阵，得到物体的射影重构；文献“Linear Solving the Infinite Homography Matrix with Epipole” (Yue Zhao,Shimin Wang, Juan Wang,Hongqiang Ding,The International Conference on Computermodeling and simulation 2010. 2010-2)利用极点约束求解无穷远单应,得到物体的仿射重建。文献“基于平面和直线的仿射重建”(胡占义，王光辉，吴福朝，计算机学报，26(6)，2003(6).722-728)给出了在变参数模型下，如果场景中含有一张平面和一对平行直线或者是场景中含有两张平行平面，则可以从两个平移视点下线性的对场景进行仿射重建，同时指出如果场景中含有一对平行平面和一对平行直线，则可以从一般运动视点线性的重建场景的仿射几何。
发明内容
本发明提出了一种在固定参数的摄像机模型下，利用场景中任意一个平面和不在该平面上的两对相互正交的平行直线，从两个一般的摄像机运动获得的图像线性的重建场景的仿射和度量几何的方法。该方法仅需摄像机从不同方位拍摄2幅图像就可以线性的重建出场景的仿射几何和度量几何。本发明的技术解决方案I、一种基于平面和直线的三维重建方法，其特征在于在固定的摄像机参数下，根据拍摄场景中的一个平面和不在该平面上的两对相互正交的平行直线，可以从两个一般摄像机运动获得的图像线性的重建场景的仿射和度量几何。具体步骤包括求解平面关于两个摄像机间的单应矩阵H，求解两组平行线上灭点坐标，计算无穷远单应H00,求解绝对二次曲线的像《。(I)求解平面关于两个摄像机间的单应矩阵H 设空间平面上任一点在两幅图像中的对应点emj2)，则由平面Ji所诱导的两摄像机之间的单应H，满足= Hm^，这里采用的是点的齐次坐标，每个这样的方程只能提供两个关于H的约束方程，因此有上N(N彡4)个点可以线性的解出H。(2)求解两组平行线上灭点坐标
toon] 设两组平行直线片= 1，2)在两幅图像中的像/丨'#和d(/ = 1,2),
利用射影变换不变性质，则有 ^1 ' m (,、。其中Pl，p2和qi，q2是两组平行线在两幅图像中的交点。(3)计算无穷远单应H00设e = (ei，e2，l)T为第二幅图像的极点。根据对极几何，对于场景中任意点对应有(my[e]x//my)=0，可以得到一个关于e的方程，利用不在平面n上的M(M彡2)个点对应^1) owf)，线性解出e'。两个视点下，任意平面单应H与无穷远单应H00之间存在如下关系H = H00W,其中a = (a1; a2, a3)T为3X I向量，e是第二个视点下的极点，则有H00= H_eaT,即XiPi =H Co Qi — Hqi-ea qj (i — I，2)。令Hqi= (u, V, w)T, Pi = (Upi7Vpi)1^qi= (Uqi, Vqi)T (i = 1, 2),则有:
[UplUql-Utiel UplVql -vqtex Upl - e, I 1— ma2 =。
VplUql -uq,e2 Vpyql -vq,e2 vp, - e2vptw-v
a3利用取小_■乘法解出a = (a!，a2，a3)，则得到H00= H-ea。构造仿射重构摄像机投影矩阵P(1) = [I 0]，P⑵=[H00 e]。利用三角形原理求解各点的仿射坐标。(4)求解绝对二次曲线的像Co在无穷远平面上点变换m' = H00Iii下,绝对二次曲线的变换为to ' = H00^tWH00-1,在摄像机运动过程中内参数保持不变，则有《 =H二T训二1。当I1,12正交时，有=0,p\(opx - O。构造摄像机矩阵P = PwF1, P ' = PraH'其中丑='M满足MMt =
(H00tWH00)'本发明的优点是(I)本发明主要适用于场景中含平面和不在该平面上的两组正交的平行直线的条件，场景容易实现。(2)本发明的方法仅利用两视点下无穷远平面单应和任意平面单应之间的线性关系，线性的计算出无穷远单应，简化了仿射求解过程。(3)本发明中利用两组正交的直线，为摄像机内参数矩阵提供了更多的约束，根据 无穷远平面上的线变换和正交约束，在进行场景度量重建的同时可以线性的求解出摄像机的5个内参数。
图I本发明中利用平面和直线重建场景的仿射几何和度量几何，以及求解摄像机内参数的流程图。图2本发明采用的长方体重建模块示意图。
具体实施例方式2、下面是对本发明作进一步的详细说明。提出了一种基于平面和直线的三维重建方法，其特征在于在固定的摄像机参数下，根据拍摄场景中的一个平面和不在该平面上的两对相互正交的平行直线，可以从两个一般摄像机运动获得的图像线性的重建场景的仿射和度量几何。具体步骤包括求解平面关于两个摄像机间的单应矩阵H，求解两组平行线上灭点坐标，计算无穷远单应H00,求解绝对二次曲线的像《，求解摄像机内参数矩阵K。(I)求解平面关于两个摄像机间的单应矩阵H设空间平面上任一点在两幅图像中的对应点则由平面所诱导的两摄像机之间的单应H，满足= Hm ，这里采用的是点的齐次坐标，每个这样的方程只能提供两个关于H的约束方程，因此有上N(N彡4)个点可以线性的解出H。(2)求解两组平行线上灭点坐标设两组平行直线4°，#和414° G = 1,2)在两幅图像中的像和d G = 1,2),利用射影变换不变性质，则有
\ P1=I^ X \qx =/,(2)x/f其中Pl，p2和qi，q2是两组平行线在两幅图像中的交点。(3)计算无穷远单应H00在固定摄像机参数下，设摄像机内参数矩阵为K，两视点间的旋转矩阵为R，平移向量为T = (tp t2，t3)T，则根据摄像机成像几何模型有，无穷远单应H00= SKRr1,任意一有限平面的单应H = H00+eaT，其中
权利要求
1.一种基于平面和直线的三维重建方法，其特征在于在固定的摄像机參数下，根据拍摄场景中的ー个平面和不在该平面上的两对相互正交的平行直线，可以从两个一般摄像机运动获得的图像线性的重建场景的仿射和度量几何。具体步骤包括求解平面关于两个摄像机间的单应矩阵H，求解两组平行线上灭点坐标，计算无穷远单应H00,求解绝对二次曲线的像ω。
(1)求解平面关于两个摄像机间的单应矩阵H00 设空间平面η上任一点在两幅图像中的对应点Omf，则由平面所诱导的两摄像机之间的单应H，满足= Hmf]，因此有π上N (N彡4)个点可以线性的解出H。
(2)求解两组平行线上灭点坐标 设两组平行直线4°,与和AUW = I,2)在两幅图像中的像/Γ，/)°和/ΓΙΟ· = 1，2)，利用射影变换不变性质，则有 U=M1) k=,3(2)>^2)° 其中Pi，P2和<l·，Q2是两组平行线在两幅图像中的交点。
(3)计算无穷远单应H00 设e= (e1； e2，l)T为第二幅图像的极点。根据对极几何，对于场景中任意点对应/^“《^， (^/[^^^^，利得到ー个关于ビ的方程，利用不在平面π上的Μ(Μ彡2)个点对应O mf，线性解出e'。
两个视点下，任意平面单应H与无穷远单应H00之间存在如下关系H = Ι+eaT，其中a=(a1； a2, a3)T ^ 3X I向量，e是第二个视点下的极点，则有H00= H_eaT,即λ iPi = H00Qi=Hqi-eaTqi (i = 1,2)。令 Hqi = (u, v, w)T, Pi = (Upi, Vpi)T, qi = (Uqi, Vqi) T(i = 1,2),则有UplUql -uqtex uptvqt -vqtex Upl - ex 1 UplW-UVplUql -uq,e2 VplVql -vq,e2 vpt -e2 °2 vp,w-v °a3 利用取小~■乘法解出a = Ca1, a2，a3)，则得到H00= H-ea。
(4)求解绝对二次曲线的像ω 在无穷远平面上点变换m' = H00Hi下，绝对二次曲线的变换为ω ' = H00-tGJH00-1,在摄像机运动过程中内參数保持不变，则有ω =HノtCoH00'当I1, I2正交时，有心叫1=0,P1 ωρχ = O。
全文摘要
本发明涉及一种基于平面和直线的三维重建方法，利用场景中任意一个平面和不在该平面上的两对相互正交的平行直线，从两个一般的摄像机运动获得的图像线性的重建场景的仿射和度量几何。本发明根据无穷远单应与仿射重建和绝对二次曲线图像与度量重建之间的关系，先利用有限平面单应和无穷远单应之间的变换，得到两视图间的无穷远单应，进而仿射重建；再利用两线的正交性和绝对二次曲线的变换得到绝对二次曲线的像，进而度量重建。并且在进行度量重建过程中可以线性的解出摄像机的5个内参数。
文档编号G06T17/00GK102682467SQ20111006105
公开日2012年9月19日 申请日期2011年3月15日 优先权日2011年3月15日
发明者王慧, 胡晓华, 赵越 申请人:云南大学