专利名称：基于双相机的小型场景三维重建方法及其装置的制作方法
技术领域：
本发明涉及一种适合小型场景的三维重建方法及其相应的装置。
背景技术：
目前传统的考古发掘方式是在考古工作过程中和完成以后就破坏了考古现场，这样后来的考古研究工作无法直观的观看到考古发掘现场；由于没有数字化信息，考古现场的研究只能通过去实地观看的方式来进行，但是地域的限制又经常给这一研究方式带来极大的困难。
近些年来，随着计算机技术，特别是虚拟现实、计算机视觉、图形学等技术的飞速发展，数字考古工作越来越受到全世界的重视。考古现场的三维重建作为数字考古的一个重要研究方向，不论在技术研究和应用方面都已经有了一定的规模和相当的积累。
如英国的3D Murale(3D Measurement and Virtual Reconstruction ofAncient Lost World of Europe)项目，主要使用多媒体、虚拟现实等技术为数字考古提供一整套文物、地层的获取与重建、器物模型的复原、发掘过程的展示等，并且以土耳其的Sagalassos遗址为实例进行了应用。该项目对考古现场的重建主要采用的是基于图像序列的三维建模。该技术既通过对场景实拍的一系列图像来进行建模，不需要预先获取照相机的内外部参数，在获取场景图像序列时，可以随意改变照相机设置(缩放或焦距)，同时也不需要对于待重建场景模型有预先的知识，从而达到比较高的灵活性，提高获取系统的效率。该技术主要可以分为以下几个步骤投影重建(Projective Reconstruction)，自标定(Self-Calibration)，深度图像配准(Dense Matching)以及三维模型重建(3D Model Building)。基于图像序列的三维建模技术可以恢复出具有照片级真实感的场景或者物体模型，具有成本低廉，方便快捷等特点，但是它的真实感和精确度都不高。
假设场景表面是不透明的，则对应极线上的象素应满足唯一性约束和顺序约束。匹配唯一性是指如果一幅图像上的点在另一幅图像上有对应点，则对应点唯一。顺序约束是指对应极线上相互匹配像素的顺序保持一致。基于极线的整体匹配法是根据匹配唯一性约束和顺序约束，同时寻找两条极线上的对应点，从而提高匹配的效率和准确度。
发明专利申请200510105577.X公开了一种用于现场数字三维重建的增强现实定点观察系统，主要包括图像采集显示镜筒部分、旋转云台测角机构和转动支架部分。通过光电编码器测角获得视点的空间姿态信息，计算机根据此信息完成对实景图像的3D注册。同时经过相应坐标变换的虚拟场与真实的场景融合叠加。系统通过单片机控制系统采集镜铜空间姿态的角度数据，同时可以与IC计费卡的配合，实现对双屏显示器的背光电源的计费供电控制。该技术方案是一种对实地场景进行实时信息增强的观察系统，其目的是增强现实。它通过摄像机拍摄到的现实环境图像进行处理与识别，确定方位信息，得到增强信息在真实场景中的映射坐标，把增强信息叠加在原有物体上进行合成显示，使使用者从感官效果上相信增强信息是其周围环境的有机组成部分。该方案对设备的要求高，所需设备种类繁多，设备架构比较复杂；而且它只能实时地给使用者一种视觉上的增强信息，并没有把这种信息以某种形式保存在计算机中，即没有真实地重建场景模型。
发明内容
本发明提供了一种基于双相机的小型场景的三维重建方法，将基于图像建模中两幅图像间匹配点对的寻找变成了两条极线的匹配(不去考虑图像中不在极线上的其它匹配点)，极大的提高了匹配的效率和精确度；且只需在考古现场拍摄部分定标图像及转台旋转两周内两个相机所拍摄得到的场景的图像，通过后期的计算机处理，即可重建场景的三维坐标，不影响正常考古发掘工作的开展，且成本较低，只需要一个转台、两台相机及相关的处理计算机即可，设备要求低、操作简单，是一种适合遗址现场重建的方法。
本发明还提供了一种上述三维重建方法的装置，利用高精度的可控转台，调整两相机间的位置关系，使两相机的光轴相交，从而使场景与这两条直线所确定的平面的交线成像于两条对应极线，然后利用基于极线的整体匹配法，重建局部场景(场景与平面所交的一条曲线的三维坐标)；控制转台旋转，相机每隔γ角度拍摄一次，转台旋转一周，则可获得多对图像，每对图像可重建局部场景；重整这些局部场景，即可重建整个场景。
一种基于双相机的小型场景三维重建方法，包括两相机、安装两相机的转台，对小型场景三维重建包括以下步骤(1)相机定标选用参照物对两相机进行定标，以两相机参考坐标系的关系和转台转轴在相机参考坐标系中的位置计算为使两相机的光轴相交，转台所需要旋转的角度θ，定标结束；θ的计算过程如下首先定标得到相机2参考坐标系相对于相机1参考坐标系的位置关系，从而得到相机2参考坐标系的Z轴在相机1参考坐标系中的位置；其次计算转台转轴在相机1参考坐标系和相机2参考坐标系中的位置关系。取相机2参考坐标系Z轴上的两点A、B，它们绕转台旋转θ角度后的坐标为A′(xa(θ)，yaθ)，za(θ))、B′(xb(θ)，yb(θ)，zb(θ))可以根据公式求得R(θ)＝T(-x1，-y1，-z1)□Rx(α)□Ry(β)□Rz(θ)□Ry(-β)□Rx(-α)□T(x1，y1，z1)。
旋转后直线m′x=x1(θ)+(xb(θ)-xa(θ))sy=ya(θ)+(yb(θ)-ya(θ))sz=za(θ)+(zb(θ)-za(θ))s]]>m′与Z轴相交，即x＝0，y＝0时，方程的解为所求的θ。
(2)图像拍摄旋转转台，控制相机1以固定的间隔γ拍摄，转台旋转一周，按序保存所得图像，相机1回到原点；转台旋转θ，控制相机2按照同样的拍摄间隔γ拍照，转台旋转一周，按序保存所得照片；γ的设置取决于转台的精度，如转台精度为1/800，则γ的取值为1/800的倍数。
(3)图像匹配根据步骤(1)中获取的相机内外参数和步骤(2)中获得的一对图像，利用基于极线的整体匹配法，从一组二维坐标重构得到场景局部的三维坐标；通过立体视觉中的基本矩阵F利用相机定标获得。u2TFu1=0,]]>分别取u1、u2为光心于成像平面的交点坐标，就可以得到相应的极线方程。
(4)三维模型拼接以步骤(3)中所得的多个场景局部三维坐标为输入，将绕转台转轴的旋转角度nγ(n＝1、2、3......)、转台转轴和相机参考坐标系的关系转化到相机停顿拍照的点坐标系作为相机参考坐标系，得到完整场景的三维坐标。
一种上述方法所采用的装置，包括可控转台、置于转台上的相机架及内置的相机、控制台、图像存储器和处理器，两相机上下相对放置于相机架内，控制台控制转台和两相机配合拍摄图像，图像通过网络传输到图像存储器中保存，提供给处理器进行图像匹配和三维模型拼接。
本发明利用可控转台，简化了图像匹配中匹配点的寻找范围，使之从两幅图像间点的匹配缩小到两条对应极线的匹配(不去考虑图像中不在极线上的其它匹配点)，极大提高了匹配的效率和精度；所需设备简单、普通，操作简单；把前期的图像拍摄和后续的处理相分离，简化了前期工作。
图1为本发明的装置结构示意图；图2为本发明方法的结构示意框图；图3为本发明图像拍摄的控制流程图。
具体实施例方式
如图1所示，一种基于双相机的用于小型场景重建的装置，包括可控转台3、相机架及内置的两相机1、2、控制台4、图像存储器5和处理器6，两相机1、2上下相对放置于转台3上，转台3是一个可控的高精度转台。控制台4可以控制拍摄图像，图像通过网络传输到图像存储器5中保存，提供给处理器6进行后续的操作。控制台4和处理器6物理上可以是一台机器。
图2所示为本发明方法的结构示意框图，如图所示，基于上述装置的重建小型场景的方法，包括以下步骤(1)相机定标利用参照物(如定标棋盘格)对两相机进行定标，通过实验和计算来确定两相机的内外参数，确定两相机参考坐标系之间的关系，以两相机参考坐标系的关系和转台转轴在相机参考坐标系中的位置计算出为使两光轴相交，转台所需要旋转的角度θ，定标结束。
(2)图像拍摄在拍摄场景过程中，并不是严格的按照顺序一对一对的拍摄对应照片。
图像拍摄流程如图3所示，先选定一个相机进行拍摄，若先选定相机1，旋转转台，控制相机1以固定的间隔γ(如0.1度)拍摄，转台旋转一周，按序保存图像(如1001.bmp，1002.bmp等)，相机1回到原点，相机1拍摄结束；判断是否所有的拍摄都结束了，若未结束，则旋转转台θ角度，进行相机2的拍摄，控制相机2按照同样的拍摄间隔γ开始拍照，转台旋转一周，按序保存图像(如2001.bmp，2002.bmp等)。则1001.bmp、2001.bmp就为一组对应的图像。此时，所有拍摄结束。
(3)图像配准根据步骤(1)中所得两相机的内外参数和步骤(2)中获得的一对图像，利用基于极线的整体匹配法，从一组二维坐标(图像参考坐标系中的两条直线)重构得到场景局部(场景与焦平面相交的一条曲线)的三维坐标。
(4)三维模型拼接以步骤(3)中所得的多个场景局部三维坐标为输入，将绕转台转轴的旋转角度nγ(n＝1、2、3......)、转台转轴和相机参考坐标系的关系转化到相机停顿拍照的点坐标系作为相机参考坐标系，得到完整场景的三维坐标。
权利要求
1.一种基于双相机的小型场景三维重建方法，包括两相机、安装两相机的转台，对小型场景三维重建包括以下步骤(1)相机定标选用参照物对两相机进行定标，以两相机参考坐标系的关系和转台转轴在相机参考坐标系中的位置计算为使两相机的光轴相交，转台所需要旋转的角度θ，定标结束；(2)图像拍摄旋转转台，控制相机1以固定的间隔γ拍摄，转台旋转一周，按序保存所得图像，相机1回到原点；转台旋转θ，控制相机2按照同样的拍摄间隔γ拍照，转台旋转一周，按序保存所得照片；(3)图像匹配根据步骤(1)中获取的两相机内外参数和步骤(2)中获得的一对图像，利用基于极线的整体匹配法，从一组二维坐标重构得到场景局部的三维坐标；(4)三维模型拼接以步骤(3)中所得的多个场景局部三维坐标为输入，将绕转台转轴的旋转角度nγ(n＝1、2、3......)、转台转轴和相机参考坐标系的关系转化到相机停顿拍照的点坐标系作为相机参考坐标系，得到完整场景的三维坐标。
2.一种如权利要求1所述方法的装置，其特征在于包括可控转台、置于转台上的相机架及内置的相机、控制台、图像存储器和处理器，两相机上下相对放置，控制台控制转台和两相机配合拍摄图像，图像通过网络传输到图像存储器中保存，提供给处理器进行图像匹配和三维模型拼接。
全文摘要
本发明公开了一种基于双相机的小型场景三维重建方法，包括两相机、安装两相机的转台，对小型场景三维重建包括相机定标、图像拍摄、图像匹配和三维模型拼接。本发明还公开了一种上述方法采用的装置，包括可控转台、置于转台上的相机架及内置的相机、控制台、图像存储器和处理器，两相机上下相对放置，控制台控制转台和两相机配合拍摄图像，图像通过网络传输到图像存储器中保存，提供给处理器进行图像匹配和三维模型拼接。本发明将两幅图像间点的匹配缩小到两条对应极线的匹配，极大提高了匹配的效率和精度；所需设备简单、普通，操作简单；把前期的图像拍摄和后续的处理相分离，简化了前期工作。
文档编号H04N13/00GK1878318SQ20061005079
公开日2006年12月13日 申请日期2006年5月17日 优先权日2006年5月17日
发明者鲁东明, 杜双玲 申请人:浙江大学