专利名称：二次凸曲面反射成像的实景空间构造方法及其装置的制作方法
技术领域：
本发明主要涉及到光学成像领域，特指一种利用高度平滑且反光性能良好的二次凸曲面的反射镜反射成像原理快速自动构造数字实景空间，然后按人类视觉习惯再现提供给用户自然浏览的二次凸曲面反射成像的实景空间构造方法及其装置。
背景技术：
可360度全方位漫游浏览的宽广视场数字实景空间系统在安全监控、虚拟旅游、教育娱乐以及军事领域都有着广泛的应用前景，其核心是在照相机/摄像机采集的实景图像/视频数据的基础上，经过计算机处理后建立起的360度数字实景空间模型和相应影像数据。现有技术是利用数字实景空间系统采用实景空间模型，将拍摄得到的部分图像通过投影变换，无缝地“贴”到实景空间模型的表面上，从而生成完整的实景图像数据。目前常用的方法是采用传统镜头的照相机/摄像机进行拍摄并拼接。首先是在固定观察点从多个角度拍摄得到多幅边界重叠的图像，然后按照具体采用实景空间模型的不同，对这些图像进行投影变换，然后无缝拼接。采用这种思路的系统典型的有苹果公司的QuickTime VR和佳能带实景拍摄数码相机及数字实景辅助生成软件，还有微软公司的Surround Video软件系统等等。另外，还有的是采用加装广角鱼眼镜头进行拍摄，在鱼眼照片的基础上投影变换生成实景影像的方法。一般鱼眼镜头视角大于180度，理论上构造全部的实景空间也只需要两张鱼眼照片变换拼接即可。如果只需要实景空间的部分影像数据(例如安装在天花板上的监控镜头)，一张鱼眼图像直接做到特定实景空间的投影变换即可满足需要。采用这种思路的有IPIX公司的实景系统。
传统的镜头拍摄然后采用无缝拼接的方法成本最低，但是缺点为1.需要从不同角度拍摄多张图片，对拍摄技巧有较高要求；2.生成的实景图像质量整体上较好，但多张图像拼接处容易出现明显裂痕以及图像间明暗程度的差异；3.后期制作的工序复杂，步骤繁琐，无法完全自动完成，需要人工操作，因此无法用于实时监控等领域。
鱼眼镜头拍摄变换方法不再需要人工介入拼接过程，做初始校正后可通过程序全自动地得到最终实景影像。但其缺点在于一般情况下特定鱼眼透视镜头的模型参数难以获取，无法精确地进行鱼眼图像的投影变换计算，如果使用近似计算则最终视觉效果不够自然逼真；此外鱼眼镜头的成本很高，如果定制指定模型参数的鱼眼镜头成本更是高昂。
发明内容
本发明要解决的技术问题就在于针对现有技术存在的技术问题，本发明提供一种能够快速自动地生成数字实景影像且影像质量也能够满足各种相关应用需求的、而且制作成本低廉的二次凸曲面反射成像的实景空间构造方法及其装置。
为了解决上述技术问题，本发明提出的解决方案为一种二次凸曲面反射成像的实景空间构造方法，其特征在于首先成像景物在二次凸曲面镜的反射成像面上形成反射图像，然后将成像透镜的光轴对准二次凸曲面镜反射成像面的中央，调整成像透镜的焦距，使二次凸曲面镜反射成像面上的反射图像能够通过成像透镜清晰成像；根据光学原理将成像透镜捕捉到的反射图像中的每个像素点通过投影变换计算在虚拟实景空间模型中找到对应的像素点，从而生成构造虚拟实景空间模型所需的实景图像。
所述虚拟实景空间模型采用柱面模型、球面模型或腰鼓面模型。
所述二次凸曲面镜采用圆锥面、抛物面、双曲线面或半球面。
一种实施二次凸曲面反射成像的实景空间构造方法的装置，其特征在于该装置包括二次凸曲面镜、成像透镜、感光成像装置以及计算机；其中，成像透镜的光轴与二次凸曲面镜反射成像面的中线重叠，成像透镜的成像面与感光成像装置的成像面重叠，感光成像装置与计算机连接。
所述二次凸曲面镜采用圆锥面、抛物面、双曲线面或半球面。
所述成像透镜采用传统透镜或远光透镜。
所述感光成像装置采用CCD或COMS。
与现有技术相比，本发明的优点在于1、本发明中采用平滑二次凸曲面镜作为反射成像面，有效视场比现有技术中的各个反射成像装置更宽阔；2、本发明能够自动实时地构造数字实景空间。对于特定观察点和特定时刻，无论是柱面、还是球面，腰鼓面的实景图像只需一次拍摄即可快速自动生成，可用于实时监控等领域；3、采用本发明的方法和装置生成的图像变化平滑，成像视觉效果好，能够满足应用需求，而且因为一次拍摄不需要拼接，图像中不会有拼接裂痕和明暗反差；4、本发明的方法便于实现，实现本发明方法的装置轻便、便携、便于移动，可安装于一移动载体上，实现运动中拍摄；5、本发明与鱼眼镜头相比，视觉效果明显好于鱼眼镜头，而且成本更低。
图1是本发明的结构原理示意图；
图2是本发明方法的流程示意图；图3是本发明投影变换的原理示意图；图4是本发明实施例1变换过程的立体示意图；图5是本发明实施例1变换过程的切面示意图；图6是本发明实施例2变换过程的立体示意图；图7是本发明实施例2变换后图像的坐标示意图；图8是本发明装置实施例的结构示意图；图9是本发明装置实施例中紧箍环的结构示意图。
具体实施例方式
以下将结合附图对本发明做进一步详细说明。
如图1所示，本发明二次凸曲面反射成像的实景空间构造的装置包括二次凸曲面镜1、成像透镜2、感光成像装置3以及计算机4；其中，成像透镜2的光轴与二次凸曲面镜1反射成像面的中线5重叠，成像透镜2的成像面与感光成像装置3的成像面重叠，感光成像装置3与计算机4连接。其中二次凸曲面镜1的二次凸曲面采用圆锥面、抛物面、双曲线面或半球面，成像透镜2采用传统透镜或远光透镜，感光成像装置3可以采用CCD或COMS。
本发明的二次凸曲面反射成像的实景空间构造方法，首先成像景物在二次凸曲面镜1的反射成像面上形成反射图像，然后将成像透镜2的光轴对准二次凸曲面镜1反射成像面的中央，调整成像透镜2的焦距，使二次凸曲面镜1反射成像面上的反射图像能够通过成像透镜2清晰成像；根据光学原理将成像透镜2捕捉到的反射图像中的每个像素点通过投影变换计算在虚拟实景空间模型中找到对应的像素点，从而生成构造虚拟实景空间模型所需的实景图像。在具体装置上实践时，其具体流程如图2所示，首先制作高反光的二次凸曲面镜1，固定二次凸曲面镜1与数码相机的相对位置使相机对准反光镜的中央，然后对数码相机调焦，使得反光镜面上的反射图象在相机中清晰成像，再通过传输线将数字图象从数码相机导入计算机4中，最后通过投影变换计算得到实景空间所需的360度数字实景图象。
本发明使用的二次凸曲面镜1是利用高精度数控车床加工而成，其表面高度平滑，然后镀上高反光材料，从而就得到的反光性能良好的二次凸曲面作为镜反射成像面。本发明利用二次凸曲面镜1(如汽车观后镜)宽广视场成像的特点，将二次凸曲面镜1的凸面朝下水平放置，二次凸曲面的形状和光线反射特性必然决定了反射面上的成像包含了水平方向360度的宽广视场全部景物信息，其垂直方向的视角大小则取决于光滑二次凸曲面的曲面方程以及垂直方向高度。将成像透镜2对准二次凸曲面镜1反射成像面的中央，调整成像透镜2的焦距，使二次凸曲面镜1上的反射图像能够在成像透镜2中清晰成像。因为需要拍摄成像的是二次凸曲面镜1的成象面上的影像而不是实际影像，所以调整中心点和对焦的操作只需要一次，以后固定下来即可。通过用成像透镜2拍摄二次凸曲面镜1的成象面上的反射影像，就可一次性得到构造实景空间所需的水平360度实景影像的成像图片。
而实景空间模型常用的有柱面、球面、腰鼓面等多种模型，符合要求且容易想到的光滑二次凸曲面也有圆锥面、抛物面、双曲线面、半球面等等。选择不同的实景空间模型与不同的凸曲面曲面方程进行组合，会有多种实现模式，每种组合的投影变换具体计算公式不同，计算复杂度不同，视觉效果接近但有一定差异，甚至曲面方程的参数不同，最终结果也不同。而沉浸感强的常用实景空间模型有柱面、球面以及腰鼓模型。柱面模型假定观察点处于中央，无限远处的全部场景影像都投影到柱面内侧表面上，人眼视场习惯的观察图像则是柱面上一部分弧面在切平面上的平面反投影图像；球面模型假定观察点处于中央，全部场景影像都投影到球面的内表面；常用的腰鼓状模型忽略了靠近球面南北两极的图像数据，实质上是对球面模型的实用简化表示；另外还有一些较少见的实景空间模型，比如立方体模型等等。
在光滑二次凸面曲面方程、透镜成像模型和实景空间模型已知的前提下，理论上对于最终成像图上的任意一个象素点，必然能通过投影变换在凸反光曲面上精确定位对应的像素点；对于凸反光曲面上的任意一个点，同样也能通过投影变换精确计算出它在柱面实景空间或者球面实景空间中对应的象素点。因为点与点之间是一一映射关系，因此计算过程可逆。光线折反射及传统透镜小孔成像原理决定其一一映射关系。
首先结合图3阐述二次曲面结合传统透视成像透镜，投影变换快速构造球面实景空间并获取实景图像的思想。图3中A为视点，F为相机焦点，二次曲面β是光滑反射面；曲面γ是球形投影面，即球面实景空间模型实景图像所在的面。平面α是成像面，其中圆型面6的内容就是光滑二次曲面β对周围360度景物反射产生的图像。实景空间模型实景图像构造基本思想是设P是相机拍摄图像上的任意像素点，在坐标系中连接P，F并延长交反射面于P1点；连接视点A并延长A和P1点交球形投影面γ于P2；P2就是像素点P还原后在实景图像上的位置。逐点运算，就可把拍摄图像上的所有像素点还原到需要的球面实景空间中。
实施例1下面以圆锥反光面、远心透镜结合柱面实景空间模型为例，示范投影变换计算的具体过程、步骤和公式。
投影变换分为四个步骤1、将相机所拍摄的图像平面上的象素点映射到圆锥侧表面上；2、将圆锥侧表面上的象素点映射到圆柱侧表面上；3、将圆柱侧表面垂直剪开并展开为一平面，使圆柱面上的象素点以二维坐标的形式存储；4、从柱面实景图像进行反投影变换，重新构造出柱面空间中每一个视线方向所对应的人眼视场图像。
如图4和图5所示，设相机的透视投影中心为C，其在投影平面上的投影点为Q；圆锥和圆柱的直径长均为d，圆锥的母线长也为d，则有几何知识可知圆锥的每一纵截面为一等边三角形，该等边三角形的重心(即圆锥体的重心)位于中垂线距离圆锥底面2/3处，以此点为坐标原点，圆锥垂线为z轴方向建立观察坐标系，设相机投影平面上任一点P，其在图像平面的坐标为(u，v)连接CP并延长与圆锥侧表面的交点坐标为P1(x1，y1，z1)(在OXYZ坐标系下)。如假设相机焦距为f，W、H分别为相机所拍摄的图像的宽和高，则有z1=1-2×Ω1+Ω×36d,]]>……(公式1)其中Ω=fd-2(f+L+32d)(u-W2)2+(v-H2)22(f+L)(u-W2)2+(v-H2)2]]>x1=f+L+z1+33df(u-W2),]]>……(公式2)y1=f+L+z1+33df(v-H2),]]>……(公式3)由此(1)、(2)、(3)式求得P1在OXYZ坐标系下的坐标(x1，y1，z1)，连接坐标原点O和点P1并延长与圆柱侧表面相交于点P2(x2，y2，z2)。
则OP1的直线方程可以表示为参数方程的形式x=x1ty=y1tz=z1t]]>……(公式4)其中t为参数，而圆柱面的方程可以表示为x2+y2=(d2)2]]>……(公式5)
联立式(4)与(5)，可以求得t=f2x12+y12]]>……(公式6)将式(6)代入式(4)可得直线OP1与圆柱面的交点P2的坐标(x2，y2，z2)x2=d2×x1x12+y12y2=d2×y1x12+y12z2=d2×z1x12+y12]]>……(公式7)再将圆柱面在X轴正方向垂直剪开并展开，求P2(x2，y2，z2)所对应的平面坐标P′(x′，y′)即可完成柱面实景空间的生成。
然后在柱面实景空间的基础上，根据当前用户观察角度和用户视场范围重新构造出柱面空间中每一个视线方向所对应的人眼可见视图。首先是计算柱面实景空间中的可见区域，从柱面实景空间的实景图像中确定对应的部分图像，将这部分柱面图像逐像素地反投影变换到与柱面相切的当前视线的法平面上，最终得到符合肉眼能见视场和观察习惯的特定视角的平面实景图像。投影反变换与正变换的原理相同，不再展开。
实施例2虽然有多种组合模式，但实践证明采用抛物反光面和双曲面和传统透视透镜的成像效果较好，并且不同组合虽然在计算细节上有差别，但计算思想和过程是一样的。下面仅就抛物反光面、传统透视透镜和柱面模型的组合特例，给出实用的投影变换公式，变换过程忽略。
如图6和图7所示，A为视点，O为三维坐标原点，C为相机底焦点，抛物面方程为y＝ax2+b，抛物面底面半径为r，AO＝h，OC＝l，焦距为f，O点到圆柱底面的距离为k，底片宽为w，高为H。如图9把柱面实景图像沿着与x轴正方向相交的一条母线展开，以左下角的顶点为原点建立二维直角坐标系，设展开的柱面实景图像上有点P3(X，Y)，像素点P3(X，Y)和在底片图像上对应像素点P的坐标(U，V)之间映射关系如下U=W2-[a(Y-k-h)+a2(Y-k-h)2+4ahr2]·frcosXra(Y-k-h)2+(Y-k-h)a2(Y-k-h)2+4ahr2+2r2(h+l)v=H2+[a(Y-k-h)+a2(Y-k-h)2+4ahr2]·frsinXra(Y-k-h)2+(Y-k-h)a2(Y-k-h)2+4ahr2+2r2(h+l)]]>……(公式8)如图8和图9所示，本发明二次凸曲面反射成像的实景空间构造的装置的实施例，首先加工长度260毫米，直径5毫米的圆柱型双头攻丝金属螺杆101一根，距螺杆10一端70毫米处加工出一个突出支撑位置102，用于托住并固定二次凸曲面反光镜1。该二次凸曲面反光镜1是以黄铜为材料，利用数控车床加工而成，其曲面方程具体采用抛物面方程y＝7x2，并在二次凸曲面反光镜1中央钻一个直径5毫米的圆孔；然后对二次凸曲面反光镜1的反光面做抛光电镀处理，以得到高度光滑的镜面反射效果。加工一个2毫米厚，直径比二次凸曲面反光镜大1大20毫米的一个圆形金属托盘103，中央钻直径5毫米的孔，该托盘103漆成黑色用于反衬拍摄图像。加工一个光学玻璃镜凸透镜片104，焦距为240毫米，边缘厚度为3毫米，直径为75毫米。中央钻一个直径5毫米的圆孔。依次将圆形金属托盘103、二次凸曲面反光镜1和光学玻璃凸透镜片104从钻孔处套到金属螺杆101上，并用垫片、六角螺母紧固。以铝锭为材料，利用数控车床加工一个喇叭状开口的圆柱型套筒105，套筒105开口较阔的一端内径略大于光学玻璃凸透镜片104的直径，并且在其内壁车出螺纹。加工一个与其对应的金属螺纹卡环108，用于将连接金属螺杆101的光学玻璃凸透镜片104固定在套筒105的喇叭状开口端。套筒105另一侧内径略大于选用的佳能300D单反数码相机106镜头的直径，将套筒105这端套在数码相机106镜头上，用金属紧箍环107固定。为了使金属紧箍环107起作用，套筒105紧箍处车薄，并进行镂空，以保证旋紧紧箍螺钉时，紧箍环107可以牢牢箍住数码相机106镜头(参见图9)。为了不影响数码相机106的正常操作，在数码相机106镜头调节光圈、焦距处也做相应套筒105镂空处理。至此，装置完成。将该装置固定在三脚架上，数码相机106镜头向上。调节焦距，使得反光面在数码相机106焦平面中清晰成像，拍摄得到包含360度实景的数码图像。通过USB传输线将图像导入计算机4内，使用算法将其变为实景空间中可自然浏览的图像。
权利要求
1.一种二次凸曲面反射成像的实景空间构造方法，其特征在于首先成像景物在二次凸曲面镜的反射成像面上形成反射图像，然后将成像透镜的光轴对准二次凸曲面镜反射成像面的中央，调整成像透镜的焦距，使二次凸曲面镜反射成像面上的反射图像能够通过成像透镜清晰成像；根据光学原理将成像透镜捕捉到的反射图像中的每个像素点通过投影变换计算在虚拟实景空间模型中找到对应的像素点，从而生成构造虚拟实景空间模型所需的实景图像。
2.根据权利要求1所述的二次凸曲面反射成像的实景空间构造方法，其特征在于所述虚拟实景空间模型采用柱面模型、球面模型或腰鼓面模型。
3.根据权利要求1或2所述的二次凸曲面反射成像的实景空间构造方法，其特征在于所述二次凸曲面镜采用圆锥面、抛物面、双曲线面或半球面。
4.一种实施权利要求1所述的二次凸曲面反射成像的实景空间构造方法的装置，其特征在于该装置包括二次凸曲面镜、成像透镜、感光成像装置以及计算机；其中，成像透镜的光轴与二次凸曲面镜反射成像面的中线重叠，成像透镜的成像面与感光成像装置的成像面重叠，感光成像装置与计算机连接。
5.根据权利要求4所述的二次凸曲面反射成像的实景空间构造方法的装置，其特征在于所述二次凸曲面镜的二次凸曲面采用圆锥面、抛物面、双曲线面或半球面。
6.根据权利要求4所述的二次凸曲面反射成像的实景空间构造方法的装置，其特征在于所述成像透镜采用传统透镜或远光透镜。
7.根据权利要求4所述的二次凸曲面反射成像的实景空间构造方法的装置，其特征在于所述感光成像装置采用CCD或COMS。
全文摘要
本发明公开了一种二次凸曲面反射成像的实景空间构造方法及其装置，首先成像景物在二次凸曲面镜的反射成像面上形成反射图像，然后将成像透镜的光轴对准二次凸曲面镜反射成像面的中央，调整成像透镜的焦距，使二次凸曲面镜反射成像面上的反射图像能够通过成像透镜清晰成像；根据光学原理将成像透镜捕捉到的反射图像中的每个像素点通过投影变换计算在虚拟实景空间模型中找到对应的像素点，从而生成构造虚拟实景空间模型所需的实景图像。该装置包括二次凸曲面镜、成像透镜、感光成像装置以及计算机，成像透镜的光轴与二次凸曲面镜反射成像面的中线重叠。本发明能够快速自动地生成数字实景影像且影像质量也能够满足各种相关应用需求，且制作成本低廉。
文档编号H04N17/00GK1715998SQ20051003155
公开日2006年1月4日 申请日期2005年5月17日 优先权日2005年5月17日
发明者张茂军, 徐玮, 王炜, 曹宗胜, 张军, 包卫东, 高辉, 武德峰, 马力, 赵亮, 李国辉, 图丹, 甘亚莉, 熊志辉 申请人:中国人民解放军国防科学技术大学