专利名称：一种基于两张鱼眼图像的智能型全景生成方法
技术领域：
本发明涉及一种基于两张鱼眼图像的全景生成方法。通过本方法，用户只需使用带鱼眼镜头的数码相机拍摄两张鱼眼图片作为原始素材，即可以快速生成整球形全景图像。
根据全景图像数据映射的空间模型不同，可以把全景分为柱模型全景、球模型全景、立方体模型全景。顾名思义，柱模型全景是指在播放时把图像数据映射在以视点位置为中心的柱面上的全景，球模型全景是指在播放时把图像数据映射在以视点为中心的球面上的全景，立方体全景则是在播放时把图像数据映射在以视点为中心的立方体面上的全景。整球形全景是指视角范围达到水平方向360度，竖直方向180度无观察死角的全景图像。可以知道，只有球模型全景和立方体模型全景可以制作整球形全景。通常把柱模型全景称为柱形全景，而把球模型全景和立方体模型全景统称为球形全景。
目前全景图像的制作方法较多，比如柱形全景的制作，用户在同一位置不同角度拍摄多张水平方向有大量重叠的图像，通过拼合软件合成全景图像，其拍摄过程复杂，拼合难度高，效果差。也有的全景图像制作是基于两张可视范围为183度的鱼眼图像的，拼合时通过人为的反复设定拼合界线和各种拼合参数，其自动化程度不高，拼合效率低下，且由于人为因素的过多参与，生成全景图像质量没有保证。还有的拼合工具通过在不同的图像上景物重叠部分选取控制点，但一般都极难使用。
关于两鱼眼图像拼合现有的专利内容可参见美国专利U.S.Patent June 26，2001 6252603和December 25，2001 6333826。
整体来说，目前的全景图像生成方法存在着原始图像拍摄复杂、拼合过程自动化程度低、耗时长等缺点。
为达到上述目的，本发明所述的一种基于两张鱼眼图像的智能型全景生成方法，包括下述几个步骤a.进行鱼眼图像预处理、b.建立空间模型、c.拼合参数寻优、d.生成全景图像；其中图像预处理是根据鱼眼图像在边界圆处亮度变化计算鱼眼图像有效圆区域，建立空间模型是根据有效圆区域与实际场景之间的映射关系建立两个鱼眼图像拼合的空间模型，包括鱼眼镜头的有效视角、旋转、摇摆、俯仰四个自由度，是一个理论上完备的模型，拼合参数寻优采用穷举方法对两个大球缺模型中地景物重叠部分进行匹配搜索，得到两个鱼眼图像之间的最佳拼合参数，分别针对模型的四个自由度进行穷举式优化探测，理论上能够搜索到最优的拼合参数，生成全景图像是根据两个鱼眼图像之间的最佳拼合参数，拼合生成全景图像，它采用了拼缝处图像平滑过渡技术，能够输出生成无缝的球模型、柱模型、立方体模型等多种全景图像格式全景。
由于本发明采用了理论上完备的空间模型，在拼合参数寻优过程中把模型的自由度由8个降为4个，且使用了可以避免陷入局部极小值的穷举搜索算法，因此它能够快速找到模型的最佳拼合参数，具有拼合速度快、拼合精度高、图像质量好的优点。再加上全自动的鱼眼图像预处理过程，整个拼合过程自动化程度非常高，且能用于大批量鱼眼图像的全自动拼合处理。除此之外，本发明还具有所需样本图像少，拍摄方便等特点。
图1是鱼眼图像的拍摄示意图；图2是原始鱼眼图像示意图；图3是相机与大球缺模型的旋转、摇摆、俯仰自由度示意图；图4是由图2所示两个鱼眼图像拼合所得的全景图像。
图5是本发明实施例中所述的拼合程序主界面；图6是本发明全景图像生成方法流程图。
建立空间模型602有效圆区域与实际场景之间的映射关系是以该圆区域圆心为中心的径向映射，它的通用表达式为r＝α*sin(βθ)其中r为感兴趣点到鱼眼有效圆202区域圆心的距离，θ为鱼眼镜头中心轴和从鱼眼镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与鱼眼图像平面上点的一一映射，β为径向映射参数。(应该指出的是β对α的影响非常大。)当β＝0时，该公式即为理想的鱼眼镜头映射公式r＝αθ。我们通过把有效圆202区域内的图像数据向视点空间中的球面上映射，得到与原场景对应的两个球缺空间模型。由鱼眼镜头的有效视角大于180度及它们是在同一个视点位置拍摄可知两个球缺所对应的景物将有部分重叠。考虑到相机架设位置固定的情况下，相机仍具有旋转、摇摆、俯仰三个自由度，加上鱼眼镜头的有效视角不可知，本发明建立的球缺模型具有效视角、旋转、摇摆、俯仰四个自由度，两个球缺模型所组成的系统共有八个自由度，参见图3。其中301是大球缺模型的旋转自由度方向，302是大球缺模型的俯仰自由度方向，303是大球缺模型的摇摆自由度方向。由于通常两个鱼眼图像都是用同一个鱼眼外接镜头拍摄的，因此它们的有效视角可以用同一个参数表示，考虑到两个球缺模型之间的对称关系，旋转、摇摆、俯仰也可以分别只用一个参数表示。假设第一个大球缺的四个参数分别为fov1，roll1，pitch1，yaw1，第二个大球缺的四个参数分别为fov2，roll2，pitch2，yaw2，它们之间有如下对应关系fov1＝fov2，roll1＝roll2，pitch1＝pitch2，yaw1＝-yaw2。令fov＝fov1＝fov2，rol1＝roll1＝roll2，pitch＝pitch1＝pitch2，yaw＝yaw1＝-yaw2，则两个球缺模型之间的相对位置可以用fov，roll，pitch，yaw四个参数表示，这样两个球缺模型所组成系统的自由度数由8个降为4个，从而大大降低了拼合参数优化时的运算量。
拼合参数寻优603通过对两个球缺模型之间景物重叠部分进行匹配搜索，我们可以得到他们之间的最佳拼合参数。为了避免寻优时陷入局部极小值，我们使用穷举搜索对拼合参数进行优化分别使这四个参数以固定的步长变化，计算两球缺之间景物的匹配误差，对各个不同参数位置时的匹配误差进行组合式搜索，误差值最小时的拼合参数作为最优拼合参数。在实际使用过程中我们还会设定每一个自由度的变化范围，以减少搜索时的计算量。
生成全景图像604经过四自由度的拼合参数寻优，我们得到两个大球缺模型的最佳拼合参数，同时也把它们转换到统一的坐标系中。我们把两个大球缺模型求并集，从而得到包含整个场景图像数据的整球模型。根据所需生成全景类型不同，我们可以分别得到柱模型全景、球模型全景、立方体全景等多种格式的全景图像。考虑到拼缝位置景物的平滑过渡，我们对拼缝位置的图像生成采用渐变策略，即在拼缝位置由前一幅图像慢慢过渡到第二幅图像。设渐变因子为d(0＜d＜1)，对应的前后两幅图像重叠部分像素值分别为color1，color2，结果为color，则color＝d*color1+(1-d)*color2；其中d由1慢慢变化到0，它与图像之间水平方向重叠距离相关。
图4为拼合生成的全景图像，图像尺寸为1400*700。整个拼合过程除原始图像需要手工指定外其他部分均自动完成，在PIII800MHZ机器上耗时少于一分钟，生成全景质量高，拼合位置准确，缝线区域图像过渡自然。图5是根据本发明所述的方法实现了一个图形化的拼合软件的拼合界面。和其它全景图像生成方法相比，本发明具有所需图像样本少、拼合时智能化程度高、拼合速度快、拼合位置准确、生成全景图像质量高等一系列优点。
权利要求
1.一种基于两张鱼眼图像的智能型全景生成方法，其特征在于包括以下四个步骤1)进行鱼眼图像预处理，根据鱼眼图像在边界圆处亮度发生变化计算鱼眼图像有效圆区域；2)建立空间模型，根据有效圆区域与实际场景之间的映射关系建立两个鱼眼图像拼合的空间模型；3)拼合参数优化，采用穷举方法对两个大球缺模型中地景物重叠部分进行匹配搜索，得到两个鱼眼图像之间的最佳拼合参数；4)生成全景图像，根据两个鱼眼图像之间的最佳拼合参数，拼合生成全景图像。
2.如权利要求1中所述的一种基于两张鱼眼图像的智能型全景生成方法，其特征在于所述的进行鱼眼图像预处理，计算鱼眼图像边界圆的步骤是1)通过检测鱼眼图像中亮度变化剧烈的点构造一个可能的鱼眼图像边界圆上的点的集合；2)通过最小二乘原理对该集合内的点作圆曲线拟合；3)如果该圆曲线误差较大则删除点集合中误差最大的部分点转ii继续执行；4)拟合出来的圆的圆心和半径即为该鱼眼图像边界圆的圆心和半径；同时也为有效圆区域的圆心和半径。
3.如权利要求1中所述的一种基于两张鱼眼图像的智能型全景生成方法，其特征在于所述有效圆区域与实际场景之间的映射关系表达式为r＝α*sin(βθ)，其中r为感兴趣点到鱼眼有效圆区域圆心的距离，θ为鱼眼镜头中心轴和从鱼眼镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与鱼眼图像平面上点的一一映射，β为径向映射参数；当β＝0时，该公式即为理想的鱼眼镜头映射公式r＝αθ。
4.如权利要求1所述的一种基于两张鱼眼图像的智能型全景生成方法，其特征在于所述空间模型是指由两个空间大球缺模型组成的系统，具有视角、旋转、摇摆、俯仰四个参数。
全文摘要
本发明涉及一种基于两张鱼眼图像的智能型全景生成方法。该方法包括鱼眼图像预处理、建立空间模型、拼合参数寻优、生成全景图像四个部分。由于本发明采用了理论上完备的空间模型，在拼合参数寻优过程中把模型的自由度由8个降为4个，且使用了可以避免陷入局部极小值的穷举搜索算法，因此它能够快速找到模型的最佳拼合参数，具有拼合速度快、拼合精度高、图像质量好的优点。再加上全自动的鱼眼图像预处理过程，整个拼合过程自动化程度非常高，且能用于大批量鱼眼图像的全自动拼合处理。除此之外，本发明还具有所需样本图像少，拍摄方便等特点。
文档编号G06T17/05GK1437165SQ03115149
公开日2003年8月20日 申请日期2003年1月24日 优先权日2003年1月24日
发明者肖腾飞 申请人:上海杰图软件技术有限公司