专利名称：基于单个鱼眼镜头的全景视频漫游方法及装置的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及基于鱼眼镜头的全景视频漫游技术。
背景技术：
鱼眼镜头是一种视角接近或等于180度和焦距极短的超广角镜头中一种特殊镜头，为使镜头达到最大的摄影视角，其视角力求达到或超出人眼所能看到的范围。由于焦距越短，视角越大；而视角越大，则因光学原理产生的畸变也就越强烈。为了达到180度的超大视角，鱼眼镜头的设计者不得不允许这种变形(或称为畸变)的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。也正是这种强烈的视觉效果为全景漫游提供了技术基础源材料。360度三维全景虚拟漫游以三维全景为主体，添加图片、视频、音频、文字等多种媒体要素，使用虚拟技术模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，电脑通过相应的复杂运算，将精确的3D世界影像传回产生临场感，从而对各种场景包括楼盘、城市、景点进行整体全面的展示，不仅可以获得整体的全面认识，亦可深入其中一个场景或其细节进行浏览观看。该技术集成了计算机图形技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。对被拍摄个体360度地全景漫游展示的拍摄架构也在不断改进，目前全景云台是专门为拍摄360度全景而使用的承载相机等拍摄设备的一个装置。其关键作用就在于将镜头成像中心固定在云台的旋转轴心上，这样就可以保证在旋转相机拍摄的时候每张图像都是在一个点上拍摄，拼合的全景图完美。目前，360度全景制作技术往往需要以硬件成本或者效率低下为代价，在静态图像处理上，才能取得较好的全景显示效果。例如多鱼眼镜头多张图像拼合中，两鱼眼拼合就是在360度范围内，每隔180度拍摄一张，共两张鱼眼图片进行拼合。三鱼眼拼合就是在 360°范围内，每隔120度拍摄一张，共三张鱼眼图片进行拼合。四鱼眼拼合可将鱼眼镜头和高像素的单反相机配合使用时，得到鼓形鱼眼，用四鱼眼进行拼合，鼓形鱼眼的垂直视角达到180度，水平视角达到110度以上，这样充分利用了成像面，有利于全景图质量的提高。而如果仅采用一台相机绕圆周拍摄360度全景图像，则获取的视频图像并非同一时刻，一旦有运动物体出现在场景中，拼接后全景图就易产生鬼影(或称为重影)等瑕疵。 视频图像拼接算法的复杂性导致目前无法达到实时处理的要求，只能进行视频图像的拼接，而无法用于视频处理。这样的漫游方式是基于静态图片的，只能让使用者看到某一瞬间的景象，缺乏动态真实感。同样，在涉及多摄像机同步获取360度高清全景的系统方案中，采用了多个高清摄像机以圆周排列的方式固定在装置上同步采集视频，并采用后期合成的方式输出全景画面，其缺点在于需要要获取360度全景需配备多个高清摄像机，使得整套系统的成本相当高昂、全景画面采用后期合成的方式的实时性不稳定以及当多摄像机同时工作时的彼此之间时间同步问题不易解决。当进行多摄像机同步获取360度高清全景的方案中，其设备成本高昂、视频图像拼接算法的复杂性使得处理系统达不到实时处理的标准无法用于视频处理。基于上述原因，本发明在视频处理中，利用光学原理，提出了一种基于单个鱼眼镜头的全景视频漫游方法及其装置，使得视频全景漫游处理的实时性强、容易实现以及软硬件成本的性价比高，从而在全景漫游时，可以像使用者提供更加具体生动的细节信息。
发明内容
本发明的目的在于提供一种基于单个鱼眼镜头的全景视频漫游方法及装置，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。为解决上述技术问题，本发明的实施方式提供了一种基于单个鱼眼镜头的全景视频漫游方法，包括以下步骤从鱼眼镜头所获视频的原始图像中提取包络圆参数；根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；根据校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。本发明的实施方式还提供了一种基于单个鱼眼镜头的全景视频漫游装置，包括以下模块提取模块，用于提取鱼眼镜头获取的原始视频图像的包络圆参数；校正模块，用于根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；插值模块，用于根据校正模块获取的校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；显示设备，用于根据漫游窗口在包络圆中的相对位置和缩放系数，显示校正图像。本发明实施方式与现有技术相比，主要区别及其效果在于根据漫游窗口的位置，计算鱼眼镜头所获原始图像和校正图像的坐标换算关系， 得到校正图像像素索引表，据此对视频中每一帧图像进行插值处理，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。进一步地，采用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，在不仅限于静态图像漫游的同时，增加了漫游图像的动态性进行视频全景图像漫游，由于其畸形矫正的算法复杂度不高，就简化了多路视频同步问题容易实现，使得图像处理领域中全景漫游关键技术的采用可以达到实时处理的要求，同时节省全景视频漫游装置的硬件成本提高了性价比。进一步地，对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。进一步地，根据经改进的扫描线逼近算法提取原始视频图像轮廓，准确地求取其包络圆参数圆心坐标和半径，特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下，该算法仍能准确地以较快的速度提取图像轮廓确定包络圆参数，在此基础上，使用校正图像像素索引表的半球透镜漫游模型进行原始视频图像畸形校正，取得了较好的图像校正效果，提高了图像处理效率，从而快速实时准确响应了基于单个鱼眼镜头的全景视频漫游操作。进一步地，在对包络圆的图像进行插值运算得到校正图像像素索引表步骤当中， 采用双线性插值算法使得插值运算的运算量小速度较快，校正图像像素索引表精确度，且经插值处理的图像缩放平滑无缝和干净无噪，使得全景视频漫游时，校正图像显示的更加真实可信。进一步地，根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，在校正视频图像的基础上，可根据缩放系数对视频图像进行缩放，以观察视频图像的细节信息。
图1是本发明第一实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的流程示意图；图2(a)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的垂直旋转角度示意图；图2(b)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的水平旋转角度示意图；图3(a)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透视模型原理示意图；图3(b)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透视模型映射关系示意图；图3(c)是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的半球透镜漫游模型相对位置示意图；图4是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的畸形校正示意图；图5是本发明第二实施方式中一种基于单个鱼眼镜头的全景视频漫游方法的包络圆参数提取的流程示意图；图6是本发明第三实施方式中一种基于单个鱼眼镜头的全景视频漫游装置的结构示意图；图7是本发明第四实施方式中一种基于单个鱼眼镜头的全景视频漫游装置的包络圆参数提取模块的结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种基于单个鱼眼镜头的全景视频漫游方法。图1是该基于单个鱼眼镜头的全景视频漫游方法的流程示意图。该基于单个鱼眼镜头的全景视频漫游方法包括以下步骤从鱼眼镜头所获视频的原始图像中提取包络圆参数；根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；根据所述校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。具体地说，在步骤101中，从鱼眼镜头所获视频的原始图像中提取包络圆参数；一般从一帧原始图像中就可以得到包络圆参数，当然也可以从多帧图像中得到多个包络圆参数进行平均，以得到更为准确的参数。一般来说，对一段视频只要计算一次包络圆参数就可以了。此后进入步骤102，获取漫游窗口在包络圆中的相对位置；此后进入步骤103，根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；根据漫游窗口的位置，计算鱼眼镜头所获原始图像和校正图像的坐标换算关系， 得到校正图像像素索引表，据此对视频中每一帧图像进行插值处理，可以以较低的成本实时地对鱼眼镜头所获视频进行全景漫游。此后进入步骤104中，根据校正图像像素索引表，对从鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；此后进入步骤105，在显示设备中显示校正图像。本发明第二实施方式涉及一种基于单个鱼眼镜头的全景视频漫游方法。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于采用校正图像索引表的半球透镜漫游模型对单个鱼眼镜头一路视频源采集到的原始视频图像进行畸形校正，动态进行视频全景图像漫游，简化了多路视频同步问题容易实现且实时处理， 同时节省硬件成本提高了性价比。对于同一段视频，只在漫游窗口发生变化时重新计算校正图像像素索引表，可以最大限度地减少计算量。根据经改进的扫描线逼近算法提取原始视频图像轮廓，准确地求取其包络圆参数圆心坐标和半径，特别是在鱼眼图像圆形轮廓区域内存在大量黑色像素点、统计算法失效的情况下，该算法仍能准确地以较快的速度提取图像轮廓确定包络圆参数，在此基础上，使用校正图像像素索引表的半球透镜漫游模型进行原始视频图像畸形校正，取得了较好的图像校正效果，提高了图像处理效率，从而快速实时准确响应了基于单个鱼眼镜头的全景视频漫游操作。在对包络圆的图像进行插值运算得到校正图像像素索引表步骤当中，采用双线性插值算法使得插值运算的运算量小速度较快，校正图像像素索引表精确度，且经插值处理的图像缩放平滑无缝和干净无噪，使得全景视频漫游时，校正图像显示的更加真实可信。根据输入操作参数实体鼠标、键盘、轨迹球、光笔、摇杆、滚轮等设备输入设备缩放系数，可根据缩放系数对视频图像进行缩放校正图像，观察视频图像的细节信息。可以通过公式(4)、公式(2)和公式(1)校正图像像素索引表表项，其具体计算可由以下方式实现，坐标轴旋转变换可以知道P(x，y，ζ)点在新的坐标轴体系下的坐标值P' (x' ,y' ,ζ')为ζ ‘ = r cos Φ -χ sin Φy' = yχ' = r sin Φ+χ sin Φ (1)像点P' (u，ν，0)可由 Ρ(χ' , y'，ζ')求出
权利要求
1.一种基于单个鱼眼镜头的全景视频漫游方法，其特征在于，包括以下步骤从鱼眼镜头所获视频的原始图像中提取包络圆参数；根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；根据所述校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像，并在显示设备中显示校正图像。
2.根据权利要求1所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，校正图像像素索引表表项的具体计算可由以下方式实现，
3.根据权利要求2所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。
4.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，在所述从鱼眼镜头所获视频的原始图像中提取包络圆参数的步骤中，包括以下子步骤计算原始图像外围黑色区域的平均亮度值，若所述平均亮度值大于阈值TH，则进行灰度增强处理；对原始图像或者经过灰度增强处理的图像进行边缘检测，获取边缘图像；通过形态学处理滤除所述边缘图像中的离散杂点；从经过所述形态学处理的边缘图像中提取包络圆参数。
5.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述插值计算使用双线性插值算法。
6.根据权利要求1至3中任一项所述的基于单个鱼眼镜头的全景视频漫游方法，其特征在于，所述漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定；在显示校正图像时，通过缩放系数进行缩放显示；所述水平旋转角度、垂直旋转角度和缩放系数是由鼠标、键盘、轨迹球光笔、摇杆、滚轮输入设备输入。
7.一种基于单个鱼眼镜头的全景视频漫游装置，其特征在于，包括以下模块 提取模块，用于提取所述鱼眼镜头获取的原始视频图像的包络圆参数；校正模块，用于根据所述包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表；插值模块，用于根据所述校正模块获取的校正图像像素索引表，对从所述鱼眼镜头所获视频中的连续多帧原始图像分别进行插值计算，得到校正图像；显示设备，用于根据漫游窗口在包络圆中的相对位置和缩放系数，显示校正图像。
8.根据权利要求7所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，校正图像像素索引表表项的具体计算可由以下方式实现，其中，点Q(u' ,N’，0)为校正图像像素索引表表项，d为点P' (11，v，0)到包络圆圆心的距离，Y为坐标轴水平旋转角度。原始校正范围内的像素点坐标P' (u, ν,Ο)为可通过以下公式得出
9.根据权利要求8所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述根据包络圆参数和漫游窗口在包络圆中的相对位置，计算校正图像像素索引表的步骤在每次漫游窗口发生变化时执行。
10.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，在所述提取模块中，包括以下子模块平均子模块，用于计算原始图像外围黑色区域的平均亮度值； 判断子模块，用于判断所述平均子模块计算原始图像外围黑色区域的平均亮度值是否大于阈值TH;灰度增强子模块，用于根据判断子模块判定的所述平均模块计算原始图像外围黑色区域的平均亮度值大于阈值TH，对所述鱼眼镜头获取的原始图像进行灰度增强处理；检测子模块，用于对所述鱼眼镜头获取的原始图像或者经过所述灰度增强子模块灰度增强处理的图像进行边缘检测，获取边缘图像；滤除子模块，用于通过形态学处理滤除所述检测子模块获取的边缘图像中的离散杂点；参数提取子模块，用于根据所述滤除子模块形态学处理的边缘图像中提取包络圆参数。
11.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述插值计算使用双线性插值算法。
12.根据权利要求7至9中任一项所述的基于单个鱼眼镜头的全景视频漫游装置，其特征在于，所述漫游窗口在包络圆中的相对位置由水平旋转角度和垂直旋转角度确定；在显示校正图像时，通过缩放系数进行缩放显示；所述水平旋转角度、垂直旋转角度和缩放系数是由鼠标、键盘、轨迹球光笔、摇杆、滚轮输入设备输入。
全文摘要
本发明涉及图像处理，公开了一种基于单个鱼眼镜头的全景视频漫游方法及装置。通过使用半球透镜漫游模型，得到校正图像像素索引表，用于校正该单个鱼眼镜头采集的原始视频图像，可以通过鼠标或键盘等输入设备输入水平或垂直旋转角度和缩放系数等，对校正后的图像进行相应的缩放和控制显示。在全景视频漫游关键技术中，利用光学原理，解决了现有技术中设备成本高昂、算法复杂度高和系统实时性差的难题。
文档编号G02B13/00GK102291527SQ20111023031
公开日2011年12月21日 申请日期2011年8月11日 优先权日2011年8月11日
发明者施行, 王鹏, 贾永华 申请人:杭州海康威视软件有限公司