专利名称：环眼镜头图像半柱面全景展开方法
技术领域：
本发明涉及全向视觉领域,特指一种环眼镜头图像(Pano-Eye Lens Image)的半柱面全景展开方法。
背景技术：
全景图像/视频凭借360度全方位视角、能覆盖大范围场景的优势，在全景视频监控、机器人视觉导航、虚拟实景空间构建等领域得到了越来越广泛的研究和应用。环眼镜头是一种类似于鱼眼镜头的超广角镜头，能够提供180°甚至更大视野范围的成像效果。鱼眼镜头成像面不同区域，其分辨率是不同的，越靠近图像中心，分辨率越高，细节信息越多，越偏离图像中心，分辨率越低，细节信息越少，变形越严重，有明显的桶形失真(畸变)。而环眼镜头(Pano-Eye Lens)通过特殊的光学设计，使得图像中心与边缘分辨率差别减少，从而降低了变形，提高了全景观察效果。目前还没有针对环眼镜头的图像校正方法，常见的鱼眼 图像校正方法主要有以下几种球面投影模型是一种简单有效的方法，把鱼眼镜头成像面看成一个球面。但这种方法需要预先知道鱼眼图像的光学中心和变换球面的半径。因此现有的方法只适用于具有圆形区域的鱼眼图像。经典的该类算法如英向华和胡占义提出的“一种基于球面透视投影约束的鱼眼镜头校正方法”(《计算机学报》，2003，Vol. 26，No. 12)。抛物面成像模型比较复杂，把鱼眼镜头成像面看成一个抛物面，在恢复场景深度时可以得到更加精确的效果。但用该模型计算时过于复杂，一般用于利用鱼眼照片恢复深度信息技术。相关的研究可以参考论文贾云得，吕宏静，刘万春的“鱼眼变形立体图像恢复稠密深度图的方法”(《计算机学报》，2003，Vol. 23，No. 12)。2D鱼眼图像变形校正，该方法不涉及到空间点信息，直接确定变形图像与待校正图像上对应点坐标变换，然后进行像素灰度插值。该类方法包括有球面坐标定位，多项式坐标变换，射影不变性以及通过极半径映射来校正鱼眼图像畸变。球面坐标定位展开的算法最早由 T. Nathan Mundhenk 在论文 “Techniques for Fisheye Lens Calibaration usinga Minimal Number of Measurements” (Proc. of the SPIE Intelligent Robotics andComputer Vision Conference, 2000)中提出来的。3D鱼眼图像变形校正，包括投影转换和鱼眼镜头标定两种方法。投影转换算法是将鱼眼图像转换成透视投影的图像，把鱼眼图像上每个平面像素点映射到三维场景投影构成的二维平面点，根据图像像素点和对应光线三维向量间的关系，来实现校正。经典的方法见 D. B. Gennery 的论文 “Generalized Camera Calibration Including Fish-EyeLenses，，(International Journal of Computer Vision, 2006), X. H Ying 等的论文 “CanWe Consider Central Catadioptric Cameras and Fisheye Cameras within a UnifiedImaging Model”(ECCV 2004)等。鱼眼镜头标定算法是一类精确恢复的方法，在建立鱼眼镜头变形模型的基础上，考虑到成像的各种畸变类型，如常见的径向变形、离心变形、薄棱镜变形等，通过实验和目标函数来求解出鱼眼镜头内外部参数，从而达到精确恢复鱼眼图像变形。此类算法可参见贾云得等的“一种鱼眼镜头成像立体视觉系统的标定方法”(《计算机学报》，2000，Vol. 23，No. 11)等。然而，以往的鱼眼图像校正方法还是存在一些不足之处，如校正后图像边缘存在较为严重的变形，图像原始信息的丢失，算法复杂等等。本发明针对传统的鱼眼图像校正方法的不足，提出了一种针对环眼镜头图像的半柱面全景展开方法。
发明内容
本发明要解决的技术问题在于针对环眼镜头图像校正这个特定问题，为了避免传统鱼眼图像球面投影校正方法和平面透视投影校正方法等导致的图像校正失真严重、图像信息丢失等问题，提出一种半柱面全景展开方法，通过计算原始环眼镜头图像与校正后柱面全景图像之间的坐标映射关系，提高了环眼镜头图像校正后的图像质量和视觉效果。为解决上述技术问题，本发明采取的技术方案包括如下步骤
I.根据0° -180°半柱面空间任一点通过环眼镜头成像到全向图的投影关系，将半柱面空间中的每一个像素点P映射到环眼镜头图像中的对应点P’ ;2.推导半柱面空间中任一点p到半柱面全景展开平面中的对应点t的坐标映射关系;3.根据步骤I和步骤2，推导得到半柱面全景展开平面上的任一像素点t与环眼镜头图像中对应点P’的映射关系；4.遍历半柱面全景展开平面中的每一个像素点，重复步骤1-3，直至生成一幅完整的0° -180°半柱面全景图像。其中步骤I中的半柱面空间任一点通过环眼镜头成像到全向图的投影关系是根据所设计的环眼镜头的各项参数，通过光学成像几何分析推导得到的。本发明所用的环眼镜头不同于传统的标准鱼眼镜头基本满Srs = f* 0映射，而是〃 =
关系，使用高精度的非球面元件来降低远离轴的被挤压效应，相比于标准的f-9设计，降低了变形，这样就使得图像边缘获得更多的像素。其中W内是e的函数，满足d<(p{9)<\mie, (0<沒<冗/2),平面小孔透视成像满足& = ^七&110，(如附图I和附图2所示)。步骤2是根据平面二维坐标与空间三维坐标的变换关系推导半柱面空间中任一点P到半柱面全景展开平面中的对应点t的坐标映射关系。
图I是环眼镜头、传统鱼眼镜头和普通透视镜头光线映射关系对比图；图2是本发明所用的环眼镜头满足的光线映射关系与传统的标准鱼眼镜头和普通镜头满足的光线映射关系对比图；图3是半柱面空间中任一点通过环眼镜头成像到全向图的投影关系示意图；图4是半柱面全景展开平面中任一点到半柱面空间中的对应点的坐标映射关系示意图；图5是环眼镜头图像半柱面全景展开方法实际效果图。
具体实施例方式实施例I :以本发明所用环眼镜头成像为例，结合附图对本发明做进一步详细说明。第一步环眼镜头成像的投影是指将三维空间中的任意一点映射通过环眼镜头成像到像平面上一点。如附图3所示，半柱面空间中任一点p (xp，yp，zp)发出的一条入射光线PO经小孔中心0与成像平面xO’y交于点p' (xf，yf)，Ap’即为空间点P在环眼镜头图像中的投影点。在环眼镜头图像平面F中，图像中的任一点p’可以用式(I)得到，其中r是点P’到环眼镜头图像中心0’的距离，0是视场角，即入射光线和光轴的夹角，f 是等效焦距 (Effective Focal Length)。
xf-r cos Ap = f (p{&) cos Xp
<
yf = Mhap = f(p{6)^nXp⑴视场角0通过式⑵得到
(I 一2—T、0 = arctan --
ZP
K 7 (2)方位角Xp，即入射光线和X轴的夹角，通过式⑶得到
^ [ VxX、= arccos --
xP
、J(3)因此，半柱面空间中任一点P (xp，yp，zp)与环眼镜头成像平面xO’y对应点p' (xf,yf)的映射关系如式(4)所示
( f「2-H、 ( (厂2-
r . Wp^xp+yP
xf = f(p arctan -- cos arccos --
^V \ F JJ \ \ F JJ
4( (厂I—n、( (厂2—
Jxn+yn Jxn + vn/* . \ p \ p pyf-f(p arctan - sin arccos --
-V I p JJ I V p JJ⑷第二步如附图4所示，半柱面全景展开平面T中任一点t(xt，yt)到半柱面空间P中的对应点P(Xp，yp，zp)的坐标映射关系，附图4(c)为半柱面横截面示意图，因此有如下关系式xp = r cos ( a )(5)yp = yt(6)zp = r sin ( a )(7)并且有(W - X1) =-—-冗
W (8)
Wr =-
n(9)其中，W是全景展开图的宽度。
最后，结合两步的结果，就可以推导得到半柱面全景展开平面上的任一像素点t与环眼镜头图像中对应点P’的映射关系，达到了本发明所要实现的目标。由上述环眼镜头图像的半柱面全景展开方法得到的半柱面全景展开图如附图5所示，图像质量高，校正后图像失真变形小，且图像水平方向没有信息丢失。本发明中提出的方法实际上可用于一般鱼眼或广角镜头成像全景展开方法。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现方法和具体实施步骤。因此，仅对上述实施例中具体的成像模型、公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。
权利要求
1.一种环眼镜头图像(Pano-Eye Image)的半柱面全景展开方法,其特征包括如下步骤 1)根据0°-180°半柱面空间任一点通过环眼镜头成像到全向图的投影关系，将半柱面空间中的每一个像素点P映射到环眼镜头图像中的对应点P’ ； 2)推导半柱面空间中任一点p到半柱面全景展开平面中的对应点t的坐标映射关系； 3)根据步骤I和步骤2，推导得到半柱面全景展开平面上的任一像素点t与环眼镜头图像中对应点p’的映射关系； 4)遍历半柱面全景展开平面中的每一个像素点，重复步骤1)_3)，直至生成一幅完整的0° -180°半柱面全景展开图像。
2.根据权利要求I所述环眼镜头图像半柱面全景展开方法，所述步骤I)中的半柱面空间任一点通过环眼镜头成像到全向图的投影关系是根据所设计的环眼镜头的各项参数，通过光学成像几何分析推导得到的；本发明所用的环眼镜头使用高精度的非球面元件来降低远离轴的被挤压效应，相比于标准的鱼眼镜头f_ 6设计，变形减小，使得图像边缘获得更多的像素。
3.根据权利要求I所述环眼镜头图像半柱面全景展开方法，所述步骤2)中的半柱面空间中任一点P到半柱面全景展开平面中的对应点t的坐标映射关系是根据平面二维坐标与空间三维坐标的变换关系推导。
全文摘要
本发明公开了一种环眼镜头图像(Pano-Eye Image)的半柱面全景展开方法。首先根据0°-180°半柱面空间任一点通过环眼镜头成像到全向图的投影关系，将半柱面空间中的目标像素点映射到原始采集的环眼镜头图像中；然后再根据半柱面空间中任一点到半柱面全景展开平面的坐标映射关系，得到环眼镜头图像的半柱面全景展开图。本发明所述方法避免了传统鱼眼图像球面投影校正方法和平面透视投影校正方法等导致的图像校正失真严重、图像信息丢失等问题，大大提高了环眼镜头图像半柱面全景展开图的图像质量和视觉效果。
文档编号H04N5/225GK102780834SQ20111012054
公开日2012年11月14日 申请日期2011年5月11日 优先权日2011年5月11日
发明者张茂军, 李永乐 申请人:张茂军, 李永乐