专利名称：基于畸变直线斜率计算的鱼眼图像校正方法
技术领域：
本发明属于数字图像处理中的图像修复技术领域，具体为一种具有径向畸变的鱼眼图像的校正方法。
背景技术：
为了获得更大的视角，鱼眼镜头被广泛运用于机器人导航、大范围视频监控、智能交通系统等众多计算机视觉领域。然而，鱼眼镜头在获得大范围拍摄视角的同时，不可避免地引入了图像的畸变，以解决在有限像面内容纳广角目标物体的问题。鱼眼图像所涉及的畸变类型主要是径向畸变(桶形畸变)，这是由于鱼眼镜头的光学系统建立了目标视角到二维成像面的有限投影关系而造成的。对于具有径向畸变的鱼眼图像的校正，已有许多文献提出了不同的解决方法。其中主要可分为基于鱼眼镜头标定的校准方法[1_3]和基于投影变换理论的校正方法[4_8]这两种。采用基于鱼眼镜头标定的校准方法主要是通过鱼眼镜头与校准模板图像的空间坐标标定以及拍摄位置的校准得到鱼眼镜头的内外部参数，并基于这些镜头参数解出校正模型，完成对畸变图像的复原。然而，此类方法涉及到真实世界坐标空间，鱼眼镜头坐标系以及平面成像坐标系之间的坐标转换，对于校准设备的精度要求较高。同时，设备成本与时间成本也降低了此类方法的灵活性。对于基于投影变换理论的校正方法而言，又可分为空间投影法与平面投影法两类。文献[4]是一种典型的空间投影校正方法。该方法根据空间直线在理想半球面上的投影为一圆心与球心重合的圆弧这一投影关系，通过拟合这一圆弧的方式来完成校正模型参数的迭代求解。此方法模型复杂，计算繁琐，且存在半球面到成像面的全映射问题。文献 [5-7]均为平面投影校正方法，基于空间直线在针孔相机的投影模型下亦为平面直线的原理，采用数学模型，通过迭代优化目标函数的方法得出校正模型的参数，从而完成对畸变图像的复原。为了简化迭代算法的复杂度，文献[8]提出了一种基于数学代数的求解方案，在保证校正精度的情况下，通过1次迭代优化即可得到相应的校正参数。该方法虽然在一定程度上降低了计算的复杂度，然而依旧是基于目标函数优化的一种解决方案，计算复杂度仍然偏高。由此，使用一种快速、高效的鱼眼图像校正算法来求解校正模型，并基于此构建具有实时处理能力的硬件架构以实现畸变视频数据流的实时校正处理是该领域当前的一个研究热点。参考文献Flemmer C L, Flemmer R C. A Simple and Accurate Method for Lens Calibration [C]//Proc of the 4th International Conference on Autonomous Robots and Agents. Wellington: [s.n.], 2009: 257-260.Liu Liqun, Cao Zuoliang. Fisheye Camera Calibration with Two Pairsof Vanishing Points [C]// Proc of the 2009 IEEE International Conference on Information Technology and Computer Science. Kiev: [s.n.], 2009: 321-324.WangXiaofengj Feng weijia， Liu Qingjiej et al. Calibration Research on Fish-eye lens [C]// Proc of the IEEE International Conference on Information and Automation. San Harbin: [s.n.], 2010: 385-390.英向华，胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法[J].计算机学报，2003，26 (12) :1702-1708.PrescottB, Mclean G F. Line-Based Correction of Radial Lens Distortion [J]. Graphical Models and Image Processing, 1997, 59(1): 39-47.DevernayF, Faugeras 0. Straight lines have to be straight [J]. Machine Vision and Applications, 2001， 13(1): 14-24.Song Gwang-Yu1, Lee Joon-ffoong. Correction of Radial Distortion Based on Line- Fitting[J]. International Journal of Control, Automation and Systems, 2010，8(3) : 615- 621.AlvarezL, Gomez L, Sendra R J. An Algebraic Approach to Lens Distortion by Line Rectification [J]. Journal of Mathematical Imaging and Vision, 2009, 35(1) : 36-50.Hughes C, Jones E, Glavin M, et al. Validation of Polynomial-based Equidistance Fish-Eye Models [C] // IET Irish Signals and Systems Conference. Dublin, Irish: [s.n.], 2009: 321—324。
发明内容
本发明的目的在于提供一种针对径向畸变鱼眼图像的高效校正方法，并在此基础上提供一种便于硬件实现的解决方案。针对引入径向畸变(桶形畸变)的鱼眼图像而言，平面投影校正方法方便、实用。然而传统的平面投影校正方法计算复杂，不够高效。本发明充分考虑了径向畸变的几何特性， 根据几何性质直接从具有畸变直线的鱼眼图像中求解这些畸变直线的斜率。通过所求得的斜率值，使用校正模型构建基于斜率的线性方程组以求解校正模型中的参数值。整个过程只涉及简单的斜率计算以及一个线性方程组的求解。基于解得的校正模型，完成畸变图像与校正图像之间的位置映射关系到游程编码查找表的写入。通过遍历查找表中的内容，并采用镜像操作即可完成校正图像的实时插值。本发明方法的具体步骤如下
.步骤1，提取出畸变图像中的畸变直线，如
图1所示。通过像素灰度阈值和像素距离差阈值判断选取采样点集的可靠性。步骤2，对于每条畸变直线，通过选取到畸变中心距离相等的点对计算各畸变直线的斜率K。为了使选取点的误差尽可能小，选取采样点只有在满足如下两个条件时，才被视为可靠点对
条件ι 每个采样点的灰度值为周围8领域像素内的最小值，且小于像素灰度阈值。条件2 采样点对到畸变中心的距离之差小于像素距离差阈值。
本发明通过选取多组可靠点对进一步降低畸变直线斜率计算的误差，计算公式如下
权利要求
1.基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于具体步骤为 步骤1，通过像素灰度阈值和像素距离差阈值判断选取采样点集的可靠性； 步骤2，使用可靠的采样点对求解畸变直线的实际斜率；步骤3，基于求解所得的畸变直线斜率，构建线性方程组，求解该线性方程组，得到校正模型的参数值；步骤4，基于校正模型，使用游程编码查找表(LUT)存放校正图像与畸变图像之间的像素位置映射关系，并根据查找表对校正图像进行插值，完成畸变图像的复原。
2.根据权利要求1所述的基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于 步骤1中，对畸变直线进行采样取点时，分别设定像素灰度阈值和像素距离差阈值作为可靠采样点的判定条件，当采样点对满足如下两组条件时，被认定为是可靠采样点对条件1 每个采样点的灰度值为周围8领域像素内的最小值，且小于像素灰度阈值； 条件2 采样点对到畸变中心的距离之差小于像素距离差阈值。
3.根据权利要求2所述的基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于 步骤2中，求解畸变直线的实际斜率的方法如下对于每条畸变直线而言，根据阈值优化的要求选取N组采样点对，通过下式(1)解出畸变直线L的实际斜率
4.根据权利要求3所述的基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于 步骤3中，求解的线性方程组为
5.根据权利要求4所述的基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于步骤4中，所述采用游程编码查找表存放校正图像与畸变图像之间的像素位置映射关系，其中，查找表的高位存放游程长度，低位存放本像素与前一像素之间位置偏移量。
6.根据权利要求5所述的基于畸变直线斜率计算的鱼眼图像校正方法，其特征在于 步骤4中，所述采用游程编码查找表存放校正图像与畸变图像之间的像素位置映射关系， 其中，存取1/4帧校正图像与畸变图像之间的位置映射关系。
全文摘要
本发明属于数字图像处理领域，具体为一种基于畸变直线斜率计算的鱼眼图像校正方法。本发明利用径向畸变特有的几何性质，根据投影不变性原理，计算畸变直线的实际斜率，并以此为基础，通过求解线性方程组以获得多项式校正模型的参数值。这种校正方法在拥有理想校正精度的情况下显著地降低了计算复杂度。根据求解得到的校正模型，利用游程编码查找表(LUT)完成畸变图像与校正图像之间的位置映射编码，从而实现对校正图像的加权双线性插值。此方法便于硬件实现，并具有高效的实时处理能力。
文档编号G06T5/00GK102156970SQ201110093669
公开日2011年8月17日 申请日期2011年4月14日 优先权日2011年4月14日
发明者尹文波, 杨帆, 杨晶晶, 陈更生 申请人:复旦大学