鱼眼图像上的点P在球面图像上对应的点的坐标为P’(R，/?，ω)，其中ω为入射光线与主光轴夹角，卢为点P与鱼眼图像中X轴的夹角。
[0021]从步骤1.1中得到的球面图像的球心出发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，该点距球心距离iR，其中?是此距离与球面所在球体半径R的比值。
[0022]将半球面的图像通过虚拟成像孔做小孔成像，映射到距离虚拟成像孔距离iR (原离球面方向)的平面上，可以得到与鱼眼图像大小相同的校正图像模型。即校正图像模型的大小与原鱼眼图像的大小相同。
[0023]P’ ’是得到的球面点P’在校正图像模型中对应的点。根据三角形的相似关系，满足如下关系式:
r，= iR*tan ( a)
式中，α是P’通过虚拟成像孔与主光轴的夹角，r’是P’’距离校正图像中心的距离；根据正弦定理，满足关系式:
R/ sin (a) = tR/ sin ( ω - a)
由于切向畸变很小，在此处可忽略，有β’ =卢，其中卢’是P’’在校正图像模型中的切向角。
[0024]由上述可知，建立鱼眼图像到校正图像的映射关系，以得到校正图像模型，即鱼眼图像中根据鱼眼镜头成像的投影方式映射至球面图像，球面图像通过虚拟的成像孔进行小孔成像得到校正图像模型。
[0025]步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，所述空白的校正图像与待校正的鱼眼图像相匹配；对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；
步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。
[0026]本发明实施例中，空白校正图像与待校正的鱼眼图像大小一样，当将空白校正图像内每个像素点均赋予对应的亚像素值时，则通过空白的校正图像得到所需的鱼眼校正图像。
[0027]数字图像通常用二维矩阵来表示，设鱼眼图像中心在像素矩阵中的位置是(m，n)，则校正图像模型中一点P’’在鱼眼图像矩阵中的位置是(i，j)o当η != j时，P’’与X轴的夹角为:
β -二 arctan((m_i)/ (j_n))
由于切向畸变远小于径向畸变，所以可以认为P’’在鱼眼图像中对应点P的β = J3 ‘。P’’在球面图像中对应点P’通过虚拟成像孔，与主光轴的夹角为:a = arctan (r，/ tR)
式中I.，为P’’距离校正图像中心的距离。
[0028]入射光线通过原成像孔，与主光轴的夹角为:
Co =t* arcsin (? * sin ( α )) + α 0
[0029]通过鱼眼镜头成像的投影方式，此处采用体视投影，则有r = 2/ tan(6； /2)，式中r为P点到鱼眼图像中心的距离。那么P点在鱼眼图像矩阵中的位置为((m -r*(sin^)), (n + r*(cos卢)))，此时P点矩阵位置通常不是整数，所以P点为亚像素。
[0030]对亚像素坐标采用双线性插值，得到P点的像素值，在空白校正图像中赋给对应的P”。
[0031]本发明实施例中，?是唯一的需要确定的参数(再确定鱼眼镜头成像投影方式后)，使得相较于传统的基于鱼眼镜头成像投影的成像模型，在并没有提高复杂度的情况下，具有了可以提升精度的灵活性，即在可以确定参数的场合，调整该参数提高校正精确性；在难以确定参数的场合，可以通过设定的默认值进行校正，所以并没有缩小该校正模型的适用范围。
[0032]当校正参数t= I时，算法恰为体视投影模型。随着?的减小，桶形畸变逐渐减少，当?足够小时，甚至会产生枕形畸变。当?> I时，桶形畸变则会加剧。?的缺省值设为0.65-0.75之间较为合适。
【主权项】
1.一种基于球面透视投影的鱼眼图像校正方法，其特征是，所述鱼眼图像校正方法包括如下步骤: 步骤1、根据鱼眼镜头成像的投影方式，建立鱼眼图像到校正图像的关系，以得到所需的校正图像模型； 步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，所述空白的校正图像与待校正的鱼眼图像相匹配；对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素占.V， 步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。
2.根据权利要求1所述的基于球面透视投影的鱼眼图像校正方法，其特征是，所述步骤I包括如下步骤: 步骤1.1、根据鱼眼镜头成像的投影方式，将鱼眼图像映射为球面图像，且使得球面所在的球体半径等于鱼眼图像的半径R ； 步骤1.2、从上述球面图像的球心触发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，所述虚拟成像孔距离球心的距离为tR ; 步骤1.3、将上述球面图像通过虚拟成像孔进行小孔成像，以得到所需的校正图像模型。
3.根据权利要求2所述的基于球面透视投影的鱼眼图像校正方法，其特征是:所述鱼眼镜头成像的投影方式包括等距投影、等体积投影、正交投影以及体视投影。
4.根据权利要求1所述的基于球面透视投影的鱼眼图像校正方法，其特征是，所述空白校正图像与待校正的鱼眼图像大小相一致；对于亚像素坐标进行双线性插值，以得到亚像素值。
【专利摘要】本发明涉及一种基于球面透视投影的鱼眼图像校正方法，其包括如下步骤：步骤1、建立鱼眼图像到校正图像的关系；步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。本发明可以有效消除鱼眼图像中的桶形畸变，提升鱼眼图像校正的准确性以及灵活性。
【IPC分类】G06T5-00, G06T3-00
【公开号】CN104778656
【申请号】CN201510195083
【发明人】郭辰, 张雷, 莫宏波, 庄宝森
【申请人】江苏物联网研究发展中心
【公开日】2015年7月15日
【申请日】2015年4月22日