一种基于多步校正的鱼眼图像校正方法
【专利摘要】本发明介绍了一种基于多步校正的鱼眼图像校正方法，针对现有的常规校正模型造成的图像放大、边缘信息丢失等不足，采用多步校正的思想构建校正模型，该校正模型构建的关键点在于：建立基于多项式模型的鱼眼图像尺寸缩放因子，利用鱼眼图像尺寸缩放因子，对鱼眼图像进行第一次校正；采用邻域插值法对第一次校正图像进行插值处理；建立基于向后映射法的除法模型，利用该除法模型，对插值处理后的第一次校正图像进行第二次校正，得到第二次校正图像。校正模型对鱼眼图像的校正解决了校正图像边缘信息缺失、图像扩大、畸变校正不彻底等问题，使得鱼眼镜头的绝大部分信息都完整地保留了下来，并改善了图像边缘模糊的情况。
【专利说明】一种基于多步校正的鱼眼图像校正方法
【技术领域】
[0001]本发明涉及图像处理和机器视觉领域，具体涉及一种基于多步校正的鱼眼图像校正方法。
【背景技术】
[0002]鱼眼镜头是一种特殊的广角镜头，其视场角接近、等于甚至大于180度，能将半球空域甚至是超半球空域的物体成像在像面有限的范围内。从光学设计的角度看，鱼眼镜头所采用的透镜具有很大的球面弧度，并且距离成像平面更近。这种特殊的结构特点和成像特点，一方面使得鱼眼相机可以获得很大视野范围，在机器人导航、视频会议、实时监控、全景摄影和天文观测等需要较大视场的现实场景中得以广泛应用；另一方面，由于引入了很大的桶形畸变，使得鱼眼镜头在成像模型的构建、理论计算以及畸变校正等方面与常规镜头有着显著的不同。
[0003]目前，计算机视觉领域在摄像头的成像原理建模方面还是普遍使用线性针孔模型，但是该模型并不足以刻画鱼眼镜头的成像原理。鱼眼镜头光学系统在引入了强烈的光学畸变的同时也带来了大范围的场景信息，为了能够有效利用这些大畸变图像中的透视投影信息，需要将畸变图像校正为理想的线性透视投影图像，即将鱼眼镜头的成像模型映射到线性针孔模型，反映在图像上，便是需要寻找鱼眼图像和它所对应的常规图像之间像素点对的映射关系。虽然鱼眼镜头的设计和制造遵循一定的数学模型，但是由于现实中存在的许多不可预知的因素，比如镜头的弧度偏差、装配误差等，导致实际的成像过程与制造镜头所遵循的数学模型之间存在着一定的差异，有时候这种差异甚至是巨大的。因此针对不同特点的鱼眼镜头和不同的应用场景，许多学者提出了各种不同的方法来校正鱼眼图像，力图获得清晰的目标图像，以尽可能多的获取有效信息。
[0004]鱼眼图像校正本质上是图像的空间变换处理，最终目的是建立鱼眼图像和校正图像中对应像素点对位置关系的函数，过程是图像像素点空间位置的再分布。随着鱼眼镜头的广泛使用，关于鱼眼校正的新算法不断出现，这些算法总体上可以分为三大类，第一类是通过曲线拟合的方式寻找目标函数，第二类是通过球面透视投影等几何约束寻找目标函数，第三类则是通过神经网络等的训练建立自适应的目标函数。从目前的工程实际来看，这些算法虽然能够在不同的程度上实现畸变校正，但是对于鱼眼图像等大畸变图像的校正往往是局部性的，也就是说存在着图像边缘信息丢失，图像局部放大等缺点，这违背了人们使用鱼眼镜头的初衷，一定程度上削弱了广角镜头的优势。
【发明内容】
[0005]针对现有技术存在的不足，本发明提供一种基于多步校正的鱼眼图像校正方法。
[0006]本发明的技术方案是:
[0007]一种基于多步校正的鱼眼图像校正方法，包括以下步骤:
[0008]步骤1、对鱼眼摄像机的镜头进行标定，获取摄像机镜头的内参矩阵，包括鱼眼图像畸变中心坐标、像素尺寸因子和相机焦距；
[0009]步骤2、建立基于多项式模型的鱼眼图像尺寸缩放因子，该尺寸缩放因子用来描述鱼眼图像中的像素点到鱼眼图像畸变中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，根据不同角度下拍摄的棋盘格鱼眼图像中棋盘角点的坐标，采用张正友标定法得到多项式模型的多项式系数，进而得到鱼眼图像尺寸缩放因子；
[0010]步骤3、利用鱼眼图像尺寸缩放因子，对待校正的鱼眼图像进行校正，以鱼眼图像畸变中心坐标作为坐标原点，对鱼眼图像中每一个像素点的横坐标、纵坐标分别乘以鱼眼图像尺寸缩放因子，得到各像素点在校正图像中的坐标，然后将得到的各坐标对应的像素点填充得到各坐标值处，得到第一次校正图像；
[0011]步骤4、采用邻域插值法对第一次校正图像进行插值处理；
[0012]步骤5、建立基于向后映射法的除法模型，该模型用来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该模型的输出为基于向后映射法的除法模型的校正算子；
[0013]步骤6、利用基于向后映射法的除法模型，对插值处理后的第一次校正图像进行第二次校正，得到第二次校正图像；
[0014]步骤6-1、建立与第一次校正图像大小相同的空白图像；
[0015]步骤6-2、利用基于向后映射法的除法模型，计算出校正算子；
[0016]步骤6-3、在空白图像中以第一次校正图像中心坐标为坐标原点，对每一个像素点的横坐标、纵坐标均乘以校正算子，得到各像素点要填充的像素坐标值；
[0017]步骤6-4、利用步骤6-3得到的各像素点要填充的像素坐标值，从插值处理后的第一次校正图像中找到对应的像素值并填充到空白图像中，得到第二次校正图像；
[0018]步骤7、检验校正的图像精度，若第二次校正的图像中的弧线都已经校正为直线并且该图像中的景物满足透视投影关系，则当前校正图像为最终校正图像，得到原始鱼眼图像与最终校正图像之间的像素位置映射关系，否则返回步骤2。
[0019]本发明的有益效果在于，采用多步校正、细化插值的思路，解决了校正图像边缘信息缺失、图像扩大、畸变校正不彻底等问题，使得鱼眼镜头的绝大部分信息都完整地保留了下来，并改善了图像边缘模糊的情况。同时，使用校正模型计算出的结果使用表格记录图像像素的位置变动情况，将延拓模型复杂的校正过程同工程实际应用隔离开，最大程度地提高了鱼眼图像校正的实时性，保证了嵌入式设备对实时性的要求。
【专利附图】
【附图说明】
[0020]图1为本发明【具体实施方式】的基于多步校正的鱼眼图像校正方法的流程图。【具体实施方式】
[0021]下面结合附图对本发明【具体实施方式】进行详细说明。
[0022]本实施方式采用操作系统为WIND0WS7，软件平台为MATLAB2010a，处理器为第二代酷睿i 5-2410。
[0023]如图1所示，本发明【具体实施方式】的基于多步校正的鱼眼图像校正方法，包括以下步骤:
[0024]步骤1、对鱼眼摄像机的镜头进行标定，获取摄像机镜头的内参矩阵，包括鱼眼图像畸变中心坐标、像素尺寸因子和相机焦距。
[0025]首先从不同的角度用鱼眼摄像机对标定板进行拍摄，采集6~8幅图片并保证至少有8*8的圆阵列处于视野范围内，得到的鱼眼摄像机拍摄的鱼眼图像。
[0026]采用以Kannala J的通用摄像机模型为理论基础的通用标定工具箱进行鱼眼摄像头的标定试验，本次试验所使用的具体模型为Catadioptric-Model,试验选取的鱼眼图像分辨率为720*576像素，共包含19*15个特征点。
[0027]获得摄像机镜头的内参矩阵，包括鱼眼图像畸变中心坐标(U(l、v0)(以感光芯片阵列的左上定点为坐标原点，反映在鱼眼图像上就是以图像左上角定点为原点)、像素尺寸因子(dx、dy)、相机焦距f。
[0028]其中鱼眼摄像机的镜头的型号是PC1030，分辨率为640*480，得到的标定内参矩阵如下:
【权利要求】
1.一种基于多步校正的鱼眼图像校正方法，其特征在于，包括以下步骤: 步骤1、对鱼眼摄像机的镜头进行标定，获取摄像机镜头的内参矩阵，包括鱼眼图像畸变中心坐标、像素尺寸因子和相机焦距； 步骤2、建立基于多项式模型的鱼眼图像尺寸缩放因子，该尺寸缩放因子用来描述鱼眼图像中的像素点到鱼眼图像畸变中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，根据不同角度下拍摄的棋盘格鱼眼图像中棋盘角点的坐标，采用张正友标定法得到多项式模型的多项式系数，进而得到鱼眼图像尺寸缩放因子； 步骤3、利用鱼眼图像尺寸缩放因子，对待校正的鱼眼图像进行校正，以鱼眼图像畸变中心坐标作为坐标原点，对鱼眼图像中每一个像素点的横坐标、纵坐标分别乘以鱼眼图像尺寸缩放因子，得到各像素点在校正图像中的坐标，然后将得到的各坐标对应的像素点填充得到各坐标值处，得到第一次校正图像； 步骤4、采用邻域插值法对第一次校正图像进行插值处理； 步骤5、建立基于向后映射法的除法模型，该模型用来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该模型的输出为基于向后映射法的除法模型的校正算子； 步骤6、利用基于向后映射法的除法模型，对插值处理后的第一次校正图像进行第二次校正，得到第二次校正图像； 步骤6-1、建立与第一次校正图像大小相同的空白图像； 步骤6-2、利用基于向后映射法的除法模型，计算出校正算子； 步骤6-3、在空白图像中以第一次校正图像中心坐标为坐标原点，对每一个像素点的横坐标、纵坐标均乘以校正算子，得到各像素点要填充的像素坐标值； 步骤6-4、利用步骤6-3得到的各像素点要填充的像素坐标值，从插值处理后的第一次校正图像中找到对应的像素值并填充到空白图像中，得到第二次校正图像； 步骤7、检验校正的图像精度，若第二次校正的图像中的弧线都已经校正为直线并且该图像中的景物满足透视投影关系，则当前校正图像为最终校正图像，得到原始鱼眼图像与最终校正图像之间的像素位置映射关系，否则返回步骤2。
【文档编号】G06T3/40GK103996172SQ201410191291
【公开日】2014年8月20日 申请日期:2014年5月8日 优先权日:2014年5月8日
【发明者】张云洲, 朱德龙, 钟惟林, 廖峭 申请人:东北大学