专利名称：一种鱼眼镜头的畸变校正方法
技术领域：
本发明涉及一种鱼眼镜头的畸变校正方法。
背景技术：
鱼眼镜头是模拟水下鱼类仰视水面效果的一种超广角镜头，其典型视场角为180° ，还有的超过18(T 、大于220° ，甚至达到270。。鱼眼镜头的好处很多视角大，可容纳场景多，且可以适应狭小空间拍摄，因此在虚拟实景技术、机器人导航、视觉监控等许多计算机视觉领域中被广泛应用。从结构上来说，鱼眼镜头确实也是类似于鱼眼的结构，并且鱼眼镜头派生出两种类型， 一种称为为Circular Image Fisheye (圆形鱼眼)，另外一种称为Full Frame Fisheye (全幅鱼眼)，其设计的视角基本是180° 。采用鱼眼镜头拍摄的图像由于视角超广，因此其桶形弯曲畸变非常大，画面周边的成像呈现严重变形，直线弯曲，只有镜头中心部分的内容可以保持原来的状态。它超越了人眼日常习惯感觉到的透视效果，它把人眼观察到的、景物原有的透视效果及相互关系，在转变成记录媒体可记录的影像同时加以了夸张和改变。 为了消除鱼眼图像的变形，人们提出各种成像模型和校正方法。其中最为典型的是球面坐标模型，该模型的成像原理是当鱼眼镜头视场达到180° ，且被用于对近距离场景照相时，物面实际为半球面，其球心在鱼眼镜头的入瞳中心，此时实际上是要求将半球面场景成像为底片上的平面图像；参见图1所示，对空间景物上任意一点A，连坐标原点o和Pl交半球面S于p2，过p2作z轴的平行线，交oxx轴于p3点，p3点便是用鱼眼镜头拍摄所成的像，因此，鱼眼镜头所拍摄的景物生成的像布满一个圆，即图中oxy平面上的大圆。依据该模型，人们提出各种图像展开校正模型，文献《基于柱面模型的鱼眼影像校正方法的研究》(2008年10月28日《计算机应用》杂志上公开)中描述的方法即为其中的一个典型方法，该文的作者为周辉、罗飞、李慧娟、冯炳枢，其核心内容是从鱼眼镜头球面成像模型出发，完成从像平面到物球面的坐标变换，用等弧长映射方法将球面的影像投影到柱面上。相较其他算法而言，该算法有一定的优势，中心位置处的畸变校正效果比较好，但是对边缘接近180°区域的像素校正后弯曲现象严重；且在校正图像生成速度方面仍有所欠缺，不适用视频监控、机器人导航等实时性场合。 此外，现有鱼眼校正方法并未考虑到鱼眼摄像头本身的特异性，以一个固定的参数模型校正所有鱼眼摄像头。但在实际应用中，即使是同一产家同一品牌甚至同一批次的鱼眼摄像头，也有存在成像差异。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种精度高、整体畸变校正效果较好、又能快速准确、便于操作的鱼眼镜头的畸变校正方法，该方法还能适用于不同型号的鱼眼镜头。
本发明解决上述技术问题所采用的第一种技术方案为该鱼眼镜头的畸变校正方法，其特征在于包括以下步骤 步骤一、首先建立鱼眼镜头图像的坐标映射表，并将该坐标映射表保存在存储器中，该步骤通过以下方式实现 1、根据鱼眼镜头成像原理中的球面坐标模型，建立标准坐标系，即建立一个标准坐标系，调整该标准坐标系方向和位置，将鱼眼镜头的相机放在坐标原点o，拍摄方向沿OZ轴正方向，拍摄后的鱼眼图像落在oxy平面上； 2、建立目标视平面在标准坐标系oz轴正方向上，将与成像面平行、并与成像面之间的距离为鱼眼镜头物镜球面半径的平面作为目标视平面，这时目标视平面的中心位置o'的坐标即为(O，O，r)，其中r为鱼眼镜头成像原理中球面坐标模型的球面半径；
3、建立坐标映射表 根据相交于坐标原点的x轴和y轴，在成像面oxy平面上将鱼眼镜头拍摄到的鱼眼图像分成四个区域第一象限区域、第二象限区域、第三象限区域、第四象限区域；
将第一象限区域内的成像点投影到目标视平面上成为目标成像点根据第一象限区域内任意一成像点与坐标原点O的距离，当成像点与坐标原点O的距离小于等于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点与目标视平面的中心位置o'的距离 其中d'为目标成像点与目标视平面的中心位置o'之间的距离，d为成像点与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径； 当成像点与坐标原点o的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点与目标视平面的中心位置0'的距离 其中d'为目标成像点与目标视平面的中心位置O'之间的距离，d为成像点与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径，m和n为修正参数；
与第一象限区域成像点投影到目标视平面上的方法一样，将第二象限区域、第三象限区域和第四象限区域内的成像点也投影到目标视平面上； 根据鱼眼图像中的成像点与坐标原点o的距离d和目标成像点与目标视平面的中心位置o'的距离d'之间的一一对应关系，建立坐标映射表，并将该坐标映射表保存在存储器中； 步骤二 采用查表方式进行实时鱼眼图像校正 根据步骤一中保存的坐标映射表，将采用步骤一中所述鱼眼镜头获取的鱼眼图像，采用查表的方式恢复成目标图像，并将目标图像作为畸变校正后的图像输出。
考虑到现实生产中不同鱼眼镜头之间差异性，修正参数在一定范围内取值，但不固定为常数；调整相应的修正参数就能达到较好的畸变校正目的，上述修正参数m取值范围为20 30 ;修正参数n的取值范围为50 60。
而所述修正参数m和n采用如下步骤确定 (1)、选择一特征明显可计算距离的标定图像，并用步骤一中所述摄像头对该标定图像进行成像； (2)、在步骤(1)中获得的鱼眼图像中选择一特征成像点，该特征成像点与坐标原点o的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二，且特征明显，易在原标定图像中识别，计算该特征成像点到坐标原点o的距离d ; (3)、查找步骤(2)中所选特征成像点在标定图像中的对应点，计算该对应点到标定图像中心的距离d〃 ， (d，d〃 )即是一组特殊点对； (4)、将多对步骤(3)中所述的特殊点描成一条曲线，根据曲线拟合法确定公式 与现有技术相比，本发明的优点在于该方法采用修正的球面校正模型，针对不同的鱼眼镜头设置不同的参数值并产生不同的坐标映射表，以此提高鱼眼校正的准确性，将映射表放入存储器内之后，对于该鱼眼镜头获取的所有鱼眼图像，均可采用查表的方式进行目标图恢复，采用这种方法后，图像处理时间将不再受算法的复杂度限制，而主要由存储器的存取时间来决定，大大提升了鱼眼图像畸变校正的速度与效率，具备工业应用中的实时性要求。
图1为鱼眼镜头成像原理； 图2为本发明实施例中鱼眼图像与目标视平面图像的对应关系示意图；图3为本发明实例中修正参数确定实例示意图；图4为本发明实施例中描点和曲线示意图。
具体实施例方式
以下结合附图实施例对本发明作进一步详细描述。
本实施例中，鱼眼镜头的畸变校正方法，包括以下两个步骤 步骤一 首先建立鱼眼镜头图像的坐标映射表，并将该坐标映射表保存在存储器中，该步骤通过以下方式实现 1、根据鱼眼镜头成像原理中的球面坐标模型，建立标准坐标系，即建立一个标准坐标系，参见图2所示，调整该标准坐标系方向和位置，将鱼眼镜头的相机放在坐标原点O，拍摄方向沿OZ轴正方向，拍摄后的鱼眼图像落在oxy平面上； 2、建立目标视平面在标准坐标系OZ轴正方向上，将与成像面平行、并与成像面之间的距离为鱼眼镜头物镜球面半径的平面作为目标视平面A，这时目标视平面A的中心位置o'的坐标即为(O，O，r)，其中r为鱼眼镜头成像原理中球面坐标模型的球面半径；
3、建立坐标映射表 根据相交于坐标原点的x轴和y轴，在成像面oxy平面上将鱼眼镜头拍摄到的鱼眼图像分成四个区域第一象限区域、第二象限区域、第三象限区域、第四象限区域；
将第一象限区域内的成像点投影到目标视平面上成为目标成像点根据第一象限区域内任意一成像点P与坐标原点O的距离，当成像点p与坐标原点O的距离d小于等于鱼眼镜头成像原理中球面坐标模型的球面半径r的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点p'与目标视平面的中心位置o'的距离 其中d'为目标成像点p'与目标视平面的中心位置o'之间的距离，d为成像点p与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径；
当成像点p与坐标原点o的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径r的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点与目标视平面的中心位置o'的距离 其中d'为目标成像点p'与目标视平面的中心位置o'之间的距离，d为成像点p与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径，m和n为修正参数； 与第一象限区域成像点投影到目标视平面上的方法一样，将第二象限区域、第三象限区域和第四象限区域内的成像点也投影到目标视平面上； 根据鱼眼图像中的成像点与坐标原点o的距离d和目标成像点与目标视平面的中心位置o'的距离d'之间的一一对应关系，建立坐标映射表，并将该坐标映射表保存在存储器中； 步骤二 采用查表方式进行实时鱼眼图像校正 根据步骤一中保存的坐标映射表，将采用步骤一中所述鱼眼镜头获取的鱼眼图
像，采用查表的方式恢复成目标图像，并将目标图像作为畸变校正后的图像输出。 其中修正参数m取值范围为20 30 ;修正参数n的取值范围为50 60，针对不
同型号的鱼眼镜头，修正参数m、 n为不同的固定常数。 针对不同型号的鱼眼镜头，修正参数m和n采用如下步骤确定 (1)、选择一特征明显可计算距离的标定图像，并用步骤一中所述摄像头对该标定
图像进行成像； (2)、在步骤(1)中获得的鱼眼图像中选择一特征成像点，该特征成像点与坐标原点o的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二，且特征明显，易在原标定图像中识别，计算该特征成像点到坐标原点o的距离d ; (3)、查找步骤(2)中所选特征成像点在标定图像中的对应点，计算该对应点到标定图像中心的距离d〃 ， (d，d〃 )即是一组特殊点对； (4)、将多对步骤(3)中所述的特殊点描成一条曲线，根据曲线拟合法确定公式<formula>formula see original document page 8</formula> 中的修正参数m和n的值。 由于同一鱼眼镜头所摄图像的光学形变一致的特性，因此，我们将具有明显特征的标定鱼眼图像展开，并记录鱼眼图像到展开目标图之间的各个对应点的坐标位置与像素值加权关系，形成一个映射表并将该映射表放入存储器内。之后，对于该摄像头所获取鱼眼图像，均采用查表的方式进行目标图恢复。采用这种方法后，图像处理时间将不再受算法的复杂度限制，而主要由存储器的存取时间来决定，大大提升了鱼眼图像畸变校正的速度与效率，具备工业应用中的实时性要求。 附图3为修正参数确定实例示意图，在该实例中，采用秦皇岛的JYJ-0. 33/186鱼眼镜头，美光的200万像素MT9D131CM0S传感器。标定图像是一幅大小为1024*1024的等间
隔的正交网络，用鱼眼镜头对标定图像拍摄出鱼眼图像，半径为512。在|^""时，根据
预先标定图像中网格的边长和网格的数目，在鱼眼网格图像上寻找符合要求的网格交点，并在标定图像中获取具有坐标映射关系的对应网格交点形成特殊点对，用这些特殊点对拟合出一条曲线，描点和曲线如附图4所示，图中横坐标表示鱼眼图像的半径，竖直方向坐标 <formula>formula see original document page 8</formula>
为目标图像(校正图像)的半径，经过曲线拟合法确定公式 <formula>formula see original document page 8</formula>"中修正参
数m的值为25，修正参数n的值为55。
权利要求
一种鱼眼镜头的畸变校正方法，其特征在于包括以下步骤步骤一、首先建立鱼眼镜头图像的坐标映射表，并将该坐标映射表保存在存储器中，该步骤通过以下方式实现1、根据鱼眼镜头成像原理中的球面坐标模型，建立标准坐标系，即建立一个标准坐标系，调整该标准坐标系方向和位置，将鱼眼镜头的相机放在坐标原点o，拍摄方向沿oz轴正方向，拍摄后的鱼眼图像落在oxy平面上；2、建立目标视平面在标准坐标系oz轴正方向上，将与成像面平行、并与成像面之间的距离为鱼眼镜头物镜球面半径的平面作为目标视平面，这时目标视平面的中心位置o′的坐标即为(0，0，r)，其中r为鱼眼镜头成像原理中球面坐标模型的球面半径；3、建立坐标映射表根据相交于坐标原点的x轴和y轴，在成像面oxy平面上将鱼眼镜头拍摄到的鱼眼图像分成四个区域第一象限区域、第二象限区域、第三象限区域、第四象限区域；将第一象限区域内的成像点投影到目标视平面上成为目标成像点根据第一象限区域内任意一成像点与坐标原点o的距离，当成像点与坐标原点o的距离小于等于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点与目标视平面的中心位置o′的距离 <mrow><msup> <mi>d</mi> <mo>′</mo></msup><mo>=</mo><mfrac> <mi>d</mi> <msqrt><mn>1</mn><mo>-</mo><msup> <mrow><mo>(</mo><mfrac> <mi>d</mi> <mi>r</mi></mfrac><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt></mfrac> </mrow>其中d′为目标成像点与目标视平面的中心位置o′之间的距离，d为成像点与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径；当成像点与坐标原点o的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二时，由下述方式求出在目标视平面上相应区域内目标成像点与目标视平面的中心位置O′的距离 <mrow><msup> <mi>d</mi> <mo>′</mo></msup><mo>=</mo><mfrac> <mrow><mi>d</mi><mo>-</mo><mi>m</mi> </mrow> <msqrt><mn>1</mn><mo>-</mo><msup> <mrow><mo>(</mo><mfrac> <mrow><mi>d</mi><mo>-</mo><mi>m</mi> </mrow> <mi>r</mi></mfrac><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt></mfrac><mo>+</mo><mi>n</mi> </mrow>其中d′为目标成像点与目标视平面的中心位置o′之间的距离，d为成像点与坐标原点o的距离，r为鱼眼镜头成像原理中球面坐标模型的球面半径，m和n为修正参数；与第一象限区域成像点投影到目标视平面上的方法一样，将第二象限区域、第三象限区域和第四象限区域内的成像点也投影到目标视平面上；根据鱼眼图像中的成像点与坐标原点o的距离d和目标成像点与目标视平面的中心位置o′的距离d′之间的一一对应关系，建立坐标映射表，并将该坐标映射表保存在存储器中；步骤二采用查表方式进行实时鱼眼图像校正根据步骤一中保存的坐标映射表，将采用步骤一中所述鱼眼镜头获取的鱼眼图像，采用查表的方式恢复成目标图像，并将目标图像作为畸变校正后的图像输出。
2.根据权利要求1所述的鱼眼镜头的畸变校正方法，其特征在于所述修正参数m取 值范围为20 30 ;修正参数n的取值范围为50 60。
3.根据权利要求l所述的鱼眼镜头的畸变校正方法，其特征在于所述修正参数m和n 采用如下步骤确定(1) 、选择一特征明显可计算距离的标定图像，并用步骤一中所述摄像头对该标定图像 进行成像；(2) 、在步骤(1)中获得的鱼眼图像中选择一特征成像点，该特征成像点与坐标原点o 的距离大于鱼眼镜头成像原理中球面坐标模型的球面半径的三分之二，且特征明显，易在 原标定图像中识别，计算该特征成像点到坐标原点o的距离d ;(3) 、查找步骤(2)中所选特征成像点在标定图像中的对应点，计算该对应点到标定图 像中心的距离d〃 ， (d， d〃 )即是一组特殊点对；(4) 、将多对步骤(3)中所述的特殊点描成一条曲线，根据曲线拟合法确定公式
全文摘要
本发明涉及一种鱼眼镜头的畸变校正方法，其特征在于包括两个步骤步骤一、建立鱼眼镜头图像的坐标映射表，并将该坐标映射表保存在存储器中；步骤二根据步骤一中保存的坐标映射表，将采用步骤一中所述鱼眼镜头获取的鱼眼图像，采用查表的方式恢复成目标图像，并将目标图像作为畸变校正后的图像输出。与现有技术相比，本发明能针对不同的鱼眼镜头设置不同的参数值并产生不同的坐标映射表，提高鱼眼校正的准确性，将映射表放入存储器内之后，图像处理时间将不再受算法的复杂度限制，而主要由存储器的存取时间来决定，大大提升了鱼眼图像畸变校正的速度与效率，具备工业应用中的实时性要求。
文档编号G06T5/00GK101783011SQ20101003962
公开日2010年7月21日 申请日期2010年1月8日 优先权日2010年1月8日
发明者余孟凤, 杨翠翠, 杨鸣, 蒋金涛, 过森君, 邱元芳, 邵华 申请人:宁波大学