鱼眼镜头圆心重提取映射法畸变矫正方法与流程

文档序号:13542766阅读:1277来源:国知局

本发明涉及图像矫正方法,尤其涉及一种鱼眼镜头圆心重提取映射法畸变矫正方法。



背景技术:

鱼眼相机广泛应用于监视、机器人视觉、车载环视系统等应用中,鱼眼镜头通常有一个大的视场(fieldofview)(120-180度),因此被用来捕捉大面积在一个单一的图像。然而,这样的图像是半球形或圆形,图像会有很大的桶形畸变产生。在畸变的状态的下,鱼眼图像中的直线是弯曲的,所有物体都会有一定的变形。越远离图像中心,畸变的情况就会越严重。



技术实现要素:

为了解决现有技术中的问题,本发明提供了一种鱼眼镜头圆心重提取映射法畸变矫正方法。

本发明提供了一种鱼眼镜头圆心重提取映射法畸变矫正方法,包括以下步骤:

s1、对鱼眼镜头进行标定,获取鱼眼镜头的参数;

s2、进行图像中心的提取;

s3、利用鱼眼镜头的参数进行重投影,得到畸变矫正的效果图。

作为本发明的进一步改进,步骤s1包括:采用球形模型来表示图像点,获取鱼眼镜头的内参。

作为本发明的进一步改进,步骤s1包括:投影空间模型坐标系与图像坐标系之间的关系用公式(1)来表达,

其中,坐标(u,v)是图像坐标系的坐标,(x,y,z)投影空间模型坐标系的坐标,θ是入射光线与鱼眼镜头光轴的夹角,标准的鱼眼镜头的投影模型整理为公式(2):

其中,r是图像坐标到图像中心的距离,(cx,cy)是图像中心坐标;

加入一个矫正的因子a1,最终投影模型整理为公式(3):

鱼眼镜头的内参包括cx,cy,a0,a1。

作为本发明的进一步改进,步骤s2包括:

s21、载入原图;

s22、对载入的图像按一定阈值进行二值化处理;

s23、对二值化图像进行膨胀处理;

s24、利用水平方向坐标求平均值;

s25、对平均值数据由小到大排序,并遍历该平均值数据,找到最长的平稳区域的数据段,作为最可靠的边界数据,平稳区域为均值完全相等;

s26、获取到最平稳区域段的数据后,采用kasa圆拟合法得到拟合的圆以及圆心。

作为本发明的进一步改进,步骤s2还包括步骤s27:在灰度图上画出拟合的圆以及圆心。

作为本发明的进一步改进,步骤s22为:二值化处理如公式(4)所示:

当图像像素点灰度大于t的时候,设置这个点为全黑,否则为全白。

作为本发明的进一步改进,步骤s26为:

假设{(x1,y1),(x2,y2),…,(xn,yn)}是用于圆拟合的切点坐标数据,对其进行列填充扩展,构造下面的两个矩阵:

令p=(q1,q2,q3)t,按下式计算:p=p1-1p2

,其中a-1是a的伪逆矩阵;

则拟合圆的圆心坐标(cx,cy)和半径r为:

至此,圆形有效区域的提取完成。

作为本发明的进一步改进,步骤s3包括:

s31、选择矫正后的鱼眼镜头的图像的大小;

s32、构造新的投影曲面;

s33、进行重新映射。

作为本发明的进一步改进,步骤s32包括:

新的投影曲面选择一个垂直于鱼眼镜头主光轴的平面,所有新光线经过新构造的平面,将构造的曲面转换为投影空间模型坐标系下的坐标,首先将坐标标准化,

本发明的有益效果是:采用圆心重提取映射法来进行鱼眼图像的畸变矫正,将鱼眼镜头所拍摄的图像还原到普通相机所拍摄照片的效果。

附图说明

图1是本发明一种鱼眼镜头圆心重提取映射法畸变矫正方法的鱼眼镜头的成像模型示意图。

图2是本发明一种鱼眼镜头圆心重提取映射法畸变矫正方法的取图像坐标信息的图案。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

一种鱼眼镜头圆心重提取映射法畸变矫正方法,采用圆心重提取映射法来进行鱼眼图像的畸变矫正,将鱼眼镜头所拍摄的图像还原到普通相机所拍摄照片的效果,即图像不被拉伸变形,原来是直线的部分仍然保持直线。是曲线的部分仍然保持曲线,具体包括以下内容:

第一步:是对鱼眼镜头进行标定,目的是获取鱼眼镜头的参数。鱼眼镜头的参数分为内参和外参。内参是描述鱼眼镜头的成像模型和数字化过程的一些参数。而外参是描述鱼眼镜头相对位置的参数。由于鱼眼镜头拍摄的图片产生的畸变效果是由于鱼眼镜头本身的结构所导致的,所以只需要得到鱼眼镜头的内参即可。由于相机的成像区域超出90°,所以不可能使用标准的径向透视畸变模型。因此我们采用球形模型来表示图像点。问题是从空间找到一个坐标转换关系,将到图像坐标和球形空间模型坐标联系到一起。我们提出了投影空间模型坐标系与图像坐标系来解决这个问题。投影空间模型坐标系与图像坐标系之间的关系可以用公式(1)来表达。

其中坐标(u,v)是图像坐标系的坐标,(x,y,z)投影空间模型坐标系的坐标。θ是入射光线与鱼眼镜头光轴的夹角。可以看出标准的鱼眼镜头的投影模型可以整理为公式(2):

其中r是图像坐标到图像中心的距离。(cx,cy)是图像中心坐标。这点坐标的精确度很重要,精确的图像中心坐标可以获得更好的畸变矫正效果。为了是模型可以更精确的描述鱼眼镜头的畸变情况,我们加入一个矫正的因子a1。也可以多加阶如a2、a3。但是实验结果可知二阶的效果已经可以达到要求,并且计算时间会不会太长,如果阶数太高,可能会影响计算的时间。于是最终投影模型可以整理为公式(3):

至此,我们可以清楚的观察到鱼眼镜头的内参包括cx,cy,a0,a1。

鱼眼镜头的成像模型示意图如图1所示。

观察公式(1)可知。有四个未知数至少需要四个方程来求解相关参数。可以确定得到的坐标数据有投影空间模型坐标系与图像坐标系下的坐标,那么根据方程的性质至少需要知道四对坐标便可以求解出鱼眼相机的内参。为了方便获取这些坐标信息,需要制作特殊的图案,常用的图案就是棋盘格,本次标定方法中获取图像坐标信息的图案采用5x7的黑白棋盘格。棋盘格制作的要求是黑白相间,每个方格为正方形,每个方格的边长为5cm。如图2所示。

空间模型坐标系下的坐标就是以右上角第一个角点最为坐标原点,根据棋盘格的物理尺寸获得真实的物理坐标。而图像坐标系的坐标选取也是是以棋盘格第一个右上角的角点作为坐标原点。(角点就是棋盘格黑白格交点处)。

第二步:图像中心的提取。

在第一步已经获得了鱼眼相机的内参。但是鱼眼相机的内参中的图像中心坐标需要优化,因为这两个参数的直接影响畸变矫正的效果。图像中心的提取过程大致如下:

1.载入原图。

2.由于有效信息部分和边缘部分有明显的灰度差异,有效信息就是鱼眼镜头所拍摄的图像中的图像部分,边缘是黑色的无图像信息部分。对载入的图像按一定阈值进行二值化处理。二值化处理是为了将边界圆内外区域分离。二值化处理如公式(4)所示:

当图像像素点灰度大于t的时候,设置这个点为全黑,否则为全白,这样就可以选择我们感兴趣的区域。

3.由于周围场景中不可避免的有灰度值较低的部分,为了尽量明显区分边界圆,减小干扰,尽量将边界圆内部粘连的黑点消融,对二值化图像膨胀处理。

4.膨胀后的图像边界虽然有了较明显的区分,但仍可能存在不平滑和干扰信息,因此利用水平方向边界圆上的点应该保持对称这一规律,对边界点数据进行筛选处理。具体地,利用水平方向坐标求平均值。

5.对平均值数据由小到大排序,并遍历该数据,找到最长的平稳区域的数据段,作为最可靠的边界数据。本程序中定义的平稳区域为均值完全相等。6.获取到最平稳区域段的数据后,采用kasa圆拟合法,他的收敛速度比较快。

假设{(x1,y1),(x2,y2),…,(xn,yn)}是用于圆拟合的切点坐标数据,对其进行列填充扩展,构造下面的两个矩阵:

令p=(q1,q2,q3)t,按下式计算(其中a-1是a的伪逆矩阵):p=p1-1p2

则拟合圆的圆心坐标(cx,cy)和半径r为:

至此,圆形有效区域的提取工作完成。

7.在灰度图上画出拟合的圆以及圆心。

第三步:利用鱼眼镜头参数进行重投影进行畸变矫正。

(1)重投影的首先要选择矫正后的鱼眼镜头的图像的大小,矫正后图像大小是对显示效果有一定影响的,太小的话,有些像素可能会被遗漏,过大的话会可能会使得图像中没有像素的空白黑色区域过大。

(2)构造新的投影曲面。新的投影曲面选择一个垂直于鱼眼镜头主光轴的平面。所有新光线会经过新构造的平面。将构造的曲面转换为投影空间模型坐标系下的坐标,首先将坐标标准化,

(3)根据前面标定的内参,特别注意内参当中的图像中心坐标是利用圆心重提取法进行优化后的参数。再利用公式(1)重新计算得到新的图像的坐标分布。新的坐标计算得到的数值可能是浮点数,需要进行差值计算。此处用的是双线性差值法。双线性插值法对于一个目的像素,设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)(其中i、j均为浮点坐标的整数部分,u、v为浮点坐标的小数部分,是取值[0,1)区间的浮点数),则这个像素得值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定。

f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)(8)

其中f(i,j)表示源图像(i,j)处的的像素值,以此类推。

然后索引原图像的像素信息,将其填充到新的计算所得到的坐标。这样就完成了重新映射。整个鱼眼镜头的畸变矫正也完成了。还有一点说明是,重新映射的平面垂直于主光轴,随意新的平面与鱼眼相机的传感器平面的距离也会影响矫正的效果。我们将距离设为d,d=5的时候矫正效果会比较好。根据不能同的相机和拍摄角度可能需要调整d值以获得更好的畸变校正效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1