基于帧间配准和自适应步长的红外图像非均匀性校正方法与流程

文档序号:15689949发布日期:2018-10-16 21:53阅读:155来源:国知局

本发明属于红外图像处理领域,具体涉及一种基于帧间配准和自适应步长的红外图像非均匀性校正方法。



背景技术:

由于受制作工艺和材料的影响,红外探测器即使在相同的入射辐射的条件下也会产生不同的输出,即响应非均匀性;除此之外,不同像元的电荷传输效率不一致、irfpa盲元的影响、红外光学系统的影响、信号放大带来的非均匀性、1/f噪声、a/d转换时带来的非均匀性和外界温度等因素都是产生非均匀性的原因;红外图像具有分辨率较低、信噪比较低和对比度较差的特点,因此在使用前必须进行非均匀性校正以提高红外图像的质量。

目前,红外图像的非均匀性校正方法主要分为基于定标的算法和基于场景的算法两大类;场景类算法是利用场景信息来更新校正参数的,不需要暂停红外探测器的工作来定标,所以近年来场景类算法成为了主要的研究对象;典型的场景类算法包括时域高通滤波法、神经网络法、恒定统计法、卡尔曼滤波法以及帧间配准法。

帧间配准法收敛速度快,完全依赖于场景,具有一定的非均匀性校正效果;但是,帧间配准法在非均匀性较强的情况下校正效果不够理想。



技术实现要素:

有鉴于此,本发明的主要目的在于提供一种基于帧间配准和自适应步长的红外图像非均匀性校正方法。

为达到上述目的,本发明的技术方案是这样实现的:

本发明实施例提供一种基于帧间配准和自适应步长的红外图像非均匀性校正方法,该方法为:建立红外图像像元的线性响应模型,并通过反变换获得校正公式;分别确定第n帧和第n-1帧带有非均匀性的原始红外图像的相对位移、以及第n帧带有非均匀性的原始红外图像的每个像元的空间方差和时间方差,并根据所述空间方差和时间方差确定第n帧带有非均匀性的原始红外图像的每个像元的自适应迭代步长;根据第n-1帧带有非均匀性的原始红外图像的误差函数和第n帧带有非均匀性的原始红外图像的第i行第j列的自适应迭代步长确定第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的增益校正系数和偏置校正系数;最后,根据所述第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的增益校正系数、偏置校正系数和校正公式对第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域的每个像元进行非均匀性校正。

上述方案中,所述根据所述第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的增益校正系数、偏置校正系数和校正公式对第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域的每个像元进行非均匀性校正,之后,该方法还包括,判断所述第n帧图像是否为带有非均匀性的原始红外图像序列的最后一帧图像,如果是则完成非均匀性校正;如果不是则继续对后续帧图像进行非均匀性校正。

上述方案中,所述建立红外图像像元的线性响应模型,并通过反变换获得校正公式,具体通过以下步骤实现:

(101)根据下式,建立红外图像的像元的线性响应模型:

yn(i,j)=gn(i,j)xn(i,j)+on(i,j)

其中,gn(i,j)和on(i,j)分别表示第n帧红外图像中第i行第j列的像元的增益系数和偏置系数,xn(i,j)表示第n帧红外图像中第i行第j列的真实输入灰度值,yn(i,j)表示第n帧红外图像中第i行第j列的包含非均匀性的输出灰度值;

(102)根据下式,通过反变换表示xn(i,j):

xn(i,j)=wn(i,j)yn(i,j)+bn(i,j)

其中,表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的增益校正系数,表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的偏置校正系数。

上述方案中,所述确定第n帧和第n-1帧带有非均匀性的原始红外图像的相对位移,具体通过以下步骤实现:

(201)根据下式,由第n-1帧红外图像中第i行第j列的包含非均匀性的输出灰度值yn-1(i,j)经相对位移得到第n帧红外图像第i行第j列的包含非均匀性的输出灰度值yn(i,j):

yn(i,j)=yn-1(i-dx,j-dy)

其中,dx和dy分别表示yn(i,j)和yn-1(i,j)的水平方向和垂直方向的相对位移;

(202)根据下式,使用傅里叶变换,计算yn(i,j)和yn-1(i,j)之间的归一化互功率谱:

其中,表示归一化互功率谱,*表示复共轭,yn(u,v)和yn-1(u,v)分别表示yn(i,j)和yn-1(i,j)的傅里叶变换,u和v分别表示傅里叶域的坐标;

(203)根据下式,计算yn(i,j)和yn-1(i,j)的水平方向和垂直方向的相对位移:

其中,fft-1表示傅里叶逆变换,re表示取实部操作,表示将傅里叶逆变换的结果取实部后所得到的矩阵中的最大值所在的行和列。

上述方案中,所述确定第n帧带有非均匀性的原始红外图像的每个像元的空间方差和时间方差,并根据所述空间方差和时间方差确定第n帧带有非均匀性的原始红外图像的每个像元的自适应迭代步长,具体通过以下步骤实现:

(301)确定以第n帧带有非均匀性的原始红外图像第i行第j列的像元为中心的3×3模板内的空间方差

(302)根据下式,确定第i行第j列的像元从第n-m帧到第n帧带有非均匀性的原始红外图像的时间方差

其中,d表示方差运算,m表示小于n的正整数;

(303)根据下式,结合所述空间方差和时间方差求得第n帧带有非均匀性的原始红外图像的第i行第j列的自适应迭代步长stepn(i,j):

其中,a表示固定常数。

上述方案中,所述根据第n-1帧带有非均匀性的原始红外图像的误差函数和第n帧带有非均匀性的原始红外图像的第i行第j列的自适应迭代步长确定第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的增益校正系数和偏置校正系数,具体通过以下步骤实现:

(401)根据下式,确定第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的误差函数en(i,j):

en(i,j)=(wn(i-dx,j-dy)yn-1(i-dx,j-dy)+bn(i-dx,j-dy))-(wn(i,j)yn(i,j)+bn(i,j))

同理确定第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中的第i行第j列的误差函数en-1(i,j);

(402)根据下式,结合stepn(i,j),en-1(i,j)和yn-1(i,j)确定wn(i,j):

wn(i,j)=wn-1(i,j)+stepn(i,j)en-1(i,j)yn-1(i,j)(overlappedarea)

其中,wn-1(i,j)表示第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的增益校正系数,overlappedarea表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域;

(403)根据下式,结合stepn(i,j)和en-1(i,j)确定bn(i,j):

bn(i,j)=bn-1(i,j)+stepn(i,j)en-1(i,j)(overlappedarea)

其中,bn-1(i,j)表示第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的偏置校正系数。

与现有技术相比,本发明的有益效果:

本发明能够根据红外图像的空间特性和时间特性来自适应地进行调整,具有较快的收敛速度和更好的校正效果。

附图说明

图1为本发明的流程图;

图2为本发明中带有非均匀性的原始图像序列的第500帧图像;

图3为本发明中经过基于帧间配准和自适应迭代步长非均匀性校正算法校正后的第500帧图像;

图4为本发明中经过基于帧间配准和自适应迭代步长非均匀性校正算法校正后的第500帧图像与带有非均匀性的原始图像序列的第500帧图像的差值图像;

图5为本发明中粗糙度曲线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明实施例提供一种基于帧间配准和自适应步长的红外图像非均匀性校正方法,如图1所示该方法为:

步骤1:输入原始红外图像序列的所有图像;

具体地,图2为本发明的实施例中,第500帧带有非均匀性的原始红外图像;带有非均匀性的原始图像序列共有500帧图像,并且每一帧图像大小都为320×256像素;从图2可以看出,原始图像带有明显的固定图案噪声,图像质量受到严重的影响。

步骤2:建立红外图像像元的线性响应模型,并通过反变换获得校正公式;

具体通过以下步骤实现:

(201)根据下式,建立红外图像的像元的线性响应模型:

yn(i,j)=gn(i,j)xn(i,j)+on(i,j)

其中,gn(i,j)和on(i,j)分别表示第n帧红外图像中第i行第j列的像元的增益系数和偏置系数,xn(i,j)表示第n帧红外图像中第i行第j列的真实输入灰度值,yn(i,j)表示第n帧红外图像中第i行第j列的包含非均匀性的输出灰度值;

(202)根据下式,通过反变换表示xn(i,j):

xn(i,j)=wn(i,j)yn(i,j)+bn(i,j)

其中,表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的增益校正系数,表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的偏置校正系数。

步骤3:计算第n帧和第n-1帧带有非均匀性的原始红外图像的相对位移;

具体通过以下步骤实现:

(301)根据下式,由第n-1帧红外图像中第i行第j列的包含非均匀性的输出灰度值yn-1(i,j)经相对位移得到第n帧红外图像第i行第j列的包含非均匀性的输出灰度值yn(i,j):

yn(i,j)=yn-1(i-dx,j-dy);

其中,dx和dy分别表示yn(i,j)和yn-1(i,j)的水平方向和垂直方向的相对位移;

(302)根据下式,使用傅里叶变换,计算yn(i,j)和yn-1(i,j)之间的归一化互功率谱:

其中,表示归一化互功率谱,*表示复共轭,yn(u,v)和yn-1(u,v)分别表示图像yn(i,j)和yn-1(i,j)的傅里叶变换,u和v分别表示傅里叶域的坐标;

(303)根据下式,计算yn(i,j)和yn-1(i,j)的水平方向和垂直方向的相对位移:

其中,fft-1表示傅里叶逆变换,re表示取实部操作,表示将傅里叶逆变换的结果取实部后所得到的矩阵中的最大值所在的行和列。

步骤4:计算第n帧带有非均匀性的原始红外图像的每个像元的空间方差和时间方差,并根据空间方差和时间方差求得第n帧带有非均匀性的原始红外图像的每个像元的自适应迭代步长;

具体通过以下步骤实现:

(401)确定以第n帧带有非均匀性的原始红外图像第i行第j列的像元为中心的3×3模板内的空间方差

(402)根据下式,确定第i行第j列的像元从第n-m帧到第n帧带有非均匀性的原始红外图像的时间方差

其中,d表示方差运算,m表示小于n的正整数,m的值设定为10;

(403)根据下式,结合所述空间方差和时间方差求得第n帧带有非均匀性的原始红外图像的第i行第j列的自适应迭代步长stepn(i,j):

其中,a表示固定常数,a的值设定为0.07。

步骤5:根据第n-1帧带有非均匀性的原始红外图像的误差函数和第n帧带有非均匀性的原始红外图像的第i行第j列的自适应迭代步长确定第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的增益校正系数和偏置校正系数;

具体通过以下步骤实现:

(501)根据下式,确定第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域中的每个像元的误差函数en(i,j):en(i,j)=(wn(i-dx,j-dy)yn-1(i-dx,j-dy)+bn(i-dx,j-dy))-(wn(i,j)yn(i,j)+bn(i,j))同理确定第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中的第i行第j列的误差函数en-1(i,j);

(502)根据下式,结合stepn(i,j),en-1(i,j)和yn-1(i,j)确定wn(i,j):

wn(i,j)=wn-1(i,j)+stepn(i,j)en-1(i,j)yn-1(i,j)(overlappedarea)

其中,wn-1(i,j)表示第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的增益校正系数,overlappedarea表示第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域;

(503)根据下式,结合stepn(i,j)和en-1(i,j)确定bn(i,j):

bn(i,j)=bn-1(i,j)+stepn(i,j)en-1(i,j)(overlappedarea)

其中,bn-1(i,j)表示第n-1帧和第n-2帧带有非均匀性的原始红外图像的重叠区域中第i行第j列的像元的偏置校正系数;第一帧带有非均匀性的原始红外图像的偏置校正系数全部设置为0,bn(i,j)=0。

步骤6:利用第n帧带有非均匀性的原始红外图像的增益校正系数、偏置校正系数和校正公式对第n帧和第n-1帧带有非均匀性的原始红外图像的重叠区域的像元进行非均匀性校正。

具体地,图3为本发明的实施例中,带有非均匀性的原始图像序列的第500帧图像的校正结果,从图3可以看出,校正后的图像上方和右下角的电线杆变得清晰可见,几乎已看不见条带状的固定图案噪声;图4为本发明实施例中,带有非均匀性的原始图像序列的第500帧图像的校正结果和带有非均匀性的原始图像序列的第500帧图像的差值图像,可以看出,差值图像中包含了固定图案噪声。图5为本发明实施例中,粗糙度曲线图,可以看出,与irlms法相比,基于帧间配准和自适应迭代步长的非均匀性校正算法得到的校正结果具有更低的粗糙度,表明基于帧间配准和自适应迭代步长的非均匀性校正算法可以更有效地降低原始红外图像的非均匀性。

本发明提出的基于帧间配准和自适应步长的红外图像序列非均匀性校正方法首先计算出相邻两帧红外图像的归一化互功率谱,再利用得到的归一化互功率谱求出相邻两帧红外图像的相对位移,再求出每个像元的空间方差和时间方差,然后利用空间方差和时间方差计算出每个像元的自适应步长,使用迭代步长更新增益校正系数和偏置校正系数,最后对相邻两帧红外图像的重叠区域进行非均匀性校正。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1