一种基于湍流红外辐射模型的雾天降质图像清晰化方法与流程

本发明属于图像处理领域，具体涉及一种基于湍流红外辐射模型的雾天降质图像清晰化方法。

背景技术：

红外成像具有出色的大气穿透能力和夜视功能，对温度的变化很敏感，因而在军事国防、遥感探测、公共卫生防疫、公共卫生防疫、化学物质检测与鉴定等方面获得了广泛的应用。然而雾天大气中悬浮粒子半径较大，大气粒子的散射作用使得红外图像上原本较低的灰度值被加强，而较高的灰度值被削弱，从而使得图像的灰度级分布过于集中，导致对比度较差；另一方面，在图像由三维空间向二维平面的映射过程中，丢失了深度信息，导致雾天采集图像的边缘轮廓具有模糊性。

雾天拍摄的红外图像,大气中水蒸汽的含量比较大，以及系统软硬件灵敏度等问题，所拍到的红外图像常存在噪声、模糊以及纹理细节丢失等的退化问题，给准确识别、跟踪目标物体等许多方面的应用造成困难。总的来说，解决雾天降质红外图像的清晰化问题，可以采取三种方法：

(1)从硬件的角度，利用多传感器融合以及红外焦平面阵列校正的方法来实现信息的互补与校正，如利用雷达、CCD和激光等传感设备，结合常用的两点校正与多点校正，可以实现较高的目标检测率和较低的错误率。然而，基于视觉的激光或CCD传感器在这种天气条件下的有效监测距离会大大缩短，无法为雷达传感器提供有效的确认信息，而基于红外的传感器只能对热信号实现检测，无法对场景中的非散热信号实现有效的检测。因此，这个策略在有雾天气条件下存在一些应用上的局限性，以及增加昂贵的硬件成本。

(2)不考虑图像降质的具体原因，而单纯从图像处理的角度出发，雾天降质红外图像的清晰化问题实质上就是图像对比度增强的问题；

(3)从降质图像生成的逆过程分析，则是将大气散射作用对图像对比度的衰减影响过程进行建模，最终解决降质图像的清晰化复原问题。

由于图像增强方法没有考虑雾天图像降质的物理过程，不能针对图像退化的原因设法进行补偿，因此只能在一定程度上改善视觉效果。近年来，国内外的一些学者基于大气散射理论对恶劣天气条件下的图像退化机理进行深入的分析，提出了一些基于退化模型的雾天降质图像清晰化复原方法。这些方法的研究主要集中在以下几个方面：

(1)假设场景各点深度信息已知的复原方法。上述这类方法虽然不需要预知天气信息，然而，却需要利用价格昂贵的雷达或距离传感器等硬件设备获取精确的场景深度信息，因此限制了算法在实际中的广泛应用。

(2)结合图像辅助信息实现深度提取的复原方法。有的算法通过用户指定场景的最大深度以及最小深度，利用线性插值的方法获得场景各点的深度信息，在某些情况下可能无法对场景深度突变信息作出反馈，此外，在确定各点的深度信息后，需要用户连续改变大气散射系数来确定一个视觉效果最好的复原结果，过多依赖人的主观性。

(3)基于经典退化模型点扩散函数的复原方法。由于利用这种方法的前提是需要已知点扩展函数，由于实际中雾所造成的图像污染过程和机理十分复杂，不同浓度的雾天气过程难以用统一的点扩散模型表达，一般无法预知图像退化的点扩散函数，因此也限制了该方法的实际应用。

此外，还有一些图像的清晰化复原方法，如结合国际照明大会给出的雾天能见度与人眼视觉的阈值关系，将雾天路面的能见度与图像的对比度建立起联系，实现对大气散射系数的求取，并通过将场景各点的深度值建模为图像平面上的欧式距离函数来计算场景点的深度，实现动态场景的对比度实时恢复和目标检测。基于大气散射模型构建泊松方程，尝试将雾的退化图像看作为前景(雾)和背景(清晰图像)的融合，探讨解决雾天场景复原问题的新途径。这些方法对图像场景的深度信息有依赖，且部分需要过多的人工干预。

技术实现要素：

为了在不增加硬件成本的前提下改善降质图像的质量，从降质图像生成的逆过程分析，建立大气辐射传输模型和相应大气调制传递函数(MTF)，通过在频域内滤除大气调制传递函数，完成雾天降质红外图像的清晰化处理。

本发明提出的技术方案如下：

一种基于湍流红外辐射模型的雾天降质图像清晰化方法，所述方法包括如下步骤：

步骤一：获取雾天退化红外图像；

步骤二：对步骤一中的所述图像进行傅里叶变换，得到频域内的退化图像，根据频域内的退化图像进而得到大气调制传递函数；

步骤三：计算步骤二中所述大气调制传递函数的折射率结构系数；

步骤四：将步骤二中的频域内的退化图像在频域内滤除大气调制传递函数；

步骤五：将步骤四中滤除大气调制传递函数后的频域内的退化图像进行傅里叶逆变换，得到清晰化处理的图像；

步骤六：输出清晰化处理后的图像。

进一步的，所述步骤二：对步骤一中的所述图像进行傅里叶变换，得到频域内的退化图像，根据频域内的退化图像进而得到大气调制传递函数；具体为：

在湍流大气模型的基础上，分析空域中图像的退化模型，进而得到调制传递函数；其中，在空域中图像的退化模型可表示为：

g(x,y)＝f(x,y)*h(x,y)+n(x,y) (1)

其中，g(x,y)为退化图像，f(x,y)为原始图像，h(x,y)为湍流瞬态点扩展函数，n(x,y)为噪声项。

相应的在频域中图像的退化模型可表示为：

G(u,v)＝F(u,v)*H(u,v)+N(u,v) (2)

其中，G(u,v)为频域中的退化图像，F(u,v)为频域中的原始图像，H(u,v)为频域中的湍流瞬态点扩展函数，N(u,v)为频域中的噪声项。

进一步的，H(u,v)是h(x,y)通过傅立叶变换得到的频域表达式，也称为光学传递函数，可以表示为：H＝|H|·e^iΦ，其中|H|表示幅值，Φ为相位，对幅值|H|作归一化处理，使得零频率处H(0,0)的幅值为1，则称此归一化后的幅值为大气调制传递函数MTF，即：

MTF＝|H|/K (3)

其中：K为H在零频率的幅值；

由公式(1)(2)(3)得到基于MTF的图像退化模型为：

G(u,v)＝F(u,v)·MTF·K·e^iΦ+N(u,v) (4)

假设大气调制传递函数是各向同性的，则可以忽略相位Φ的影响，即令Φ＝0，则

F(u,v)＝(G(u,v)-N(u,v))/(MTF·K) (5)

进一步的，MTF在短曝光条件下的表达式为：

短曝光情况下的大气调制传递函数可表示为：

式中，ν表示角空间频率，表示折射率结构系数，λ表示射线波长，R表示传输距离，μ为经验系数，近距离时μ＝1，远距离时μ＝0.5，D表示成像器孔直径。

进一步的，MTF在长曝光条件下的表达式为：

长曝光情况下的大气调制传递函数可表示为：

式中，ν表示角空间频率，表示折射率结构系数，λ表示射线波长，R表示传输距离。

进一步的，所述步骤三：计算步骤二中所述大气调制传递函数的折射率结构系数；具体为：

步骤3.1：计算图像水平梯度I_X和垂直梯度I_Y；

步骤3.2：对图像每个象素点(m,n)计算并选取梯度值大于一定梯度阈值的像素点作为备选像素点；

步骤3.3：对所述备选像素点计算时间强度方差

步骤3.4：根据时间强度方差计算折射率结构系数

进一步的，所述步骤3.4：计算的表达式具体为：

其中，N为选取的具有高梯度的像素点个数，为估算出的折射率结构系数。

有益效果：

本发明根据红外大气传输的特点，通过大气湍流红外辐射模型复原，建立大气辐射传输模型和相应大气调制传递函数(MTF)，通过在频域内滤除大气调制传递函数，完成雾天降质红外图像的清晰化处理。

本发明具有如下特点：(1)在不增加硬件成本的前提下，从降质红外图像生成的逆过程分析，复原大气散射作用对图像对比度衰减的影响，从而解决雾天降质红外图像的清晰化处理问题；(2)图像增强算法仅从视觉效果上增强图像的对比度，本发明考虑了图像降质的物理过程，针对退化原因进行补偿；(3)本发明不需要获取精确的场景深度信息，也不需要过多地人工干预；(4)该方法在复原过程中，不需要精密的仪器测量大气参数，而是用序列图像本身的信息来估计大气调制传递函数的折射率结构系数，计算较简单；(5)当图像中存在明显的边缘时，该方法更有效。

说明书附图

图1本发明的方法流程图

图2(a)测试图像1(原始雾天降质近红外图像)

图2(b)对测试图像1用基于大气湍流红外辐射模型复原结果

图3(a)测试图像2(原始雾天降质近红外图像)

图3(b)对测试图像2用基于大气湍流红外辐射模型复原结果

图4(a)测试图像3(原始雾天降质近红外图像)

图4(b)对测试图像3用基于大气湍流红外辐射模型复原结果

具体实施方式

本发明的技术方案在不增加硬件成本的前提下改善降质图像的质量，从降质图像生成的逆过程分析，建立大气辐射传输模型和相应大气调制传递函数(MTF)，通过在频域内滤除大气调制传递函数，完成雾天降质红外图像的清晰化处理。

下面结合图1～4，介绍基于大气湍流红外辐射模型复原的雾天降质图像清晰化处理方法，具体实施方式如下：

步骤一：输入一幅雾天退化红外图像；

步骤二：对步骤一中的图像进行傅里叶变换，得到频域内的退化图像，根据频域内的退化图像进而得到大气调制传递函数(MTF)，其中，在长曝光和短曝光情况下的大气调制传递函数(MTF)有所不同，但都包含未知的折射率结构系数；

进一步的，步骤二具体为：

在湍流大气模型的基础上，分析空域中图像的退化模型，进而得到调制传递函数(MTF)；在空域中图像的退化模型可表示为：

g(x,y)＝f(x,y)*h(x,y)+n(x,y) (1)

其中，g(x,y)为退化图像，f(x,y)为原始图像，h(x,y)为湍流瞬态点扩展函数，n(x,y)为噪声项。

相应的在频域中图像的退化模型可表示为：

G(u,v)＝F(u,v)*H(u,v)+N(u,v) (2)

其中，G(u,v)为频域中的退化图像，F(u,v)为频域中的原始图像，N(u,v)为频域中的噪声项。H(u,v)为频域中的湍流瞬态点扩展函数，H(u,v)是h(x,y)通过傅立叶变换得到的频域表达式，也称为光学传递函数，可以表示为：H＝|H|·e^iΦ，其中|H|表示幅值，Φ为相位，对幅值|H|作归一化处理，使得零频率处H(0,0)的幅值为1，则称此归一化后的幅值为调制传递函数MTF(可以认为MTF是|H|的归一化表示)，即：

MTF＝|H|/K (3)

其中：K为H在零频率的幅值；

由公式(1)(2)(3)得到基于MTF的图像退化模型为：

G(u,v)＝F(u,v)·MTF·K·e^iΦ+N(u,v) (4)

假设MTF是各向同性的，则可以忽略相位Φ的影响，即令Φ＝0，则

F(u,v)＝(G(u,v)-N(u,v))/(MTF·K) (5)

MTF分别在短曝光与长曝光条件下的表达式为：

短曝光情况下，调制传递函数可表示为：

式中，ν表示角空间频率，表示折射率结构系数，λ表示射线波长，R表示传输距离，μ为经验系数，近距离时μ＝1，远距离时μ＝0.5，D表示成像器孔直径；

长曝光情况下，调制传递函数可表示为：

式中，ν表示角空间频率，表示折射率结构系数，λ表示射线波长，R表示传输距离。

步骤三：计算步骤二中大气调制传递函数的折射率结构系数；

只有精确的测量步骤二中各个大气参数才能得到较为精确的这在实际中会遇到困难。本发明提供了一种新的估计的方法，不需要精密的仪器测量大气参数，而只是利用序列图像本身的信息来估计大气湍流会造成光波在传输过程中发生不同程度的折射，致使波前到达角发生起伏，进而造成图像的起伏和抖动，本发明利用到达角起伏、图像起伏三者之间的关系建立关系式，从而获得最终的

详细实现步骤如下：

步骤3.1：计算图像水平梯度I_X和垂直梯度I_Y；

步骤3.2：根据水平梯度和垂直梯度I_X、I_Y对图像每个象素点(m,n)计算并选取梯度值大于一定梯度阈值的像素点作为备选像素点；

步骤3.3：对所述备选像素点计算时间强度方差

图像抖动会造成图像的偏移，则第k帧图像在位置(m,n)处的强度可用公式表示为：

I(m,n,k)＝I₀(m+Δx_m,n,k,n+Δy_m,n,k) (8)

式中，I₀()表示没有湍流情况下的理想图像，Δx_m,n,k、Δy_m,n,k分别表示水平和垂直方向相对理想图像的位移量。

对公式(8)进行一阶近似，可得：

I(m,n,k)≈I₀(m,n)+[I_x(m,n),I_y(m,n)][Δx,Δy]^T (9)

其中，I₀()表示没有湍流情况下的理想图像，I_X、I_Y分别表示理想图像的水平梯度和垂直梯度，Δx和Δy分别表示水平方向和垂直方向上的偏移量。

时间强度方差表示为：

式中，<·>表示对所有k值取系平均，为I(m,n,k)的均值，结合公式(9)，时间强度方差可以表示为：

式中，I_X、I_Y分别表示理想图像的水平梯度和垂直梯度，Δx和Δy分别表示水平方向和垂直方向上的偏移量，由于Δx、Δy是相互独立的，所以<ΔxΔy>＝0，假设图像沿着水平方向和垂直方向的强度方差分别为(可以认为是图像的空间方差)，又因为在图像两个方向上造成的偏移是相同的，所以可以设湍流造成的图像在空间上的方差代入公式(11)得：

可以由公式(10)得到，而可以对所有图像叠加求平均后的图像取梯度值，则湍流造成的图像在空间上的方差可以由公式(12)求得。公式(12)描述了强度梯度、强度起伏、图像偏移方差三者之间的关系，步骤3.4：根据时间强度方差用公式(13)、(14)计算折射率结构系数

可以从具有高梯度的区域得到，之所以选用高梯度的像素是因为：在高梯度处，湍流造成的图像偏移量较大，而其他噪声因素造成的偏移相对湍流较小，所以此时可以忽略噪声等其他因素造成的图像偏移，减少估算的误差。

选取某个具有高梯度的像素点，计算下面的估算值：

式中，PFOV表示pixel field of view，L表示传输路径长度，λ为射线波长，D表示成像器孔径，l₀表示湍流内尺度，L₀表示湍流外尺度，L₀＝0.4h，h表示成像物体距离地面的高度，为时间强度方差。

选取N个具有高梯度的像素点，对估算出的取均值，即得到最终的

步骤四：将步骤二中的频域内的退化图像在频域内滤除大气调制传递函数(MTF)，这个过程可以理解为滤除噪声的过程，噪声的表达式即为大气调制传递函数MTF；

步骤五：将步骤四中滤除大气调制传递函数后的频域图像进行傅里叶逆变换，得到清晰化处理的图像；

步骤六：输出清晰化处理后的图像。

图2～图4列出了三组试验结果，由结果可知，清晰化处理后的图像质量得到改善，图像对比度得到增强，尤其是图像边缘得到增强，且由图4可知，该方法对图像中存在较多边缘时更为有效。

上述具体实施方式仅用于解释和说明本发明的技术方案，但并不能构成对权利要求的保护范围的限定。本领域技术人员应当清楚，在本发明的技术方案的基础上做任何简单的变形或替换而得到的新的技术方案，均将落入本发明的保护范围之内。