一种计算机中视频去雾方法与流程

本发明属于计算机图像处理技术领域，特别涉及一种计算机中视频去雾方法。

背景技术：

安防系统、城市交通、军事技术、刑侦、航海、气象及天文学等领域经常需要从户外监控采集雾霾视频图像序列。雾霾等恶劣天气使视频监控所捕获的图像色彩暗淡、对比度变低,图像质量的严重退化，直接影响了图像的视觉效果，严重影响它们的应用。从视频中去除雾霾天气的影响，恢复图像的颜色、对比度具有重要的研究意义和现实意义。

现在已经有了多种针对视频的去雾方法：海军大连舰艇学院的王孝通在景深分布模型的基础上，利用暗原色思想获取图像的基准景深及天空亮度，再利用相对景深方法实现海上视频去雾处理。王孝通还结合传统的二维经验模式分解，给出了高频辅助信号的构造方法，将高频辅助信号加入原视频图像信号，分解得到的内蕴模式分量的辅助信号，得到原信号的最接近辅助信号的频率分量，用以解决局部或全局极值点匮乏的海上视频去雾。Hautiere等人针对交通工具的可见灯光范围对大气环境的好坏非常敏感而提出基于车载相机系统的视频去雾研究。李龙利提出了有损压缩的视频图像去雾算法，利用小波变换可将图像分成高频和低频子带这一显著特点来帮助找出这些不规则区域，从而对不规则区域的透射率进行处理，再采用暗原色先验算法实现图像复原以后，消除颜色不均匀现象。

现有的视频去雾方法可分为两类：第一类方法的基本思想在于计算传播率,再利用该传播率对视频的每一帧进行去雾处理。由于需要借助参考图像的要求过于苛刻,因而在实际应用中难以实现。第二类方法首先将背景图像与前景图像分离开来,分别采用相关去雾算法进行清晰化处理,再将两者的处理结果相融合得到最终的去雾视频。前景检测的方法包括：(1)背景减除法是先构建一个场景的背景模型图像，在根据当前图像与背景模型图像差来对运动的区域进行检测的一种方法，该方法主要应用在摄像机固定的情况下目标运动的检测。但是背景减除法检测出来的信息一般不够完整，容易产出重影现象。(2)时间差分法是通过对连续的雾霾视频图像序列中相邻的两帧或者三帧图像采用像素差分法计算并将结果阈值化来提取运动区域的。然而很难提取出所有相关的特征像素点，在运动实体内部容易产生空洞的现象。(3)光流法其基本原理就是给图像中的每一个像素赋予一个速度矢量，构成一个图像运动场，在运动的某一时刻可由其投影关系计算得到图像上的点与实物的一一对应关系，根据矢量的变化特征来对图像进行动态的分析。

多数现有视频去雾方法主要集中在单独处理视频的各帧图像，并没有利用视频各帧之间的冗余信息以减少计算量，存在速度比较慢的问题。此外，在视频去雾过程中，也没有考虑到视频的时空一致性，不能保持视频帧内、帧间的连续性和平滑性而导致闪烁的问题。

技术实现要素：

为解决上述技术问题，本发明提出一种计算机中基于二维核回归和Catmull—Rom三次样条的视频去雾方法。其特征在于该方法利用边缘幅度核密度估计、信息熵、广义对齐算法、二维核回归和Catmull—Rom等技术实现了一种视频去雾方法。该方法的具体步骤包括：

步骤1，输入雾霾视频图像序列，基于相邻帧差分的边缘信息幅度核密度估计的信息熵提取视频关键帧；

步骤2，基于边缘幅度信息熵提取关键帧代表性像素点；

步骤3，基于互相关匹配算法和广义对齐算法逐像素配准视频关键帧；

步骤4，基于颜色均值估计大气光照强度和二维核回归优化视频关键帧传播率；

步骤5，基于Catmull—Rom三次样条估计视频非关键帧的传播率；

步骤6，根据大气散射模型，输出恢复后的雾霾视频图像序列。

本发明步骤1包括如下步骤：

步骤1-1，输入雾霾视频图像序列，计算雾霾视频图像序列相邻两帧的亮度通道之差：假设雾霾视频图像序列有N帧，分别为f₁,f₂,…,f_N，f_N表示第N帧雾霾视频图像序列，每帧图像从RGB颜色空间转换为YUV(Y表示明亮度Luminance，U和V表示色度Chrominance)空间，通过如下公式计算相邻两帧YUV空间的亮度Y通道之差的绝对值：

其中，分别表示第N-1帧的亮度Y通道和第N帧的亮度Y通道，d_N-1表示第N-1帧的亮度Y通道和第N帧的亮度Y通道之差的绝对值，所有N帧的亮度Y通道大小为M₁×M₂，其中M₁和M₂分别视频帧的行数和列数；

步骤1-2，计算所有亮度Y通道之差的绝对值的边缘幅度信息，d_r表示第r个亮度Y通道之差的绝对值，1≤r≤N-1，通过如下公式计算d_r中第i行和第j列像素的边缘幅度信息e_r(i,j)：

其中，1≤i≤M₁，1≤j≤M₂，表示第i行和第j列像素的水平方向边缘，通过如下公式计算

表示第i行和第j列像素的垂直方向边缘，通过如下公式计算

步骤1-3，计算d_r的边缘信息幅度的核密度函数：对于任意一个边缘幅度e，其核密度函数p(e)为：

其中，为一维核函数，变量u的高斯核函数通过如下公式计算平滑参数s：

其中σ表示边缘幅度集e_r＝{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的标准偏差，边缘幅度集元根据步骤1-2计算，e_r(M₁,M₂)表示第M₁行第M₂列的边缘幅度。

步骤1-4，基于边缘信息幅度的核密度函数信息熵提取雾霾视频图像序列的关键帧：在边缘幅度集e_r的最小值和最大值之间以相等步长抽样n₁(本发明n₁＝100)个数据，分别标记为：

c₁＝min(e_r)，c₂＝c₁+Δ，c₃＝c₁+2Δ,…,c_n＝c₁+(n₁-1)Δ，

其中，步长c_n表示第n个数据，n₁个数据对应的核密度函数分别为表示c_n对应的核密度函数，通过如下公式计算d_r的信息熵H_r：

如果d_r的信息熵大于阈值H₀，H₀取值为0.1，则雾霾视频图像序列中第r帧f_r为关键帧。

本发明步骤2包括：

设雾霾视频图像序列中第r帧f_r为关键帧，对边缘幅度集合{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的元素按照降序排序，选出前n₂个较大边缘幅度对应位置的的像素点作为代表性像素点，其中分别表示第r帧中边缘幅度值为第n₂大的象素点的横坐标和纵坐标。

本发明步骤3包括：

设雾霾视频图像序列中两个相邻的关键帧分别为和r₁,r₂分别表示相邻的关键帧视频的序号，1≤r₁≤r₂≤N，和的代表性像素点的坐标分别为和使用互相关匹配算法，分别以和的代表性像素点为中心选取一个窗口，作为参考帧，作为待配准帧，以参考帧的每个代表性像素点为参考点，在待配准帧中查找相关系数最大的窗口作为匹配点。其中，相关系数的计算如下：

假设中坐标为的代表性像素点的窗口内所有亮度组成的向量为Y₁，中坐标为的代表性象素点窗口内所有亮度组成的向量为Y₂，则Y₁和Y₂的相关系数定义：

其中和分别表示向量Y₁的均值和向量Y₂的均值。

依据互相关匹配算法选择出存在对应关系的代表性像素点对，再使用广义对齐算法计算参考帧和待配准帧的平移、旋转和缩放的变换参数，实现两个关键帧之间逐像素的配准。

本发明步骤4包括如下步骤：

步骤4-1，建立视频关键帧的大气散射光照模型：雾霾视频图像序列的关键帧大气散射光照模型为：

I_c(p)＝t(p)J_c(p)+(1-t(p))A_c，

其中，J_c(p)和I_c(p)分别表示无雾视频关键帧像素点p的c通道值和雾霾视频关键帧像素点p的c通道值，c∈{R,G,B}，R、G和B分别表示红、绿、蓝三种颜色，t(p)∈[0,1]表示在像素点p的大气光照传播率，A_c表示c通道的大气光照强度；

步骤4-2，进行基于颜色均值向量的视频关键帧大气光照强度估计：大气光照强度的大小设置为常数240，以关键帧的红、绿、蓝三个颜色通道归一化的均值作为大气光照强度的方向，其中分别表示关键帧的红色通道均值、绿色通道均值和蓝色通道均值，则红、绿、蓝通道的大气光照强度的估计值为：

其中，A_R、A_G、A_B分别表示红色通道的大气光照强度的估计值、绿色通道的大气光照强度的估计值和蓝色通道的大气光照强度的估计值；

步骤4-3，基于二维核回归的传播率优化：按照Jin-Han Kim提出的基于最优对比度方法初步估计像素点p的大气光照传播率t(p)：

采用二维核回归方法优化传播率：

假设第i行和第j列像素点的传播率估计值为t_i,j，通过如下公式计算在该点半径为w的局部窗口下传播率t_i,j的二维核回归函数

其中为二维高斯核函数，计算二维核回归函数的公式中，分母部分计算为：

分子部分计算为：

本发明步骤5包括：

对于雾霾视频图像序列中两个相邻的关键帧和设的前一个关键帧为的后一个关键帧为配准这4个相邻关键帧和估计并优化和的传播率基于Catmull—Rom三次样条估计位于和之间的非关键帧中对应像素的传播率为：

其中，r₁<k<r₂-r₁，k取值范围为整数，参数x表示两个关键帧和之间的第k个非关键帧，

本发明步骤6包括：将雾霾视频图像序列按照下式恢复输出：

有益效果：本发明的优点在于提出了一种基于二维核回归和Catmull—Rom三次样条的视频去雾方法，基于相邻帧差分的边缘幅度核密度信息熵提取视频关键帧,可以克服雾霾雾霾视频图像序列灰度对比度较低，可以快速准确提取雾霾视频图像序列中的关键帧。基于颜色均值的大气光照强度估计方法，可以更好地体现光照效果。基于二维核回归的视频关键帧传播率优化，避免了传播率的突变导致恢复图像的不连贯问题。基于Catmull—Rom三次样条的视频非关键帧传播率估计，避免了每帧都需要重新估计传播率和视频恢复后存在的闪速问题。本发明的创新点包括：

(1)提出了基于相邻帧差分的边缘幅度核密度信息熵提取视频关键帧。雾霾图像的灰度对比度较低，而边缘信息可以较好的反映雾霾视频图像序列的内容变换，可以快速准确提取雾霾视频图像序列中的关键帧。

(2)提出了基于颜色均值的大气光照强度估计和二维核回归的视频关键帧传播率优化。雾霾图像中大气光照方向很重要，一般去雾方法采用标量，使得恢复的图像中体现不出光照的方向。本发明提出用不同颜色通道的均值作为大气光照强度的方向可以更好地体现光照效果。对视频关键帧传播率采取二维核回归优化，避免了传播率的突变导致恢复图像的不连贯问题。

(3)提出了基于Catmull—Rom三次样条的视频非关键帧传播率估计。利用关键帧已经估计出的传播率估计非关键帧的传播率，避免了每帧都需要重新估计传播率和视频恢复后存在的闪速问题。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

具体实施方式

本方法通过提取雾霾视频的关键帧，提取关键帧中代表性的像素点，逐像素匹配关键帧，估计大气光照强度，优化关键帧传播率，和估计非关键帧传播率等步骤，完成了快速视频雾霾图像的去雾，具体的工作流程如图1所示。

步骤1，基于相邻帧差分的边缘信息幅度核密度估计的信息熵提取视频关键帧；

(1-1)计算相邻两帧的亮度通道之差。假设从监控采集的雾霾视频图像序列有N帧，分别为f₁,f₂,…,f_N，每帧图像从RGB颜色空间转换为YUV空间。计算相邻两帧之差的YUV空间的亮度Y通道之差的绝对值：

其中分别表示第1,2,3…,N-1,N帧的亮度Y通道，大小为M₁×M₂。

(1-2)计算亮度Y通道之差的绝对值d₁,d₂,…,d_N-1的边缘信息幅度。

d_r(1≤r≤N-1)中第i行(1≤i≤M₁)和第j列(1≤j≤M₂)位置的边缘信息幅度：

其中，表示水平方向的边缘，

表示垂直方向的边缘，

(1-3)计算亮度Y通道之差的绝对值d_r(1≤r≤N-1)的边缘幅度的核密度函数。对于任意一个边缘幅度e，其核密度函数为：

其中为一维核函数，本发明采用高斯核函数平滑参数s的计算公式：

其中σ表示边缘幅度集e_r＝{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的标准偏差。

(1-4)基于边缘幅度核密度函数信息熵的关键帧提取：

在边缘幅度集e_r的最小值和最大值之间以相等步长抽样n₁个数据，分别标记为：

c₁＝min(e_r)，c₂＝c₁+Δ，c₃＝c₁+2Δ,…,c_n＝c₁+(n₁-1)Δ (7)

其中步长它们对应的核密度函数分别为则d_r(1≤r≤N-1)的信息熵为：

如果d_r(1≤r≤N-1)的信息熵大于阈值H₀(本发明取值为0.1)，则雾霾视频图像序列中第r帧f_r为关键帧。

步骤2，基于边缘幅度信息熵提取关键帧代表性像素点；

设雾霾视频图像序列中第r帧f_r为关键帧，对边缘幅度集合{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的元素按照降序排序，选出前n₂个边缘幅度对应位置的的像素点作为代表性像素点。

步骤3，基于互相关匹配算法和广义对齐算法逐像素配准视频关键帧；

设雾霾视频图像序列中两个相邻的关键帧分别为和(r₁,r₂分别表示视频的序号)，它们的代表性像素点分别为和使用互相关匹配算法，分别以(参考帧)和(待配准帧)的代表性像素点为中心选取一个窗口，以参考帧的每个代表性像素点为参考点，在待配准帧中查找相关系数最大的窗口作为匹配点。依据互相关匹配算法选择出存在对应关系的代表性像素点对，再使用广义对齐算法计算参考帧和待配准帧的平移、旋转和缩放的变换参数，实现两个关键帧之间逐像素的配准。

步骤4，基于颜色均值估计大气光照强度和基于二维核回归优化视频关键帧传播率；

(4-1)建立视频关键帧的大气散射光照模型；

雾霾视频图像序列的关键帧大气散射光照模型为：

I_c(p)＝t(p)J_c(p)+(1-t(p))A_c (9)

其中J_c(p)和I_c(p)分别表示原始视频关键帧和观测的视频关键帧像素点p的c通道值，c∈{R,G,B}表示红、绿、蓝三种颜色。t(p)∈[0,1]表示在像素点p的大气光照传播率，A_c表示c∈{R,G,B}通道的大气光照强度。

(4-2)基于颜色均值向量的视频关键帧大气光照强度估计；

大气光照强度的大小设置为常数240。以关键帧的红、绿、蓝三个颜色通道归一化的均值作为大气光照强度的方向，其中表示关键帧的红、绿、蓝三个颜色通道均值。则红、绿、蓝通道的大气光照强度的估计值为：

(4-3)基于二维核回归的传播率优化：

按照Jin-Han Kim提出的基于最优对比度方法初步估计像素点p的传播率

这种方法不同目标之间的传播率会突变，且存在方块效应。视频关键帧中相邻像素之间的景深距离是渐变的，传播率也应该是渐变的。为此，本发明提出二维核回归方法优化公式(11)的传播率粗估计；

假设第i行第j列的像素点的传播率估计值为t_i,j，则在该点半径为w的局部窗口下传播率t_i,j的二维核回归平滑为：

其中为二维高斯核函数。分母部分计算为：

分子部分计算为：

步骤5，基于Catmull—Rom三次样条估计视频非关键帧的传播率；

设雾霾视频图像序列中两个相邻的关键帧分别为和(1≤r₁≤r₂≤N)，的前一个关键帧为的后一个关键帧为使用步骤3的方法配准这4个相邻的关键帧和使用步骤4的方法估计这4帧中对应的优化传播率分别为基于Catmull—Rom三次样条估计位于和之间的非关键帧(r₁<k∈Z<r₂-r₁)中对应像素的传播率为

其中参数表示两个关键帧之间的第k个非关键帧。

步骤6，根据大气散射模型，利用估计的模型参数，输出恢复后的雾霾视频图像序列。

雾霾视频图像序列的大气光照按照步骤(4-2)中公式(10)估计，视频关键帧的传播率按照步骤(4-3)优化，视频非关键帧的传播率按照步骤(5)估计，则雾霾视频图像序列按照下式恢复输出

本发明提供了一种计算机中视频去雾方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。