本发明涉及一种基于云平台的模板匹配监控视频去雾系统及其去雾方法，属于视频处理技术领域。
背景技术：
随着图像处理和计算机视觉技术的发展，对以道路交通视频监控系统为代表的户外视觉系统的需求增加；雾霾天气很大程度上限制了视频监控系统的作用；当前视频去雾系统很少考虑其帧间相关性和其图像结构信息，处理过程中对天气和场景信息的采集有强烈的依赖性，对环境复杂(如遇遮挡、视频中景物深度差距过大、视频中包含天空区域)的情况去雾不佳；视频的去雾操作对设备的性能提出了更高的要求，须寻找有效的视频去雾方法与系统。
目前视频去雾方法的研究已经取得很多较有意义的成果，如美国Langley研究中心深入研究基于领域的Retinex算法，对含雾视频进行增强，然而其未考虑到视频图像序列的时空相关性以及帧内图像结构特征，存在冗余处理和对场景环境有依赖性的问题，且极大地消耗了终端设备的性能和功率。
技术实现要素：
为解决现有技术的不足，本发明的目的在于提供一种基于云平台的模板匹配监控视频去雾系统及其去雾方法，提高了视频去雾的效果以及效率。
为了实现上述目标，本发明采用如下的技术方案：
一种基于云平台的模板匹配监控视频去雾系统，其特征是，包括视频采集模块、云服务器模块和视频解码模块；所述视频采集模块包括视频采集端和第一H.264编码器，视频采集端将采集到的视频数据及设备号传输给第一H.264编码器进行H.264编码压缩，并将压缩码流发送到云服务器模块；所述云服务器模块包括第一H.264解码器、雾气检测模块和第二H.264编码器；所述第一H.264解码器用于接收压缩码流并进行H.264解码读出设备号、关键帧和非关键帧；所述雾气检测模块用于对视频是否需要去雾进行判断，并对需要去雾的各关键帧和非关键帧分别进行去雾；所述第二H.264编码器将所有图像组合生成去雾视频并进行H.264再编码，将压缩码流发送至视频解码模块；所述视频解码模块包括第二H.264解码器和视频播放端；所述第二H.264解码器接收并解码生成去雾后的视频，在视频播放端中播放。
进一步地，所述视频采集模块、云服务器模块和视频解码模块之间通过网络传输数据。
上述基于云平台的模板匹配监控视频去雾系统的去雾方法，其特征是：所述云服务器模块的具体运作包括以下步骤：
步骤1：第一H.264解码器接收压缩码流并进行H.264解码读出设备号、关键帧及非关键帧，根据设备号调出相应设备的模板库，其中模板库中的各模板的参数集Model包括归属系数C、环境光A及透射率图T三方面信息，即Model＝{C,A,T}；
步骤2：通过雾气检测模块对视频是否需要去雾进行判断，如若需要去雾则执行步骤3，否则跳至步骤6；
步骤3：关键帧部分去雾处理：
301)利用雾气浓度的结构分布特点，采用自适应分簇K-means算法，聚类为雾气浓度各不相同的子图集；
302)基于模板库和DCP理论(Dark Channel Prior，暗原色先验理论)的去雾处理：对关键帧的各子图采用模板匹配算法寻找与当前雾气信息相匹配的模板，匹配成功则使用该模板参数去雾，否则使用DCP算法去雾并根据去雾结果训练模板库，将各去雾子图按位置信息合并生成去雾后的关键帧；
303)将关键帧参数存入缓存做后续非关键帧的参考；
步骤4：非关键帧部分去雾处理：利用帧间相关性，以前一关键帧为参考帧，直接使用前一关键帧参数，根据暗原色先验理论中的雾气模型进行去雾；
步骤5：重复步骤3至步骤4，直至生成最终视频，并转至步骤6)；
步骤6：第二H.264编码器将去雾视频进行H.264再编码，将压缩码流发送至视频播放模块。
进一步地，所述步骤301)具体包括过程如下：
步骤3011)按式(1)获取用以表征图像结构特征的综合图结构信息矩阵M＝{Jdark,H,S}，其中Jdark为利用暗原色先验理论估计的粗略景深图，即暗通道估计图；H为利用色调简化公式计算的色调图，S为利用饱和度公式计算的饱和度图，用以辅助聚类：(1)，其中Ω(m,n)表示以坐标(m,n)的像素点X为中心的邻域，(u,v)为其邻域内的一点，Xc表示X的某个信道值，R,G,B分别表示像素点X在红色信道(r)，绿色信道(g)，蓝色信道(b)中的数值；
步骤3012)始化簇个数参数Tc，簇内像素点个数下限Tp；
步骤3013)使用K-means算法将综合图结构信息矩阵M聚类分成Tc个簇，记录各簇内所含像素点的个数；
步骤3014)如果各簇内所含像素点的个数均大于Tp，顺序执行步骤3015)，否则令Tc＝Tc-1并跳至步骤3013)；
步骤3015)获得各个簇的归属系数其中第i个簇的归属系数Ci中，表示原始图像中像素点X(m,n)不属于这个簇，表示原始图像中像素点X(m,n)属于这个簇；
步骤3016)根据计算各个簇对应的子图其中Pi中点(m,n)的值记为
若则令为原始图像中点X(m,n)的三通道值{RX,GX,BX}，并计算对应的原始图像中各点在各通道上的平均值，记为
若则令为各子图Pi与帧图像X大小相同，且属于同一子图中的像素具有相同或相近的景物深度。
进一步地，所述步骤302)中各子图采用模板匹配算法的过程如下：
步骤3021)对当前关键帧中的各子图，利用与模板库中各模板的相关性，判断模板库中是否存在与当前子图Pi的归属系数Ci及环境光Ai分别相等的模板；如果存在，取该模板的透射率图Tj作为该子图对应的透射率图Ti，进入步骤3022)；如果不存在，说明模板库中不存在与当前子图相匹配的模板，进入步骤3023)。
步骤3022)根据暗原色先验理论中的雾气模型计算该子图的去雾图像：其中I(x)表示含雾图像各点的像素值，A表示环境光数值，t(x)表示各点的透射率，t0表示透射率下限，J(x)表示去雾后各点的像素值；
步骤3023)利用DCP算法对各子图分别进行去雾，记录各子图归属系数Ci、各子图环境光Ai及当前关键帧透射率T，并将它们增设至模板库。
进一步地，其特征是，所述步骤3023)中利用DCP算法对各子图分别进行去雾是指按照暗原色先验理论进行去雾操作，其中透射率采用软抠图方法进行修正，同时为了改善其对天空区域的处理效果，修改其中的透射率下限阈值为：其中N为透射率图像的像素总数，n为图像中传输参数小于0.1的像素点个数。
本发明所达到的有益效果：1、对关键帧去雾时，以雾气浓度为基础划分关键帧并进行独立去雾，弱化了后景物体的轮廓、形状、大小的影响，减弱因在去雾过程中不同深度的景物之间的相互影响；2、对非关键帧去雾充分利用视角的不变性及各帧的时空相关性，通过训练各终端设备特有的透射率模板库极大地加快计算速度，使其对固定视角获取的含雾视频去雾处理十分有效；3、本系统将主要的计算与操作转移至云端，降低了终端设备的功率损耗和性能要求，同时也为达到更好的去雾效果、处理更大量的视频数据提供了良好的平台。
附图说明
图1是本发明的系统框图；
图2是本发明关键帧去雾流程框图；
图3是本发明使用K-means分子图方法流程图；
图4是本发明与DCP相比对测试序列去雾结果信息熵示意图；
图5是本发明与DCP相比对测试序列去雾用时示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明涉及的一种基于云平台的模板匹配监控视频去雾系统，如图1所示，包括视频采集模块、云服务器模块和视频解码模块。视频采集模块、云服务器模块和视频解码模块之间通过网络传输数据。
其中，视频采集模块包括视频采集端和H.264编码器，视频采集端将采集到的视频数据及设备号传输给H.264编码器进行H.264编码压缩，并将压缩码流发送到云服务器模块。这里的H.264编码器记为第一H.264编码器，以便于与下面的进行区别。
云服务器模块包括H.264解码器、雾气检测模块和H.264编码器。其中，H.264解码器用于接收压缩码流并进行H.264解码读出设备号、关键帧和非关键帧。雾气检测模块用于对视频是否需要去雾进行判断，并对需要去雾的各关键帧和非关键帧分别进行去雾，关键帧去雾时采用自适应分簇K-means算法，并基于模板库和DCP理论进行去雾，非关键帧去雾时利用关键帧参数去雾。H.264编码器将所有图像组合生成去雾视频并进行H.264再编码，将压缩码流发送至视频解码模块。这里的H.264解码器记为第一H.264解码器，H.264编码器记为第二H.264编码器。
视频解码模块包括H.264解码器和视频播放端。H.264解码器接收并解码生成去雾后的视频，在视频播放端中播放。在这里，H.264解码器记为第二H.264解码器。
本系统的去雾方法主要是通过云服务器模块进行去雾，包括以下步骤：
步骤1：第一H.264解码器接收压缩码流并进行H.264解码读出设备号、关键帧及非关键帧，根据设备号调出相应设备的模板库，其中模板库中的各模板的参数集Model包括归属系数C、环境光A及透射率图T三方面信息，即Model＝{C,A,T}；
步骤2：通过雾气检测模块对视频是否需要去雾进行判断，如若需要去雾则执行步骤3，否则跳至步骤6；
步骤3：关键帧部分去雾处理：
301)利用雾气浓度的结构分布特点，采用自适应分簇K-means算法，聚类为雾气浓度各不相同的子图集，具体内容如下：
步骤3011)按式(1)获取用以表征图像结构特征的综合图结构信息矩阵M＝{Jdark,H,S}，其中Jdark为利用暗原色先验理论估计的粗略景深图，即暗通道估计图；H为利用色调简化公式计算的色调图，S为利用饱和度公式计算的饱和度图，用以辅助聚类：(1)，其中Ω(m,n)表示以坐标(m,n)的像素点X为中心的邻域，(u,v)为其邻域内的一点，Xc表示X的某个信道值，R,G,B分别表示像素点X在红色信道(r)，绿色信道(g)，蓝色信道(b)中的数值；
步骤3012)初始化簇个数参数Tc，簇内像素点个数下限Tp；
步骤3013)使用K-means算法将综合图结构信息矩阵M聚类分成Tc个簇，记录各簇内所含像素点的个数；
步骤3014)如果各簇内所含像素点的个数均大于Tp，顺序执行步骤3015)，否则令Tc＝Tc-1并跳至步骤3013)；
步骤3015)获得各个簇的归属系数其中第i个簇的归属系数Ci中，表示原始图像中像素点X(m,n)不属于这个簇，表示原始图像中像素点X(m,n)属于这个簇；
步骤3016)根据计算各个簇对应的子图其中Pi中点(m,n)的值
若则令为原始图像中点X(m,n)的三通道值，并计算对应的原始图像中各点在各通道上的平均值，记为
若则令为各子图Pi与帧图像X大小相同，且属于同一子图中的像素具有相同或相近的景物深度。
302)基于模板库和DCP理论的去雾处理：对关键帧的各子图采用模板匹配算法寻找与当前雾气信息相匹配的模板，匹配成功则使用该模板参数去雾，否则使用DCP算法去雾并根据去雾结果训练模板库，将各去雾子图按位置信息合并生成去雾后的关键帧。其中，各子图采用模板匹配算法的过程如下：
3021)对当前关键帧中的各子图，利用与模板库中各模板的相关性，判断模板库中是否存在与当前子图Pi的归属系数Ci及环境光Ai分别相等的模板；如果存在，取该模板的透射率图Tj作为该子图对应的透射率图Ti，进入步骤3022)；如果不存在，说明模板库中不存在与当前子图相匹配的模板，进入步骤3023)。
3022)根据暗原色先验理论中的雾气模型计算该子图的去雾图像：其中I(x)表示含雾图像各点的像素值，A表示环境光数值，t(x)表示各点的透射率，t0表示透射率下限，J(x)表示去雾后各点的像素值；
3023)利用DCP算法对各子图分别进行去雾，记录各子图归属系数Ci、各子图环境光Ai及当前关键帧透射率T，并将它们增设至模板库。其中，利用DCP算法对各子图分别进行去雾是指按照暗原色先验理论进行去雾操作，其中透射率采用软抠图(soft matting)方法进行修正，同时为了改善其对天空区域的处理效果，修改其中的透射率下限阈值为：其中N为透射率图像的像素总数，n为图像中传输参数小于0.1的像素点个数。
303)将关键帧参数存入缓存做后续非关键帧的参考；
步骤4：非关键帧部分去雾处理：利用帧间相关性，以前一关键帧为参考帧，直接使用前一关键帧参数，根据暗原色先验理论中的雾气模型进行去雾；
步骤5：重复步骤3至步骤4，直至生成最终视频，并转至步骤6)；
步骤6：第二H.264编码器将去雾视频进行H.264再编码，将压缩码流发送至视频播放模块。
如图4和图5所示，对本发明提出的视频去雾方案做了测试实验，采用“交通实测视频与数据共享平台”所提供的“clip_北京四环_10”的前20帧图像为视频数据，以在主频为3.30GHZ、内存为4GB的计算机上运行的MATLAB软件为模拟测试平台，通过与对每帧直接使用暗通道先验理论得到的去雾图进行对比，发现通过本发明算法处理的视频序列中的图像，信息量虽稍有降低，但大幅度缩减了整体的运行时间。
本发明在去雾过程中充分利用拍摄视角的不变性，关键帧通过训练各终端设备特有的模板库进行去雾，非关键帧可以充分利用与关键帧的相关性，以关键帧的透射率图为传递参数，弱化了后景轮廓、形状、大小的影响，所以大幅度缩减了整体的运行时间。
综上所述，本发明针对固定视角的视频监控系统，对关键帧去雾考虑结构特征，以雾气浓度为基础划分关键帧并进行独立去雾，弱化了后景物体的轮廓、形状、大小的影响，减弱在去雾过程中不同深度的景物之间的相互影响；对非关键帧去雾，充分利用视角的不变性及各帧的时空相关性，通过训练各终端设备特有的透射率模板库极大地加快计算速度；将主要的计算与操作转移至云端，极大地降低了终端设备的性能要求和功率损耗。
本系统中暗通道图可以看作为雾气浓度的近似值估计，以暗通道图为基础划分图像进行独立去雾，为减弱在去雾过程中不同深度的景物之间的相互影响提供了解决方法，同时非关键帧可以充分利用与关键帧的相关性，以关键帧的透射率图为传递参数，可以有效弱化后景物体的轮廓、形状、大小等信息变化带来的影响；视频监控系统视角的固定，使得同一视频内图像结构特征基本固定，因而各帧的透射率图得以传输和借鉴，通过对各设备增设透射率模板库，从而可以大大简化使用暗通道先验去雾的计算量；云平台的普及和网络的发展，为减轻终端设备的计算负荷和功率消耗提供了可能。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。