一种符合人眼视觉特性的变电站视频图像清晰化方法与流程
本发明涉及图像通信、视频图像处理、智能电站技术领域，更具体地说，涉及一种符合人眼视觉特性的变电站视频图像清晰化方法。
背景技术：
变电站、电力设施遍布各地，多数是无人值守站，需要通过监控摄像头关注实时情况。然而雾霾天由于大气粒子的散射作用，变电站监控摄像头拍摄到的图像模糊不清，难以分辨违规闯入的人、动物、不明杂物等，不得不派专人巡视，不仅增加了工作复杂度，而且无法提前处理隐患。部分重点区域虽安装红外摄像仪，但价格昂贵，且无法密集布设，难以在全网开展实施。
近年来，基于数字图像处理的图像清晰化方法因其成本低、自动化、可移植性强等优点广受青睐。传统的图像增强的方法利用提高对比度来突出目标景物，主要有直方图均衡、对数变换、锐化、小波变换以及不同尺度的retinex方法。较为新颖的基于雾天大气光学知识的单幅图像去雾方法，如oakley和bu等通过优化全局代价函数，精确估计天空光，改善图像对比度；tan等基于马尔可夫随机场对无雾和有雾情况下图像对比度的统计信息进行优化，该方法容易出现过增强，颜色失真严重；fattal用独立成分分析法计算透射率，只能在薄雾情况下取得较好的效果；he等引入了暗原色先验，方法简洁、效果出色，但计算过程中耗时过高；tarel等提出了一种基于中值滤波的快速去雾算法，但当场景深度变化时，对深处的雾去除效果不佳。
国内方面，史徳飞等在暗原色先验的基础上，将rgb三通道转换为耦合性更低的透射率三通道；孙抗等在tarel方法的基础上提出了一种基于双边滤波器的实时图像去雾方法；王多超等则认为景物的清晰图像与场景深度不相关，此方法依赖于边缘平滑和噪声高斯分布的假设，只适用于部分的图像。
雾天图像清晰化方法已经成为国内外热议的研究课题，针对现有方法的局限性，本发明致力于研究一种去雾效果显著、细节保持完好、色彩鲜明自然，并符合人眼观察习惯的图像清晰化方法。
技术实现要素：
本发明的目的在于提高雾天变电站视频图像质量，以往的图像增强方法能提高对比度，但只适用于薄雾、近距离的场景，且常常造成严重的偏色和失真。本发明根据大气成像模型，结合分块思想自适应地获取大气光亮度，利用暗原色的先验知识建立图像退化方程，并基于引导联合双边滤波的提出了更为精确的透射率估计方法，为了进一步改善复原图像的观赏性，本发明结合人眼视觉特性，在lipc(彩色对数图像处理)框架下对复原图像进行色彩增强，有效解决了雾天变电站监控视频无法可视性差的问题。
为解决上述技术问题，本发明提供1.一种符合人眼视觉特性的变电站视频图像清晰化方法，其特征是根据大气光学成像模型、暗原色知识和引导联合双边滤波理论，求解雾天图变电站图像透射率并反演出复原图像，再基于彩色对数图像处理(lipc)框架进一步增强，得到符合人眼视觉特性的清晰图像，包括以下步骤：
1)采集变电站视频图像；
2)对步骤1)采集的一帧视频图像进行大气光亮度值a的计算；
3)根据大气光学成像模型，建立图像的退化方程，并基于暗原色的先验知识，求解粗略的透射分布率t(x)参数；
4)以原图的灰度图像作为引导图像，与粗略大气光幕f(x)进行引导联合双边滤波，得到新的大气光幕f'(x)，进而反推出初步的复原图像j'(x)；
5)结合人眼视觉特性，在lipc彩色对数图像处理框架下对复原图像进行增强，获得更符合人眼习惯的无雾清晰图像j'lipc(x)。
进一步地，步骤1)所述的采集变电站视频图像的具体要求为：使用变电站监控摄像机进行雾天视频图像采集，要求有效像素分辨率≥100万、帧率≥25fps、可变焦距范围为6.5mm～85mm、视角范围360°可旋转、支持h.264网络编码方式。
进一步地，步骤2)所述的大气光亮度值a计算的具体操作步骤为：
首先把图像分成4块，并求出每一块的图像亮度均值
取这4个块中vi值最大的块，继续将其分成4块，重复此操作，直到被分割块的大小低于最先设定的阈值，对于在最后一次分割中选定的vi值最大的块，用彩色图像计算该块中每一点的(r，g，b)与(255，255，255)的矢量距离，取二范数结果最小的点p，认为是与白点最接近的点，也即大气光a的值，用矢量矩阵形式表示为：
a＝(rp,gp,bp)(2)
符合条件的点p应满足的约束条件为：
s.t.min||(rp,gp,bp)-(255,255,255)||(3)
其中，rp、gp、bp分别为图像中p点的r、g、b值。
进一步地，步骤3)所述的求解粗略的透射分布率t(x)参数的具体操作步骤为：
a、根据大气散射成像模型可将雾天图像降质退化的过程表示为：
i(x)＝j(x)t(x)+a·(1-t(x))(5)
其中，x为像素点，i(x)为雾天图像，j(x)为原始的没有环境光干扰的图像，a为大气入射光，j(x)＝a·b(x)，b(x)为场景的反照率，t(x)为透射分布率，反映了场景反照光中未被散射的光占总体散射光的比率，t(x)＝e-βd(x)，β为大气散射系数，d(x)为场景的景深。
其中，大气光幕f(x)表示为：
f(x)＝a(1-t(x))(4)
b、暗原色先验知识基于一个统计事实：户外无雾图像的非天空区域的像素值r、g、b三通道中至少存在一个通道的强度值非常低，也即任何一个点的邻域最小值强度趋于零，表示为：
其中，jc表示彩色图像的每个通道，c∈{r，g，b}，ω(x)表示以像素x为中心的区块，y∈ω(x)表示该区块内的任意像素点，jdark就是图像j的暗通道。
c、结合大气光散射模型和暗原色先验知识，根据式(5)和(6)推导得初步的透射分布率t(x)，表示为：
其中，去雾控制因子ω∈[0，1]，典型值为0.95。
进一步地，步骤4)所述的反推出初步的复原图像j'(x)的具体操作步骤为：
根据引导联合双边滤波的原理，将步骤3)中根据暗通道假设求得的粗略大气光幕f(x)作为待滤波图像，用包含更多纹理和细节的原图灰度图igray作为引导图像，联合滤波后输出的图像，即新的大气光幕f'(x)，表示为：
其中，igray·x和igray·y表示igray对应x、y位置的像素值，f和g是权重分布函数，k(x)为归一化常量；
将式(10)得到的f'(x)，代入步骤式(4)和(5)，进而反演得到新的复原图像j'(x)，合并推导得：
其中，t0为控制阈值，取0.1。
进一步地，步骤5)所述的获得更符合人眼习惯的无雾清晰图像j'lipc(x)的具体操作步骤为：
a、根据lms人眼视觉特性，rgb彩色空间的图像i和透射率三通道空间的图像t的转换关系，可以表示为：
其中，kλ和uλ分别为反射矩阵k和透射矩阵u的归一化的结果，由d65光源和lms值的经验统计数据，可知：
b、将图像从rgb三通道转换到透射率三通道后，我们称之为透射率域，相应于彩色对数图像中的灰度域，透射率域减法的实质是将图像的最大灰度值与最小灰度值的差距拉伸至最大；
c、将步骤4)中式(11)复原得到的j'(x)从透射率空间逆转换到rgb空间，记为j'c(x)，其中c∈{r,g,b}表示每个彩色通道，代入式(15)，则j'c(x)可以表示为：
求得相应的上界h'(x)和下界d'(x)，表示为：
则根据lipc减法，求得相应的拉伸矩阵c'0(x)为：
最终经过lipc增强后的无雾复原图像j'lipc(x)，表示为：
本发明所达到的有益效果：
(1)能自适应计算大气光亮度，无需人为选点估计，避免了主观性的误差；
(2)结合了引导联合双边滤波器和暗原色理论的优势，使复原图像纹理更清晰，尤其在景物深度变化、雾浓度较大和低照度情况都能取得显著的效果；
(3)基于lipc彩色对数图像处理模型给出的增强算法，使图像色彩更为真实、鲜明，符合人眼感官；
(4)鲁棒性强，且成本低廉，无需添置其余硬件设备，可以方便地适用于各大变电站和电力设施监控站，具有广泛的社会效益和经济效益。
附图说明
图1为本发明中用于大气光亮度值估计的分割方法示意图；
图2为本发明中依据的大气粒子散射成像模型示意图；
图3(a)为本发明中人眼观察图像过程示意图；
图3(b)为传感器接收图像过程示意图；
图4为本发明中参考的cie(国际照明委员会)颜色匹配函数示意图；
图5为本发明一种符合人眼视觉特性的变电站视频图像清晰化方法的流程图；
图6(a)、(b)、(c)、(d)、(e)、(f)、(g)和(h)依次是实施例原图、对应灰度图、粗略大气光幕图、粗略透射率图、大气光幕、根据本发明方法得到的新透射率图、初步复原图像和lipc增强后的图像效果对比图；
图7(a)、(b)、(c)、(d)、(e)和(f)依次是实施例原图、限制对比度直方图均衡方法(clahe)、带色彩恢复的多尺度retinex方法(msrcr)、tarel中值滤波方法、he暗通道去雾方法和本发明方法作用效果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
结合附图，本实施例的一种符合人眼视觉特性的变电站视频图像清晰化方法，其特征是根据大气光学成像模型、暗原色知识和引导联合双边滤波理论，求解雾天图变电站图像透射率并反演出复原图像，再基于彩色对数图像处理(lipc)框架进一步增强，得到符合人眼视觉特性的清晰图像，包括以下步骤：
1)采集变电站视频图像：使用变电站监控摄像机进行雾天视频图像采集，要求有效像素分辨率≥100万(1280*720)、帧率≥25fps、可变焦距范围≥6.5mm～85mm、视角范围360°可旋转、支持h.264网络编码方式。
2)对步骤1)采集的一帧视频图像进行大气光亮度值a的计算：基于像素值的方差在朦胧的地区普遍较低，对图像全局进行分块并搜索求解，将二范数结果最小的点作为大气光a的值。具体操作步骤为：
首先把图像分成4块，并求出每一块的图像亮度均值
取这4个块中vi值最大的块，继续将其分成4块，重复此操作(参见图1)，直到被分割块的大小低于最先设定的阈值。对于在最后一次分割中选定的vi值最大的块(如图1中右上角深色区块)，用彩色图像计算该块中每一点的(r，g，b)与(255，255，255)的矢量距离，取二范数结果最小的点p，认为是与白点最接近的点，也即大气光a的值，用矢量矩阵形式表示为：
a＝(rp,gp,bp)(2)
符合条件的点p应满足的约束条件为：
s.t.min||(rp,gp,bp)-(255,255,255)||(3)
其中，rp、gp、bp分别为图像中p点的r、g、b值。
3)根据大气光学成像模型，建立图像的退化方程，并基于暗原色的先验知识，求解出粗略的透射分布率t(x)等参数。具体操作为：
a、大气散射成像模型(参见图2)描述了雾天图像降质退化的过程，物体成像由两部分构成，一部分为真实场景反射光j(x)由于透射t(x)衰减变成j(x)·t(x)，称为直接衰减光。另一部分为a·(1-t(x))，即大气入射光在被散射后按1-t(x)比率被接收器捕获，称为大气光幕f(x)，即：
f(x)＝a(1-t(x))(4)
退化图像可以表示为：
i(x)＝j(x)t(x)+a·(1-t(x))(5)
其中，x为像素点，i(x)为雾天图像，j(x)为原始的没有环境光干扰的图像，a为大气入射光，j(x)＝a·b(x)，b(x)为场景的反照率，t(x)为透射分布率，反映了场景反照光中未被散射的光占总体散射光的比率，t(x)＝e-βd(x)，β为大气散射系数，d(x)为场景的景深。
b、暗原色先验知识基于一个统计事实：户外无雾图像的非天空区域的像素值r、g、b三通道中至少存在一个通道的强度值非常低，也即任何一个点的邻域最小值强度趋于零。表示为：
其中，jc表示彩色图像的每个通道，c∈{r，g，b}，ω(x)表示以像素x为中心的区块，jdark就是图像j的暗通道。
c、结合大气光散射模型和暗原色先验知识，并引入去雾控制因子ω，根据式(5)和(6)推导得初步的透射分布率t(x)，表示为：
其中，ω∈[0，1]，典型值为0.95。
求出透射率t(x)后代入式(4)反推无雾图像j(x)，则一般复原图像可表示为：
其中，t0为控制阈值，一般取0.1。
4)以原图的灰度图像作为引导图像，与粗略大气光幕f(x)进行引导联合双边滤波，得到新的大气光幕f'(x)，进而反推出初步的复原图像j'(x)。具体操作为：
a、为了尽量保证图像边缘细节同时又不消耗过多计算时间，在传统的双边滤波基础上，引入另外一幅与原图像i尺寸大小相同图像i'，称为引导联合双边滤波。以i表示输入图像，i'为引导图像，分别对引导图像i'进行空间滤波和值域滤波后，以相乘得到的联合滤波器对原始图像进行滤波，输出的图像q(x)表示为：
其中，x和y为物理坐标，ω(x)表示以像素x为中心的局部块，ix和iy表示对应位置的像素值，f是空间滤波的权重分布函数，g是值域滤波的权重分布函数，k(x)为归一化常量。
将步骤3)中根据暗通道假设求得的粗略大气光幕f(x)作为待滤波图像i，用包含更多纹理和细节的原图灰度图igray作为引导图像i'，联合滤波后输出的图像，即为新的大气光幕f'(x)，表示为：
其中，igray·x和igray·y表示igray对应x、y位置的像素值，
将式(10)得到的f'(x)，代入步骤3)的式(4)和(5)，进而反演得到新的复原图像j'(x)，合并推导得：
5)结合人眼lms视觉特性，在lipc彩色对数图像处理框架下对复原图像进行增强，获得更符合人眼习惯的无雾清晰图像j'lipc(x)。具体操作为：
a、人眼观察图像的过程如图3(a)所示，可以看做一个高精度的传感器s，在光照l的作用下，图像i经过反射在人眼中形成感知图像p。相对于传感器来说，感知图像p则是通过透射率t来获得，如图3(b)所示。
根据先验知识，人眼有分别对于长(l，550-780nm)、中(m，485-545nm)和短(s，390-480nm)波长的视锥细胞。根据这三种视锥细胞的刺激比例，便能描述任一种颜色的感觉，也即lms空间，1931年cie(国际照明委员会)给出了的颜色匹配函数(参见图4)，将可见光波段划分出三个独立的区间，以减少三通道之间的互相关性，定义为：
因此，图3(a)的过程可用向量矩阵形式表示为：
p＝k·i(13)
其中，k为反射矩阵。
同样，图3(b)的过程可用向量矩阵形式表示为：
p＝u·t(14)
其中，u为透射矩阵。
将式(13)和(14)联立，并作归一化处理，令kλ和uλ分别为k和u归一化的结果，得到rgb彩色空间的图像i和透射率三通道空间的图像t的转换关系，表示为：
由d65光源和lms值的经验统计数据，可知：
b、将图像从rgb三通道转换到透射率三通道后，我们称之为透射率域，相应于彩色对数图像lipc中的灰度域，用符号θ表示lipc内的减法，表示为：
其中，f和g为同尺寸的任意两幅彩色图像。
从式(17)中可以知道，lipc减法的实质是将图像的最大灰度值与最小灰度值的差距拉伸至最大。因此，对于一幅彩色图像i，我们定义其上界h和下界d，则图像的动态范围为dr(i)＝h-d，定义拉伸矩阵c0，将图像i的动态范围拉伸至最大，从而获得增强的效果。
拉伸矩阵c0必须满足：
dr(iθc0)＝(hθc0)-(dθc0)＝max(18)
其中，上界
结合式(17)和式(17)，可计算得出拉伸矩阵c0为：
则增强后的图像ilipc为：
c、将步骤4)中式(11)复原得到的j'(x)从透射率空间逆转换到rgb空间，并记为j'c(x)，其中c∈{r,g,b}表示每个彩色通道。代入式(15)，则j'c(x)可以表示为：
求得相应的上界h'(x)和下界d'(x)，表示为：
则相应的拉伸矩阵c'0(x)可表示为：
然后根据式(20)得到最终增强后的无雾复原图像j'lipc(x)，表示为：
由于lms分段处理的思想去除了原本rgb三通道的耦合性，在lipc加减/法运算过程中，不会超过rgb的灰度等级边界[0，m]，能在尽量保存颜色和对比度的同时，避免产生伪彩色，从而获得更符合人眼习惯的自然效果。
本发明实施例一种符合人眼视觉特性的变电站视频图像清晰化方法具体流程如图5所示。
本实施例仿真所用的pc是华硕n81vg笔记本，处理器型号为
图6。图6(c)是根据暗原色先验得到的粗略大气光幕，图6(d)是其对应的透射率图。以原图灰度图即图6(b)作为引导图像，对粗略大气光幕进行引导联合双边滤波后得到新的大气光幕(图6(e))，由其得出的新的透射率图(图6(f))明显更清晰。图6(g)的是反演得到的初步复原图像，图中远处和近处的雾几乎都被“去除”，景物边缘纹理清晰，天空也得到还原，但部分出现了伪边缘。对其进一步采用lipc增强得到图6(h)，很明显颜色更加自然，深浅有度，细节明显，更符合人眼观察效果。
本实施例还将本发明方法与目前国内外常用的几种方法结果进行了对比，测试结果如图7所示，其中(a)～(f)依次是原图、限制对比度直方图均衡方法(clahe)、带色彩恢复的多尺度retinex方法(msrcr)、tarel中值滤波方法、he暗通道去雾方法和本发明方法作用效果图。对比可知，图7(b)clahe去雾算法处理快速，对薄雾能取得较好的效果，对浓雾处理能力不够，且图像整体偏亮，色彩恢复不明显。图7(c)msrcr方法虽边缘清晰但出现了明显的伪彩色，保真度降低。图7(d)tarel方法处理后图像细节恢复较好，对比度增强，但颜色过于饱和，产生了明显的块效应。图7(e)he的方法，增强效果明显，对比度提高，纹理清晰，但整体偏暗，且对景深大的地方去雾效果不佳。图7(f)本发明方法的处理结果使得对比度增强十分明显，边缘清晰，整体色彩鲜明，且没有产生伪边缘或者伪彩色。
除了视觉对比之外，本文还采用了客观的评价因子对图像处理的效果进行衡量，计算结果如表1所示。
表1“雾天变电站巡视”图像的客观评价结果
其中，灰度均值反映的是图像本身的亮度情况，均值越大图像越亮，原图由于雾的存在，整体偏亮，经去雾算法处理后，该项数值都有所降低，且灰度均值为120左右时人眼可以获得较好的感官。标准差反映图像本身的对比度，标准差越大对比度越强，经去雾处理后数值相比于原图基本都有所增加，其中tarel方法、he方法以及本文的算法都使对比度增强明显。平均梯度和边缘强度均用来衡量图像的边缘清晰度，边缘强度越大则越清晰，clahe、msrcr和本文的算法都有明显优势。表1的第六～八列是基于对处理后图像和原图的差异性评测。其中，均方根误差rmse数值越小，峰值信噪比psnr越大，则处理后图像失真小，可见tarel方法和msrcr失真相对严重。ssim用于衡量两幅图像的结构相似性，越接近于1说明结构越相似，从数值上看，clahe、he方法和本发明方法都没有过分“破坏”原图的结构。因此，综合各项指数，本发明方法从亮度、对比度、边缘、保真度等方面都取得了较好的效果，与实验图7验证结果一致。
本实施例的一种基于人眼视觉特性的变电站图像清晰化方法，能自适应计算大气光亮度，无需人为选点估计，避免了主观性的误差；结合了引导联合双边滤波器和暗原色理论的优势，使复原图像纹理更清晰，尤其在景物深度变化、雾浓度较大和低照度情况都能取得显著的效果；基于lipc彩色对数图像处理模型给出的增强算法，使图像色彩更为真实、鲜明，符合人眼感官；方法鲁棒性强，且成本低廉，无需添置其余硬件设备，可以方便地适用于各大变电站和电力设施监控站，具有广泛的社会效益和经济效益。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！