一种白平衡与暗原色的自适应直方图水下图像增强方法与流程

本发明涉及数字图像处理领域的水下图像增强方法，更具体地说是一种白平衡与暗原色的自适应直方图水下图像增强方法。

背景技术：

海洋孕育着大大的能源和资源，是人类生存与发展的重要领域，人类社会的发展也必然越来越依赖海洋，目前，越来越多的人类活动都与海洋有关，因此，开展水下图像处理方法的研究，在军事和国民经济上都有重要的价值和意义。

水下图像分析和识别是海洋研究和开发中的关键技术之一，但是在水下成像过程中由于存在水体对光线的吸收以及悬浮颗粒对光的散射等,常使得水下图像出现分辨率不足和强烈的衰减，从而导致水下图像出现颜色失真，对比度会急剧下降，而且同时水下可见度较低会使图像产生模糊，水下图像成像复杂、质量较差且由于光线在水下传播时，绿色分量因为波长最短所以在水下传播距离最远，这导致水下图像偏绿色。这些因素导致水下图像难以直接用于海洋科学研究、海洋工程等方面，给科研和实际操作带来较大难题，因此，需要对水下图像做增强处理，使其符合机器识别和视觉分析的要求。

目前，水下图像增强主要有以下几种：

(1)抑制后向散射的图像增强方法

根据有关后向散射背景灰度分布的先验知识，利用传统的图像增强改善图像的灰度对比度，达到图像增强的目的。传统的图像增强算法有直方图均衡化、对比度拉伸等。

(2)基于频域处理的方法

在降噪和增强方面有较好效果的方法在水下图像上也有广泛的应用，如自适应滤波，同态滤波、双边滤波等，2006年Bazeille等人提出了一种减少水下扰动的提高图像质量的水下图像增强方法，通过同态滤波方法纠正非均匀照明；利用小波去噪来抑制噪声，采用各向异性滤波对边缘进行增强，并通过均匀RGB通道来调整颜色，该算法能在一定程度上还原了图像真实颜色并凸显目标的细节部分。但该算法忽略了光的水下散射等影响，算法耗时较长，不适合实时处理。

(3)基于大气散射模型的水下图像增强方法

借鉴大气散射模型的水下图像增强方法。2008年，翟艺书等人提出了一种基于模糊逻辑的雾天降质图像增强方法，该算法通过对降质图像进行规范化处理，降低不同雾况对灰度级分布范围的影响，并对规范后的图像根据大气散射对对比度衰减的影响规律，在模糊域内实现对比度增强。该算法可以有效提高雾天降质图像的对比度，视觉效果改善。但该算法可以在一定的现实条件下完成对雾天图像的清晰化，但是该方法的实现会受到大气模型参数获取的限制。

(4)基于图像融合的方法

Ancuti提出一种针对水下图像和视频的融合技术，参数了多光谱图像、去雾和HDR图像中应用的成功案例。首先对水下图像进行白平衡处理，最小化颜色在整个场景中的漂移，然后利用双边滤波等方法去噪并进行颜色修正，最后利用高斯金字塔进行图像复原。该方法算法效果较好，但计算过程较复杂。

在此背景下，在借鉴水下图像色彩修正及暗原色模型图像增强的基础上，提出在对图像进行色彩修正之后，将暗原色模型和传统的CLAHE图像增强算法相结合，采用图像融合的方法，不仅可以增大图像的灰度范围，丰富灰度层次，改善视觉效果，达到图像增强的目的，同时又避开了复杂的透射图估计。还原图像效果好。增强效果好，颜色高保真，实时性强。

技术实现要素：

1、所要解决的技术问题：

本发明旨在提供一种基于暗通道与白平衡结合的自适应直方图水下图像增强方法，该方法先对图像进行白平衡处理，消除图像偏色；然后利用暗通道模型，并根据该信息计算权重因子，与后续的自适应直方图增强算法进行融合；具有计算简单，实时性强的特点。

2、技术方案：

一种白平衡与暗原色的自适应直方图水下图像增强方法，包括以下步骤：

步骤一：读取水下图像I(x,y)，其中(x,y)为图像中像素的坐标位置，利用动态阈值白平衡算法对图像I(x,y)进行色彩校正，校正后的图像为I(x,y)'；

上述动态阈值白平衡算法进行色彩校正的具体过程为：

1)将图像I(x,y)从RGB颜色空间转换为YC_bC_r颜色空间：分别计算图像I(x,y)在YC_bC_r颜色空间内C_b、C_r的平均值M_b、M_r以及绝对值方差D_b、D_r，其中，D_b、D_r的表达式为其中，C_b(i，j)，C_r(r，j)分别是图像I(x,y)在YC_bC_r颜色空间中C_b、C_r在(i,j)处的蓝色色度分量和红色分量，N是图像I(x,y)的像素总数。

2)计算近白区域，计算接近白色区域的所有像素点，表达式为

|C_b(i,j)-(M_b+D_b×sign(M_b))|＜1.5×D_b、|C_r(i,j)-(1.5×M_r+D_r×sign(M_r))|＜1.5×D_r

3)设一个“参考白色点”的亮度矩阵RL，若符合判别式，则作为参考白色点,并把该点(i,j)的亮度即Y分量值赋给RL(i,j)；若不符合，则该点的RL(i,j)值为0；

4)并将计算得到接近白色区域的所有像素点，按其亮度值从大到小依次排列。选择前10％的亮度值作为接近白色区域的参考白点。并选取其中亮度最小值Lu_min；调整RL，若RL(i,j)<Lu_min，则RL(i,j)＝0；否则，RL(i,j)＝1；

5)分别把感兴趣区域图像的RGB三通道值与RL相乘，得到R2，G2，B2，计算R2，G2，B2的平均值Rav,Gav,Bav

6)计算图像的最大亮度Ymax，公式为Ymax＝double(max(max(Y)))/15；

7)得到三通道增益Rgain＝Ymax/Rav；Ggain＝Ymax/Gav；Bgain＝Ymax/Bav；

8)通过增益调整图像的RGB值，得到调整后的三种颜色通道Ro,Go,Bo，Ro＝R*Rgain；Go＝G*Ggain；Bo＝B*Bgain；合成图像I(x,y)'。

步骤二：利用于暗通道模型求出色彩校正后图像I(x,y)'的暗通道图I^dark(x,y)。

利用于暗通道模型计算出暗通道图I^dark(x,y)的具体过程为：读取I(x,y)'，求出图像中每个像素RGB分量中的最小值，存入一副与原始图像大小相同的灰度图中，接着对该灰度图进行最小值滤波，得到I(x,y)的暗通道图I^dark(x,y)。

步骤三：对暗通道图像I^dark(x,y)进行平均分块，分为KxK块，K为大于等于1的整数，其中的一个方块图像为Ω_i,j，计算出Ω_i,j的权重因子C_i,j。通常情况下把图像沿横坐标分为8行，纵坐标分为8列，记为8*8；在本阶段中求出权重因子C_i,j是为了衡量方块图像Ω_i,j的景深关系。

在本步骤中，暗通道图I^dark(x,y)计算方块图像Ω_i,j的权重因子C_i,j的过程为：分别求出相应方块图像Ω_i,j内的暗通道I^dark(x,y)的均值和最大值然后将该均值进行归一化，将归一化后的值作为相应块的权重因子C_i,j为：

步骤四：利用CLAHE的方法对水下图像I(x,y)'进行处理；首先统计方块图像Ω_i,j的分块直方图Hist_i,j；其次根据分块直方图Hist_i,j分别计算分块限制对比度直方图和分块对比度拉伸直方图基于分块限制对比度直方图计算方块Ω_i,j相对应的灰度映射关系表基于分块对比度拉伸直方图计算方块Ω_i,j相对应的灰度映射关系表统计方块图像Ω_i,j的分块直方图Hist_i,j的过程为：对分块内各个像素区域内对应的像素点进行排列，将像素值相同的像素点排在同一列，再将每一列像素点按像素值递增的顺序排列构成直方图；

所述步骤四中关于根据Hist_i,j计算分块限制对比度直方图的过程为：利用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的，并将这些裁剪掉的部分均匀的分布到直方图的其他部分；

所述步骤四为对直方图进行对比度拉伸，该对比度拉伸是通过计算分段线性变换函数形式来实现对动态范围的变换，以达到增强图像对比度的效果，所述分段线性函数公式为：

其中x₁、x₂决定了需要转换的灰度范围，y₁、y₂决定了线性变换的斜率；

步骤四中基于分块限制对比度直方图计算方块图像Ω_i,j相对应的灰度映射关系表的过程为：该映射关系是根据截至频率及像素重新分配后的直方图分布状态来计算均衡化查找映射表；

基于分块对比度拉伸直方图计算方块Ω_i,j相对应的灰度映射关系表的过程为：通过计算分段线性变换的函数形式实现。

步骤五：利用权重因子C_i,j，和灰度映射关系表和融合计算出方块Ω_i,j最终的灰度映射关系表Map_i,j

这步中将两张映射表加权融合的原因是：限制对比度直方图均衡方法(CLAHE)对图像中景深较大区域的增强效果较好，对前景则存在一定程度的色彩失真；而传统的对比度拉伸对前景图像增强效果较好，对景深较大区域效果不佳。所以利用C_i,j对其进行加权平均，既较好地增强了图像，又还原和保持了前景色彩。

步骤六：采用双线性插值算法逐个计算方块图像中每个像素对应的灰度映射值，得到增强的方块图像，对相邻方块图像与方块图像之间连接的的像素进行插值计算，插值计算之后的图像即为水下图像I(x,y)增强后的图像。

对相邻方块图像与方块图像之间连接的的像素进行插值计算的过程为：将图像均匀分成等份矩形大小，如附图5的右侧部分所示(8行8列64个块是常用的选择)。然后计算每个块的直方图、CDF以及对应的变换函数。这个变换函数对于块的中心像素(附图5中左侧部分的黑色小方块)是完全符合原始定义的。而其他的像素通过那些在其临近的四个块的变换函数插值获取。位于图中数字标记为3部分的像素采用双线性插值，而位于便于边缘的(数字标记为2)部分采用线性插值，角点处(数字标记为1)直接使用块所在的变换函数。

3、有益效果：

本发明先进行色彩校正，消除图像偏色，然后进行图像增强，不但可以消除图像模糊效应，增加图像对比度，丰富了图像细节，使得图像得到增强，改善了视觉效果。具有较好的鲁棒性。

本发明基于暗通道模型计算分块景深权重因子，对水下图像进行分块限制对比度直方图均衡和对比度拉伸增强，并加入了权重因子进行融合。在动态范围和颜色恒常性都有良好的表现，本发明首次将暗原色先验与直方图均衡与对比度拉伸进行融合，解决了水下彩色图像偏色及图像模块等问题。

相比于暗通道算法，采用分块直方图计算以及双线性插值还原方法，大大降低了每个像素映射关系计算的次数，只增加了一些双线性插值的计算量。且可以采用并行计算方法，非常合适FPGA等硬件进行工程化实现。

附图说明

图1为本图像增强方法流程图

图2为将图像I(x,y)的分块示意图

图3为直方图裁剪限幅示意图

图4为分段线性函数示意图

图5为图像插值示意图

具体实施方式

水下图像在海洋能源勘探与开发、海洋考古、海洋环境监测与保护等领域应用广泛，但由于水下环境特殊性，获取的图像质量往往很差，难以用于后续的图像分析与应用。针对水分子以及水体颗粒对光线的散射所造成的水下图像模糊效应，本发明先进行色彩校正，消除图像偏色，然后进行图像增强，不但可以消除图像模糊效应，增加图像对比度，丰富了图像细节，使得图像得到增强，改善了视觉效果。本发明对水下图像进行分块限制对比度直方图均衡和对比度拉伸增强，并加入了权重因子进行融合。在动态范围和颜色恒常性都有良好的表现，本发明首次将暗原色先验与直方图均衡与对比度拉伸进行融合，解决了水下彩色图像偏色及图像模块等问题。

图1为本算法的流程图，从图中可以看出本算法借鉴传统的CLAHE方法，为了简化降低计算量，将图像划分为横竖若干个K*K的方块Ω_i,j进行处理，

一种白平衡与暗原色的自适应直方图水下图像增强方法，包括以下步骤：

步骤一：读取水下图像I(x,y)，其中(x,y)为图像中像素的坐标位置，利用动态阈值白平衡算法对图像I(x,y)进行色彩校正，校正后的图像为I(x,y)'；

上述动态阈值白平衡算法进行色彩校正的具体过程为：

2)将图像I(x,y)从RGB颜色空间转换为YC_bC_r颜色空间：分别计算图像I(x,y)在YC_bC_r颜色空间内C_b、C_r的平均值M_b、M_r以及绝对值方差D_b、D_r，其中，D_b、D_r的表达式为其中，C_b(i,j)，C_r(i,j)分别是图像I(x,y)在YC_bC_r颜色空间中C_b、C_r在(i,j)处的蓝色色度分量和红色分量，N是图像I(x,y)的像素总数。

2)计算近白区域，计算接近白色区域的所有像素点，表达式为

|C_b(i,j)-(M_b+D_b×sign(M_b))|＜1.5×D_b、|C_r(i,j)-(1.5×M_r+D_r×sign(M_r))|＜1.5×D_r

3)设一个“参考白色点”的亮度矩阵RL，若符合判别式，则作为参考白色点,并把该点(i,j)的亮度即Y分量值赋给RL(i,j)；若不符合，则该点的RL(i,j)值为0；

4)并将计算得到接近白色区域的所有像素点，按其亮度值从大到小依次排列。选择前10％的亮度值作为接近白色区域的参考白点。并选取其中亮度最小值Lu_min；调整RL，若RL(i,j)<Lu_min，则RL(i,j)＝0；否则，RL(i,j)＝1；

5)分别把感兴趣区域图像的RGB三通道值与RL相乘，得到R2，G2，B2，计算R2，G2，B2的平均值Rav,Gav,Bav

6)计算图像的最大亮度Ymax，公式为Ymax＝double(max(max(Y)))/15；

7)得到三通道增益Rgain＝Ymax/Rav；Ggain＝Ymax/Gav；Bgain＝Ymax/Bav；

8)通过增益调整图像的RGB值，得到调整后的三种颜色通道Ro,Go,Bo，Ro＝R*Rgain；Go＝G*Ggain；Bo＝B*Bgain；合成图像I(x,y)'。

步骤二：利用于暗通道模型求出色彩校正后图像I(x,y)'的暗通道图I^dark(x,y)。

利用于暗通道模型计算出暗通道图I^dark(x,y)的具体过程为：读取I(x,y)'，求出图像中每个像素RGB分量中的最小值，存入一副与原始图像大小相同的灰度图中，接着对该灰度图进行最小值滤波，得到I(x,y)的暗通道图I^dark(x,y)。

步骤三：如附图2所示对暗通道图像I^dark(x,y)进行平均分块，分为KxK块，K为大于等于1的整数，其中的一个方块图像为Ω_i,j，计算出Ω_i,j的权重因子C_i,j。通常情况下把图像沿横坐标分为8行，纵坐标分为8列，记为8*8；在本阶段中求出权重因子C_i,j是为了衡量方块图像Ω_i,j的景深关系。

在本步骤中，暗通道图I^dark(x,y)计算方块图像Ω_i,j的权重因子C_i,j的过程为：分别求出相应方块图像Ω_i,j内的暗通道I^dark(x,y)的均值和最大值然后将该均值进行归一化，将归一化后的值作为相应块的权重因子C_i,j为：

步骤四：利用CLAHE的方法对水下图像I(x,y)'进行处理；首先统计方块图像Ω_i,j的分块直方图Hist_i,j；其次根据分块直方图Hist_i,j分别计算分块限制对比度直方图和分块对比度拉伸直方图基于分块限制对比度直方图计算方块Ω_i,j相对应的灰度映射关系表基于分块对比度拉伸直方图计算方块Ω_i,j相对应的灰度映射关系表

统计方块图像Ω_i,j的分块直方图Hist_i,j的过程为：对分块内各个像素区域内对应的像素点进行排列，将像素值相同的像素点排在同一列，再将每一列像素点按像素值递增的顺序排列构成直方图；

所述步骤四中关于根据Hist_i,j计算分块限制对比度直方图的过程为：利用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的，如附图3所示，并将这些裁剪掉的部分均匀的分布到直方图的其他部分；

所述步骤四为对直方图进行对比度拉伸，该对比度拉伸是通过计算分段线性变换函数形式来实现对动态范围的变换，以达到增强图像对比度的效果，分段线性函数曲线见附图4所示，所述分段线性函数公式为：

其中x₁、x₂决定了需要转换的灰度范围，y₁、y₂决定了线性变换的斜率；

步骤四中基于分块限制对比度直方图计算方块图像Ω_i,j相对应的灰度映射关系表的过程为：该映射关系是根据截至频率及像素重新分配后的直方图分布状态来计算均衡化查找映射表；

基于分块对比度拉伸直方图计算方块Ω_i,j相对应的灰度映射关系表的过程为：通过计算上述分段线性变换的函数形式实现。

步骤五：利用权重因子C_i,j，和灰度映射关系表和融合计算出方块Ω_i,j最终的灰度映射关系表Map_i,j

这步中将两张映射表加权融合的原因是：限制对比度直方图均衡方法(CLAHE)对图像中景深较大区域的增强效果较好，对前景则存在一定程度的色彩失真；而传统的对比度拉伸对前景图像增强效果较好，对景深较大区域效果不佳。所以利用C_i,j对其进行加权平均，既较好地增强了图像，又还原和保持了前景色彩。

步骤六：采用双线性插值算法逐个计算方块图像中每个像素对应的灰度映射值，得到增强的方块图像；如附图5所示，对相邻方块图像与方块图像之间连接的的像素进行插值计算，插值计算之后的图像即为水下图像I(x,y)增强后的图像。