一种水下图像清晰化处理方法与流程

本发明属于计算机图像处理领域，尤其涉及一种水下图像清晰化方法。

背景技术：

水下拍摄图像时，由于水中的有机物和悬浮颗粒物会对光产生吸收和散射效应，造成图像对比度下降，场景可见范围缩小，色彩缺失等，给水下目标搜索、侦查和监视等带来很大的困难。因此，水下图像清晰化算法成为计算机视觉应用领域和数字图像处理领域的研究热点。

根据是否依据具体的成像模型可以将水下图像清晰化算法分为图像增强方法和图像复原方法。图像增强方法主要有直方图均衡化^[1]、滤波方法^[2]、retinex算法等^[3]。图像复原方法中最为典型和有效的是根据水下图像和雾天图像相似的成像模型，利用基于暗通道先验的去雾方法实现水下图像复原^[4]。但是在暗通道计算过程中，采用的最小化运算得到的暗通道值很可能是红通道分量，求得的暗通道值偏小，导致估计的透射率偏大，复原图像偏暗。galdran等人提出redchannel先验^[5]，通过对红通道反转和添加饱和度分量，减少衰减严重的红通道和人工光源对透射率估计的影响。该方法虽然指出了三通道透射率之间的关系，但是并没有分开求解各通道透射率，而是通过对背景光加权调整各颜色分量，恢复图像仍存在较严重的颜色失真。

[参考文献]

[1]j.b.zimmerman,s.m.pizer,e.v.staab,j.r.perry,w.mccartney,b.c.brenton.anevaluationoftheeffectivenessofadaptivehistogramequalizationforcontrastenhancement.ieeetransactionsonmedicalimaging,1988:304-312。

[2]serikawas,luh.underwaterimagedehazingusingjointtrilateralfilter[j].computers&electricalengineering,2014,40(1):41-50。

[3]fuxueyang,zhuangpeixian,huangyue,etal.aretinex-basedenhancingapproachforsingleunderwaterimage[c].paris:ieeeinternationalconferenceonimageprocessing,2014:4572-4576。

[4]hekai-ming,sunjian,andtangxiao-ou.singleimagehazeremovalusingdarkchannelprior.ieeetransactionsonpatternanalysisandmachineintelligence,2011,33(12):2341-2353。

[5]adriangaldran,davidpardo,artzaipicón,etal..automaticred-channelunderwaterimagerestoration.journalofvisualcommunication&imagerepresentation,2015,26(2015):132-145。

[6]finlayson,e.trezzi.shadesofgrayandcolourconstancy[c].in:proceedingsof12thcolorimagingconference,scottsdale,usa,2004,2004:37-41。

[7]wenh,tiany,huangt,etal.singleunderwaterimageenhancementwithanewopticalmodel[c]//ieeeinternationalsymposiumoncircuits&systems.ieee,2013:753-756。

[8]lifang,wujinyong,wangyike,etal.acolorcastdetectionalgorithmofrobustperformance[c].nanjing:ieeeinternationalconferenceonadvancedcomputationalintelligence,2012:662-664。

[9]pengyt,zhaox,cosmanpc.singleunderwaterimageenhancementusingdepthestimationbasedonblurriness[c].quebec:ieeeinternationalconferenceonimageprocessing,2015。

技术实现要素：

针对上述问题，本发明提出一种水下图像清晰化处理方法。首先基于水下图像成像模型，通过设置阈值来判断是否将红通道的信息加入到暗通道先验中；同时考虑到人工光源的影响，根据图像前景和背景亮度判断是否存在人工光源，若存在人工光源，则加入饱和度指标并改进暗通道先验，削弱人工光源的影响；利用散射系数与波长的关系来估计散射率，根据三通道的衰减系数估计衰减率，可弥补目前很多方法假设蓝绿通道衰减率一致的缺陷；利用局部shadeofgray算法^[6]计算背景光，可有效避免人工光源、白色物体和噪声等影响。本发明方法不仅能有效增强图像的对比度，还能很好地处理三通道透射率估计不准确带来的色偏问题。

为了解决上述技术问题，本发明提出的一种水下图像清晰化处理方法，包括以下步骤：

步骤1、输入水下图像i，使用局部shadeofgray算法求得水下图像i的背景光bc,∞；

步骤2、针对所述水下图像i，首先设定红通道的阈值，该阈值取值为0.1～0.5，然后对红通道求均值，若均值大于设定的阈值，则将红通道信息加入暗通道先验，否则仅考虑蓝绿通道；

步骤3、将水下图像i由rgb颜色空间转换到lab颜色空间，提取水下图像i的亮度分量l；将亮度分量l分为大小相同的上下两部分，上半部分为背景，下半部分为前景，计算这两部分的均值当前景的均值大于背景的均值时，则存在人工光源，否则不存在人工光源；若人工光源存在，则将饱和度加入暗通道先验，利用饱和度指标对暗通道进行修正，其中，按照式(1)计算饱和度指标，利用式(2)对暗通道进行修正

式(1)中，i^r(x)表示水下图像i的r通道，i^g(x)表示水下图像i的g通道，i^b(x)表示水下图像i的b通道；

式(2)中，j^r(y)表示清晰图像j的r通道，j^g(y)表示清晰图像j的g通道，j^b(y)表示清晰图像j的b通道；当红通道均值大于阈值时，a1＝1；否则，a1＝0；若存在人工光源时，a2＝1；否则，a2＝0；

步骤4、根据式(2)得出三通道的散射率t'α(x)：

式(3)中，λ∈[0,1]；采用导向滤波对式(3)得到的散射率tα'(x)进行优化，得到优化之后的散射率tα(x)；

步骤5、计算水下图像ir、g、b通道中最小衰减通道的衰减率：分别计算g通道和b通道的均值，从而判断出最小衰减通道；若g通道为最小衰减通道，其衰减率为若b通道为最小衰减通道，其衰减率为

步骤6、计算除最小衰减通道之外的两个通道的衰减率：根据光散射系数与波长的关系，得到r、g、b通道的衰减系数比，然后结合步骤5求得的衰减率或得出另外两个通道的衰减率；

步骤7、最终复原的清晰图像为

与现有技术相比，本发明的有益效果是：

本发明的水下图像清晰化处理方法可以得到更加清晰的细节信息，并且在一定程度上改善了图像的视觉效果，从而获得更佳的视觉效果。另外，利用本发明图像处理方法处理后的图像在照明区域更加的自然。

附图说明

图1(a)是原始图像1，c＝17.7172，k＝1.2466；

图1(b)是无人工光源下利用文献[7]提出的算法对原始图像1处理后的效果，c＝24.8294，k＝1.1197；

图1(c)是无人工光源下利用本发明方法对原始图像1处理后的效果，c＝24.8294，k＝1.1197；

图2(a)是原始图像2，c＝15.85，k＝2.05；

图2(b)是人工光源下利用文献[3]提出的算法对原始图像2处理后的效果，c＝20.70，k＝1.53；

图2(c)是人工光源下利用本发明方法对原始图像2处理后的效果，c＝21.50，k＝1.23；

图3(a)是原始图像3，c＝16.37，k＝2.78；

图3(b)是利用文献[3]提出的算法对原始图像3处理后的效果，c＝30.63，k＝3.03；

图3(c)是利用本发明方法对原始图像3处理后的效果，c＝41.32，k＝1.87；

图4(a)是原始图像4，c＝13.27，k＝2.46；

图4(b)是利用文献[9]提出的算法对原始图像4处理后的效果，c＝18.35，k＝2.06；

图4(c)是利用本发明方法对原始图像4处理后的效果，c＝24.90，k＝1.94。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

目前对水下图像进行清晰化处理的基本方法如下：

以文献[7]给出一种水下图像成像模型为例：

其中，c∈{r,g,b}，i^c(x)为有雾图像，j^c(x)为清晰图像，分别表示场景光的直接衰减率和散射率，bc,∞为背景光强度。进一步，可认为红、绿、蓝三种颜色的光的散射系数相同。式(1)可简化为：

文献[4]通过对大量无雾图像研究，提出了暗原色先验理论：户外无雾清晰图像，除了天空区域外，在其任意局部区域内至少存在某个颜色通道的强度值很低，且接近于0。即：

但与大气环境不同，水对光的选择性吸收将导致不同波长的光在水中的衰减程度不一样，波长越长衰减程度越严重。同时经散射后，水下图像呈现出蓝(绿)色基调，若对水下图像直接使用暗通道先验得到的暗通道值将会偏小，影响背景光和散射率估计。因此，文献[7]提出只根据蓝、绿通道求暗通道：

并得到散射率tα(x)：

文献[7]假设蓝、绿通道衰减率相同，即：

并利用图像的红通道值直接估计其衰减率：

根据红通道暗通道先验与蓝绿通道暗通道先验的最大值求背景光：

将估计的散射率、衰减率和背景光带入(1)式，得到复原的水下图像：

文献[4]在暗通道计算过程中，采用的最小化运算得到的暗通道值，在水下图像中很可能是红通道分量，求得的暗通道值偏小，导致估计的透射率偏大，复原图像偏暗；文献[5]虽然指出了三通道透射率之间的关系，但是并没有分开求解各通道透射率，而是通过对背景光加权调整各颜色分量，恢复图像仍存在较严重的颜色失真；文献[7]因缺少红通道信息，可能导致估计的暗通道值偏大，求得的透射率偏小，其次，假设蓝绿光衰减率相同，这与实际并不相符，最后，该算法没有考虑人工光源的影响。

本发明水下图像清晰化处理方法的设计思路是：首先，利用局部shadeofgray算法计算预处理图像的背景光；基于水下图像成像模型，通过设置阈值来判断是否将红通道的信息加入到暗通道先验中；同时考虑到人工光源的影响，根据图像前景和背景亮度判断是否存在人工光源，若存在人工光源，则加入饱和度指标并改进暗通道先验；利用散射系数与波长的关系来估计散射率，根据三通道的衰减系数估计衰减率；具体步骤如下：

步骤1、输入水下图像i，使用局部shadeofgray算法求得水下图像i的背景光bc,∞。

步骤2、针对所述水下图像i，首先设定红通道的阈值，该阈值取值为0.1～0.5，然后对红通道求均值，若均值大于设定的阈值，则将红通道信息加入暗通道先验，否则仅考虑蓝绿通道。

步骤3、将水下图像i由rgb颜色空间转换到lab颜色空间，提取水下图像i的亮度分量l；将亮度分量l分为大小相同的上下两部分，上半部分为背景，下半部分为前景，计算这两部分的均值当前景的均值大于背景的均值时，则存在人工光源，否则不存在人工光源；若人工光源存在，则将饱和度加入暗通道先验，利用饱和度指标对暗通道进行修正，其中，按照式(10)计算饱和度指标，利用式(11)对暗通道进行修正：

式(10)中，i^r(x)表示水下图像i的r通道，i^g(x)表示水下图像i的g通道，i^b(x)表示水下图像i的b通道；

式(11)中，j^r(y)表示清晰图像j的r通道，j^g(y)表示清晰图像j的g通道，j^b(y)表示清晰图像j的b通道；当红通道均值大于阈值(图1(c)、图2(c)、图3(c)和图4(c)的各实验例中的阈值均设置为0.2)时，a1＝1；否则，a1＝0；若存在人工光源时，a2＝1；否则，a2＝0。

步骤4、根据式(11)得出三通道的散射率t'α(x)：

式(12)中，λ∈[0,1]，该式(12)得到的散射率在块内是恒定的，但在实际情况下，块内散射率不是恒定不变的，尤其是在景深突变的边缘，会导致散射率图出现严重的块效应，重建图像出现晕轮伪影。因此需要对散射率进行进一步的优化。为了提高计算效率，恢复出更多的细节，本发明采用导向滤波对式(12)得到的散射率tα'(x)进行优化，得到优化之后的散射率tα(x)。

步骤5、计算水下图像ir、g、b通道中最小衰减通道的衰减率：由于r通道的衰减最大，只需分别计算g、b通道的均值就可得到较小衰减通道，均值越大衰减越小，从而判断出最小衰减通道；若g通道的均值较大，则g通道为最小衰减通道，其衰减率为若b通道的均值较大，则b通道为最小衰减通道，其衰减率为

步骤6、计算除最小衰减通道之外的两个通道的衰减率：根据光散射系数与波长的关系，得到r、g、b通道的衰减系数比，然后结合步骤5求得的衰减率或得出另外两个通道的衰减率；

步骤7、最终复原的清晰图像为

为了验证本发明提出的方法的有效性，首先与文献[7]算法进行对比。图1(a)是原始图像1，图1(b)和图1(c)是无人工光源环境下利用文献[7]提出的算法和本发明方法的实验结果图，可以看出文献[7]算法虽然能够很好的恢复图像细节，但是复原后的图像颜色整体偏暗，近景处的红色分量被过度增强。与该算法相比，本发明的方法可以得到更加清晰的细节信息，得到的视觉效果更佳。图2(a)是原始图像2，图2(b)和图2(c)是人工光源环境下利用文献[3]提出的算法和本发明方法的实验结果图，可以看出本发明方法与文献[3]算法都能在一定程度上改善图像的视觉效果，但文献[3]算法处理的图像颜色偏红，尤其是在亮斑区域尤其明显。与该算法相比，本发明方法处理后的图像在照明区域更加的自然。

为了客观评价本发明方法，使用文献[8]中提出的一种鲁棒的色偏检测方法说明彩色图像色偏情况。计算的k值越大，表示图像色偏越严重。

其中，mean_a，mean_b分别表示lab颜色空间中a,b两个分量的均值，m_a，m_b分别表示a,b两个分量的均方差，σ²为l分量的方差，thres为阈值。

于此同时，使用lab颜色空间的l分量计算图像的对比度c，c越大说明细节越清晰。

mn表示图像像素点个数，l(x)表示像素点x处亮度。

图3(a)是原始图像3，图3(b)和图3(c)是利用文献[3]提出的算法和本发明方法的实验结果图；图4(a)是原始图像4，图4(b)和图4(c)是利用文献[9]提出的算法和本发明方法的实验结果图；由效果图可知，本发明方法在提高水下图像的清晰度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更自然。从客观指标上看，利用本发明方法处理的图像也在图像对比度和色偏问题上优于文献[3]和文献[9]算法。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。