基于水下成像模型和景深的水下图像清晰化方法与流程

本发明属于计算机图像处理领域，尤其涉及一种水下图像的清晰化处理方法。

背景技术：

水下图像在海洋能源勘探、海洋环境监测与保护以及海洋军事等领域扮演着非常重要的角色。但因水下环境特殊，难以获取高质量的水下图像。溶解在水中的有机物和悬浮在水中的颗粒物会对光产生吸收和散射效应，造成图像对比度下降，场景可见范围缩小，图像质量降低^[1]。因此，水下图像清晰化问题在计算机视觉应用领域和数字图像处理领域亟待解决。

根据是否依据具体的成像模型可以将水下图像清晰化算法分为图像增强方法和图像复原方法。图像增强方法主要有直方图均衡化^[2]、滤波方法^[3]、retinex算法^[4]等。水下图像复原方法中最为典型和有效的是根据水下图像和雾天图像相似的成像模型，利用基于暗通道先验的去雾方法^[5]实现水下图像复原。但是，由于三通道在水下衰减并不相同，如果直接将暗通道先验用于水下图像复原会出现透射率估计偏大，背景光估计偏小等问题。galdran等人^[6]提出redchannel先验，通过对红通道反转和添加饱和度分量，减少衰减严重的红通道对透射率估计的影响，该方法虽然指出了三通道透射率之间的关系，但是并没有分开求解各通道透射率，而是通过对背景光加权调整各颜色分量，恢复图像仍存在较严重的颜色失真；文献[7]因缺少红通道信息，可能导致估计的暗通道值偏大，求得的透射率偏小，其次，假设蓝绿光衰减率相同，这与实际并不相符，文献[8]定义了一种新的景深函数，该函数指出了散射和吸收与波长有关，符合水下图像的实际情况，利用景深来估计透射率，使估计的透射率更为准确，但是其求解中得到的暗通道值很可能来自于衰减后的红通道分量，使求的景深函数值偏小，导致透射率估计偏大，复原图像整体偏暗，且在复原图像中依然存在严重的后向散射现象，图像颜色偏黄。

[参考文献]

[1]s.bazeille.visionsous-marinemonoculairepourlareconnaissanced’objets[ph.d.thesis].2008,universit′edebretagneoccidentale。

[2]j.b.zimmerman,s.m.pizer,e.v.staab,j.r.perry,w.mccartney,b.c.brenton.anevaluationoftheeffectivenessofadaptivehistogramequalizationforcontrastenhancement.ieeetransactionsonmedicalimaging,1988:304-312。

[3]serikawas,luh.underwaterimagedehazingusingjointtrilateralfilter[j].computers&electricalengineering,2014,40(1):41-50。

[4]fuxueyang,zhuangpeixian,huangyue,etal.aretinex-basedenhancingapproachforsingleunderwaterimage[c].paris:ieeeinternationalconferenceonimageprocessing,2014:4572-4576。

[5]hekai-ming,sunjian,andtangxiao-ou.singleimagehazeremovalusingdarkchannelprior.ieeetransactionsonpatternanalysisandmachineintelligence,2011,33(12):2341-2353。

[6]adriangaldran,davidpardo,artzaipicón,etal..automaticred-channelunderwaterimagerestoration.journalofvisualcommunication&imagerepresentation,2015,26(2015):132-145。

[7]wenh,tiany,huangt,etal.singleunderwaterimageenhancementwithanewopticalmodel[c]//ieeeinternationalsymposiumoncircuits&systems.ieee,2013:753-756。

[8]thomasstephana,peterfruhbergerb,stefanwerlingb,etal.modelbasedimagerestorationforunderwaterimages.proceedingsofspietheinternationalsociety,2013,8791(5):87911f-9。

[9]finlaysongd,trezzie.shadesofgrayandcolourconstancy[c].thetwelfthcolorimagingconference:colorscienceandengineeringsystems,scottsdale,arizona,usa:technologies,applications,cic2004,november9,2004,.2004:37-41。

[10]gouldrw,arnonera,martinolichpm.spectraldependenceofthescatteringcoefficientincase1andcase2waters.appliedoptics,1999,38(12):2377-2383。

技术实现要素：

针对上述问题，本发明提供一种基于水下成像模型和景深的水下图像清晰化方法，考虑三通道衰减差异，基于水下图像成像新模型，首先利用局部shadeofgray算法估计背景光，可有效避免人工光源、白色物体和噪声等影响；然后，通过设置阈值来判断是否将红通道的信息加入到暗通道先验中；利用景深来估计散射率，可以使散射率的估计更为准确，产生更好的清晰化图像，得到更好的对比度和饱和度颜色，可以弥补目前很多方法对透射率估计不准的缺陷；利用背景光与散射系数、衰减系数之间的关系对rgb三通道分开求解透射率，可弥补目前很多方法假设rgb三通道的透射率相同的缺陷。该方案不仅能有效增强图像的对比度，还能很好地处理三通道透射率估计不准确带来的色偏问题。

为了解决上述技术问题，本发明提出的一种基于水下成像模型和景深的水下图像清晰化方法，包括以下步骤：

步骤1、输入水下图像i，使用局部shadeofgray算法求得该水下图像i的背景光bc,∞；

步骤2、设定r通道的阈值为0.15～0.25，对r通道求均值，利用式(1)得到景深函数的暗通道值γ(u)：

式(1)中，g^r(ξ)、g^b(ξ)和g^g(ξ)分别是水下图像i的r、g、b通道的像素，u(u)表示以u为中心的局部块，a1是r通道的系数，若r通道均值大于设定的阈值，a1＝1，否则，a1＝0；

步骤3、把求得的水下图像i的暗通道值γ(u)代入(2)式求出全局景深函数的值r(u)：

式(2)中，为衰减系数最大的光波长对应的背景光，为衰减系数最大的波长对应的衰减系数，d(u)为景深；利用式(3)得到r、g、b分量图的暗通道值

式(3)中，λ∈{r,g,b}，把r、g、b分量图的暗通道值代入(4)式，分别求出r、g、b通道的景深函数的值rλ(u)：

式(4)中，κλ分别为r、g、b分量的背景光；设全局景深r(u)与r、g、b通道的景深rλ(u)的比值为商值ηλ(u)，

分别计算出r，g，b三通道的ηλ(u)的值及其方差，比较求得的r，g，b三通道的ηλ(u)的方差值，选择方差最大的那个ηλ(u)对应的通道，取由(4)式得到该通道的景深函数值rλ(u)；利用盒须法去除rλ(u)中的极端值，然后，采用导向滤波对所得到的rλ(u)进行优化；

步骤4、根据步骤3处理后的rλ(u)值，得到该通道的散射率

步骤5、根据背景光bc,∞与光散射系数，光衰减系数之间的关系，然后结合步骤4已求得的一个通道的散射率得到另外两个通道的散射率；

步骤6、计算g和b通道的均值，若g通道的均值较大，则g通道为最小衰减通道，其衰减率为若b通道的均值较大，则b通道为最小衰减通道，其衰减率为根据光散射系数与波长的关系，得到r、g、b通道的衰减系数比，进而得出另外两个通道的衰减率；

步骤7、清晰化的图像为

与现有技术相比，本发明的有益效果是：

由于本发明图像清晰化方法中，考虑到了在暗通道中选择性的加入r通道信息，并利用景深分别求解rgb三通道的散射率和衰减率，从而得到更加清晰的细节信息，处理后的图像的视觉效果更佳。

附图说明

图1(a)、图1(b)和图1(c)反应了本发明图像清晰化方法与文献[7]算法处理效果对比，其中：图1(a)是原始图像，c＝17.7172，k＝1.2466；图1(b)是利用文献[7]算法处理后的效果图，c＝24.8294，k＝1.1197；图1(c)是利用本发明算法处理后的效果图，c＝26.5736，k＝1.0323；

图2(a)、图2(b)和图2(c)反应了本发明图像清晰化方法与文献[6]算法处理效果对比，其中：图2(a)是原始图像，c＝12.3585，k＝1.9966，图2(b)是利用文献[6]算法处理后的效果图，c＝14.5863，k＝1.5849；图2(c)是利用本发明算法处理后的效果图，c＝15.9251，k＝1.0951；

图3(a)、图3(b)和图3(c)反应了本发明图像清晰化方法与文献[8]算法处理效果对比，其中：图3(a)是原始图像，c＝7.7587，k＝4.8215；图3(b)是利用文献[8]算法处理后的效果图，c＝18.2829，k＝2.2303；图3(c)是利用本发明算法处理后的效果图，c＝17.7270，k＝1.5773。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明水下图像清晰化方法的研究基础是：

文献[7]提出一种水下图像成像模型，主要考虑各颜色通道具有不同的透射率，

其中，c∈{r,g,b}，i^c(x)为有雾图像，j^c(x)为清晰图像，分别表示场景光的直接衰减率和散射率，bc,∞为背景光强度。进一步，可认为红、绿、蓝三种颜色的光的散射系数相同。式(1)可简化为：

文献[5]通过对大量无雾图像研究，提出了暗原色先验理论：户外无雾清晰图像，除了天空区域外，在其任意局部区域内至少存在某个颜色通道的强度值很低，且接近于0。即：

但与大气环境不同，水对光的选择性吸收将导致不同波长的光在水中的衰减程度不一样，波长越长衰减程度越严重。同时经散射后，水下图像呈现出蓝(绿)色基调，若对水下图像直接使用暗通道先验得到的暗通道值将会偏小，影响背景光和散射率估计。因此，文献[7]提出只根据蓝、绿通道求暗通道：

并得到散射率tα(x)：

文献[7]假设b、g通道衰减率相同，即：

并利用图像的r通道值直接估计其衰减率：

根据r通道暗通道先验与b、g通道暗通道先验的最大值求背景光：

将估计的散射率、衰减率和背景光带入(1)式，得到复原的水下图像：

文献[8]提出了景深函数：

其中，r(u)为景深函数，γ(u)为输入图像i的暗通道值，为衰减系数最大的光波长对应的背景光，为衰减系数最大的波长对应的衰减系数，d(u)为景深。则分别对r，g，b均有：

其中，λ∈{r,g,b}，gλ^dark(u)为r、g、b分量图的暗通道值，κλ分别为r、g、b分量的背景光。

其中，u(u)表示以u为中心的局部块，ρλ(ξ)表示ξ处的光谱信号值，gλ^dark(u)为r、g、b分量的暗通道，γ(u)为图像i的暗通道。

当暗通道先验成立时，有：

所以可得到：

由朗伯定律可知：

其中，λ∈{r,g,b}，cλ是各通道衰减系数，d(x)是图像的景深，tλ(x)是各通道透射率。

针对目前水下图像清晰化方法中存在的问题，本发明提出了一种新的水下图像清晰化处理方法：主要是基于水下成像新模型，利用局部shadeofgray算法^[9]估计背景光，可有效避免人工光源、白色物体和噪声等影响；然后，通过设置阈值来判断是否将红通道的信息加入到暗通道先验中，得到改进的暗通道先验，从而求得图像的全局景深和各通道景深，求得各个通道的景深，计算各个通道的景深与全局景深的比值，并分别计算该比值的方差，选取方差最小的那个通道的景深值来确定最终的景深，得到该通道的散射率；利用背景光与散射系数，衰减系数之间的关系，得到其他两个通道的散射率，根据三通道的衰减系数估计衰减率，最终得到清晰化图像。具体步骤如下：

步骤1、输入水下图像i，使用局部shadeofgray算法求得该水下图像i的背景光bc,∞；

步骤2、首先设定r通道的阈值为0.15～0.25，然后对r通道求均值，若均值大于设定的阈值，则将r通道信息加入到景深函数的暗通道先验中，否则就只考虑g、b通道；由此，可将景深函数的暗通道改进为：

利用式(1)得到景深函数的暗通道值γ(u)：式(1)中，g^r(ξ)、g^b(ξ)和g^g(ξ)分别是水下图像i的r、g、b通道的像素，u(u)表示以u为中心的局部块，a1是r通道的系数，若r通道均值大于设定的阈值，a1＝1，否则，a1＝0；

步骤3、把求得的水下图像i的暗通道值γ(u)代入(2)式求出全局景深函数的值r(u)，

然后把r、g、b分量图的暗通道值gλ^dark(u)代入(3)式，分别求出r，g，b通道的景深函数的值rλ(u)，当暗通道先验在水下环境中成立时，全局景深r(u)与r、g、b通道的景深rλ(u)的比值ηλ(u)应该为一常数，但是在实际情况中，ηλ(u)的值肯定不是常数，且在r，g，b三通道中的值不一样。因此，为了使计算结果更精确，分别计算出r，g，b三通道的ηλ(u)的值及其方差，比较求得的三通道的ηλ(u)的方差值，选择方差最大的那个ηλ(u)对应的通道，由(3)式得到该通道的景深函数值rλ(u)，利用盒须法去除极端值，由此得到的rλ(u)在块内是恒定的，但在实际情况下，块内并不是恒定不变的，尤其是在景深突变的边缘，会导致景深图出现严重的块效应，重建图像出现晕轮伪影。因此需要对rλ(u)进行进一步的优化。为了提高计算效率，恢复出更多的细节，本发明中采用导向滤波对得到的rλ(u)进行优化。具体过程如下：

全局景深函数的值r(u)：

式(2)中，为衰减系数最大的光波长对应的背景光，为衰减系数最大的波长对应的衰减系数，d(u)为景深；利用式(3)得到r、g、b分量图的暗通道值

式(3)中，λ∈{r,g,b}，把r、g、b分量图的暗通道值gλ^dark(u)代入(4)式，分别求出r、g、b通道的景深函数的值rλ(u)：

式(4)中，κλ分别为r、g、b分量的背景光；设全局景深r(u)与r、g、b通道的景深rλ(u)的比值为商值ηλ(u)，

分别计算出r，g，b三通道的ηλ(u)的值及其方差，比较求得的r，g，b三通道的ηλ(u)的方差值，选择方差最大的那个ηλ(u)对应的通道，取由(4)式得到该通道的景深函数值rλ(u)；利用盒须法去除rλ(u)中的极端值，然后，采用导向滤波对所得到的rλ(u)进行优化。

步骤4、根据步骤3处理后的rλ(u)值，得到该通道的散射率

步骤5、根据背景光bc,∞与光散射系数，光衰减系数之间的关系，然后结合步骤4已求得的一个通道的散射率得到另外两个通道的散射率。

步骤6、由于r通道的衰减最大，因此，只需计算g、b通道的均值就可得到较小衰减通道，均值越大衰减越小。若g通道的均值较大，则g通道为最小衰减通道，其衰减率为若b通道的均值较大，则b通道为最小衰减通道，其衰减率为根据光散射系数与波长的关系，可以得到r、g、b通道的衰减系数比，进而可得另外两个通道的衰减率。

步骤7、清晰化的图像为

为了验证本发明提出的水下图像清晰化方法的有效性，首先与文献[7]算法进行对比。图1(a)、图1(b)和图1(c)反应了本发明图像清晰化方法与文献[7]算法处理效果对比，其中：图1(a)是原始图像，c＝17.7172，k＝1.2466；图1(b)是利用文献[7]算法处理后的效果图，c＝24.8294，k＝1.1197；图1(c)是利用本发明算法处理后的效果图，c＝26.5736，k＝1.0323；可以看出文献[7]算法虽然能够很好的恢复图像细节，但是复原后的图像颜色整体偏暗，近景处的红色分量被过度增强。与文献[7]提出的算法相比，本发明方法可以得到更加清晰的细节信息，得到的视觉效果更佳。

为了客观评价本发明算法，使用文献[10]中提出的一种鲁棒的色偏检测方法说明彩色图像色偏情况。计算的k值越大，表示图像色偏越严重。

其中，mean_a，mean_b分别表示lab颜色空间中a,b两个分量的均值，m_a，m_b分别表示a,b两个分量的均方差，σ²为l分量的方差，thres为阈值。

与此同时，使用lab颜色空间的l分量计算图像的对比度c，c越大说明细节越清晰。

mn表示图像像素点个数，l(x)表示像素点x处亮度。

图2(a)、图2(b)和图2(c)反应了本发明图像清晰化方法与文献[6]算法处理效果对比，其中：图2(a)是原始图像，c＝12.3585，k＝1.9966，图2(b)是利用文献[6]算法处理后的效果图，c＝14.5863，k＝1.5849；图2(c)是利用本发明算法处理后的效果图，c＝15.9251，k＝1.0951。图3(a)、图3(b)和图3(c)反应了本发明图像清晰化方法与文献[8]算法处理效果对比，其中：图3(a)是原始图像，c＝7.7587，k＝4.8215；图3(b)是利用文献[8]算法处理后的效果图，c＝18.2829，k＝2.2303；图3(c)是利用本发明算法处理后的效果图，c＝17.7270，k＝1.5773。由效果图可知，本发明方法在提高水下图像的清晰度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更自然。从客观指标上看，本发明提出的水下图像清晰化方法也在图像对比度和色偏问题上优于文献[6]和文献[8]算法。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。