一种基于暗通道理论的水下彩色图像增强方法与流程

本发明属于图像处理和分析技术领域，特别是在存在吸收和散射光学衰减的环境中，例如雾天及水下环境中拍摄彩色图像的基于暗通道理论的水下彩色图像增强方法。

背景技术：

水下视觉是海洋探测、海洋生物调查、水下工程监测中重要的科学研究依据。在水中，水体光学衰减、散射及光源照明使得拍摄的水下图像存在可见距离小、低对比度、模糊、非均匀照明、亮斑、色彩投射和各种噪声等复杂退化，因此在应用计算机视觉方法进行各种水下视频分析及图像的处理应用中，水下图像的复原或增强都是必要的处理过程。光在水中传输，水体内部光学属性(iop)决定的吸收和散射影响了整个水下成像的效果。浮游生物、彩色溶解有机质和总悬浮物质的浓度和目标距离成也是影响水下彩色图像质量的主要因素。前向散射导致图像特征的模糊，后向散射通常使图像的对比度降低，产生雾状模糊叠加在图像上。随着水下深度的增加，色彩按照波长依次消失，在靠近光谱红色一端的波长的吸收速度大约是靠近蓝色端光谱吸收速度的100倍，蓝色由于波长最短，在水下传播的距离最长。运动作业时所引起的浪花、漩涡、泥沙及各种海洋生物的影响也导致了图像的不规则模糊。除此以外，成像系统、光源色温都将对水下彩色图像的质量产生影响。

水下图像增强主要包括了对图像对比度、清晰度和色彩补偿等方面的研究。近年来，研究人员基于he等人提出的图像去雾理论提出了很多水下图像增强方法，he等人对自然白天的图像进行统计，提出暗通道假设，认为无雾自然图像中至少有一个彩色通道有非常低的亮度值，因此暗通道的亮度增加是因为雾，经典暗通道法通过选择暗通道中最亮的像素对应的彩色分量值作为背景光估计值。chiang等在暗通道的基础上，假设已知衰减系数，通过估计图像的深度图，将图像分割为前景和背景部分然后通过颜色矫正对图像进行增强，但是这种方法仅对于偏蓝色背景的清澈水下图像较为有效。galdran等提出了红通道假设，提出在水中随着距离增加红通道衰减的更快，后向散射背景光通过红通道的最大值来估计。carlevaris-bianco等人提出的暗通道法从蓝-绿通道与红通道差值的最大值来估计传输图，用传输图的最小值作为后向散射背景光。在已有的水下图像去雾增强方法中，后向散射背景光都是被假设为在整幅图像中是均匀的。但实际上，在水下环境中，水中的悬浮颗粒的浓度较高，光线-颗粒的交互散射作用结果使图像的背景光亮度并不均匀。在经典暗通道的基础上，emberton等人提出了分层后向散射背景光估计法，但是必须根据一些图像特征找到图像中最模糊的区域。ancuti等人提出了基于局部暗通道最大值的后向散射背景光估计法来实现多尺度的水下图像融合增强。基于局部背景光的两个方法中，都是对暗通道直接求局部最大值，目前的这些方法虽然取得了一定的去雾及色彩增强效果，但增强的水下图像清晰度不佳。

技术实现要素：

本发明要解决的技术问题是针对存在吸收、散射引起的模糊、对比度降低、饱和度降低和非均匀色彩投射等退化因素的水下彩色图像特别是近岸水下彩色图像，提出一种有效的基于暗通道理论的水下彩色图像增强方法，可实现对水下彩色图像的清晰度、对比度和色彩的有效增强。

本发明提出了利用光线和粒子交互概率模型的局部后散射光估计法和基于retinex光照反射模型的传输图估计法。本发明适用于存在饱和度下降、非均匀色彩投射、模糊等退化的水下彩色图像及其他具有相同退化的光衰减环境。

本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于暗通道理论的水下彩色图像增强方法，其特点是：该方法步骤如下：对水下退化图像，在jaffe-mcglamery成像模型基础上，对暗通道图像采用retinex方法估计传输图，然后利用泊松分布拟合的局部散射背景光估计法，将暗通道图像块中最接近估计值像素点对应的水下彩色图像像素值作为该图像块后向散射背景光，在求得复原图像后，应用对比度拉伸进行色彩增强，最后获得增强后水下图像输出。

本发明所述的一种基于暗通道理论的水下彩色图像增强方法，其特点是：所述的retinex方法选自：

1、单尺度视网膜增强ssr(singlescaleretinex)；

2、多尺度视网膜增强算法msr(multi-scaleretinex)；

3、带色彩恢复的多尺度视网膜增强算法msrcr(multi-scaleretinexwithcolorrestoration)；

4、mccannretinex算法(也称迭代retinex)。

本发明所述的一种基于暗通道理论的水下彩色图像增强方法，其特点是：其具体步骤如下：

根据jaffe-mcglamery成像模型，对rgb空间水下退化图像i可描述为：

其中，x为图像像素，j^c(x)为目标辐照度，c＝{r，g，b}，为背景光或后向散射光，tc(x)为传输图，表示场景辐照度中未被吸收和散射，而直接到达相机的比例，与目标和相机的距离有关。he等人提出的暗通道理论假设目标在一个彩色通道内有较弱的反射，即：

miny∈ω(x)(minc∈r，g，bj^c(x))＝0(2)

其中，ω(x)表示以像素x为中心的一个窗口。本发明解决方案步骤如下：

第一步，对归一化后彩色图像i∈(0，1)，计算暗通道图像ldc：

ldc(x)＝miny∈ω(x)(minc∈r，g，bi^c(x))(3)

由式(1)，(2)和(3)可得：

第二步，设t(x)＝tr(x)，对式(4)两边应用对数运算得：

其中，

tr(x)＝1-rr(x)(16)

第三步，估计传输图tr(x)

retinex理论认为图像是由场景中光照信息图像和物体固有的反射系数图像组成的，所谓光照信息图像是指照射在物体上的入射光信息的图像的形式，而物体的反射系数图像是不受光照条件影响的目标本身的反射图像。retinex理论的核心思想就是排除光照条件的影响，恢复出物体本身反射系数。本发明应用retinex算法估计式(15)中的rr(x)，由(16)求得tr(x)。

第四步，计算tg(x)，tb(x)，由

其中，λ0为参考波长，通常为440nm或400nm，sx为吸收系数曲线斜率经验值，在380～600nm波长范围内，吸收系数光谱斜率sx经验值在0.0049～0.0175nm^-1分布。

第五步，对暗通道图像ldc中的像素x，对其邻域ω(x)(ω大小的选择可以为15×15，32×32，56×56，72×72等)，假设图像块内目标距离一致，应用泊松分布拟合，获得拟合后泊松分布均值为mean(poissonfit(ldc(y)))，用块ω中暗通道图像灰度值与拟合后泊松分布均值最接近的像素对应的r，g，b值作为后向散射的估计值，即

第六步，根据得到tc(x)和的估计值，由下式恢复图像j^c(x)

第七步，彩色对比度拉伸，由下式计算j^c(x)的最大值和最小值

其中，和为j^c(x)的平均值和方差，μ为动态参数。

最后，增强图像的最后输出为：

本发明方法中，动态范围μ取值越小，图像的对比度越强。优选的动态范围μ取值为2-3。

以下对本发明方法的原理阐述如下：

水体的光学特性是决定水下成像的重要因素，天然水的固有光学特性是纯水(分子散射和吸收)、海水中溶质(分子散射和吸收)和悬浮颗粒(颗粒散射和吸收)的固有光学特性的复合。光在水中的传播受两种因素的影响：吸收和散射。吸收是光沿媒介传输过程中的功率丢失，取决于媒介的光折射率。水中光散射是指水中光在传播过程中，受到介质微粒的作用，偏离原来直线传播的现象。前向散射导致图像特征的模糊，后向散射通常使图像的对比度降低，产生雾状模糊叠加在图像上。通过增加人工照明虽然可以增加可视距离，但经常会导致非均匀照明情况，在图像中产生亮斑，而亮斑周围却很暗。随着水下深度的增加，色彩按照波长依次消失。除了由于水下传播距离的衰减，水中微粒的大小和属性也同样影响散射、反射、传播和吸收的速度。因此，水下彩色图像的综合退化表现为饱和度降低，非均匀色彩投射，且对比度降低，细节模糊和噪声。

根据jaffe-mcglamery成像模型，相机接收到的光由三部分构成(i)物体直接反射光ed，(ii)前向散射部分ef(来自目标小角度光反射)，(iii)后向散射(非目标反射光)eb，

直接成分为反射光的衰减，

其中，j^c(x)为目标辐照度，c＝{r，g，b}，cλ为衰减系数，为吸收系数aλ和散射系数bλ的和。

cλ＝aλ+bλ(18)

d(x)为目标距相机距离，前向散射通常为水下图像退化的一小部分，eb为后向散射，也就是背景光，

忽略前向散射，可得式(1)所示的退化模型，根据该退化模型，要求出j^c(x)，必须尽可能好的去估计：tc和he等人通过统计自然无雾图片并分析其中的假设，得出了一个暗通道的先验假设，认为无雾图像中至少有一个彩色通道有非常低的亮度值，即式(2)，设暗通道图像为ldc式(3)，由式(1)，(2)和(3)可得式(4)。

在水体光学性质中，对水体光学性质有显著影响的包括：总颗粒物(tsm)，非色素颗粒物(tripton)和黄色物质cdom。我国近岸水域水深较浅，水体以ii类水体为主，主要为d类和e类水体，d类水体比较浑浊，多呈现黄色和黄绿色，悬浮泥沙占主导地位，在吸收过程中，非色素颗粒物的吸收为主要退化因素，黄色物质吸收作用次之。e类水体十分浑浊，受陆源输入影响严重，悬浮泥沙含量非常高，主要分布在河口、浅滩等，非色素颗粒物的吸收占绝对主导地位。因此对近岸水域，非色素颗粒物和黄色物质是吸收系数贡献率的主要因素，其中，非色素颗粒物对吸收系数贡献率一般超过60％，黄色物质吸收作用次之，贡献率一般小于35％。另外tsm不吸收光，其对可见光范围内(400-700nm)的全散射表现为白色雾状模糊。对我国近岸水体的光学调查结果表明，近岸水体光学系数在一定深度变化较小，其中，吸收系数相对与散射系数有较高的平均值，散射系数值量值较小，分布在(10^-2～10^-1)之间，随波长改变较小。因此，在近岸水体的衰减中，式(18)中的衰减系数cλ可近似等于吸收系数aλ，吸收系数占绝对主要的地位，另外，黄色物质和非色素颗粒物的吸收系数成随波长的e指数衰减趋势，有：

其中，λ0为参考波长，通常为440nm或400nm，sx为吸收系数曲线斜率经验值，在380～600nm波长范围内，利用最小二乘法拟合非色素颗粒物吸收系数光谱斜率sx经验值及范围在0.0049～0.0175nm^-1分布。红、绿、蓝主要波长为红640-780nm，绿505-525，蓝505-470，由上式可得式(6)、(7)：

由于，红色波长最长，所以在水中衰减比较快，对浅水水下图像来说，暗通道往往就是红色通道，因此，本发明假设t(x)＝tr(x)。

retinex理论认为图像是由场景中光照信息图像和物体固有的反射系数图像组成的，所谓光照信息图像是指照射在物体上的入射光信息的图像的形式，而物体的反射系数图像是不受光照条件条件影响的目标本身的反射图像。retinex理论的核心思想就是排除光照条件的影响，恢复出物体本身反射系数。本发明提出了应用retinex算法估计式(15)中的rr，由(16)求得tr(x)的方法。

当获得传输图tr(x)后，可通过式(8)、(9)估计得到tg(x)和tb(x)。

散射背景光不是源于目标，是由环境光散射而来，在近岸自然光照条件下，通常假设自然光照在目标成像水深范围内变化是轻微的，可理解为从无穷远光线在媒介中经过交互到达相机的背景光。在大多数以式(1)为成像模型的水下图像的增强方法，后向散射光被假设在整幅图像中是均匀的，而这种假设与实际有较大的偏差，特别是而在近岸水域，悬浮泥沙及来源大陆江河携带有机体浓度较高，研究证明，虽然两条光线在水中传播相同的距离，但将遇到随机不同次数的颗粒交互，在长度l的成像距离内，设b为散射系数，对0～75m深的海水，光线与水体交互的次数符合均值为λ＝bl的泊松分布，

在均匀颗粒大小的前提下，背景光经相同距离的n次交互后，亮度应符合均值为λ＝bl的泊松分布。因此，本发明提出了局部泊松拟合估计法，对归一化后彩色图像i∈(0，1)，对暗通道图像ldc中的像素x，对其邻域ω(x)(ω大小的选择可以为15×15，32×32，56×56，72×72等)，假设图像块内目标距离一致，应用泊松分布拟合，获得拟合后泊松分布均值为mean(poissonfit(ldc(y)))，用块ω中暗通道图像灰度值与拟合后泊松分布均值最接近的像素对应的r，g，b值作为后向散射的估计值，即式(10)、(11)。

利用式(12)，恢复图像后，对计算结果j^c(x)，本发明采用无色偏色彩拉伸方法，应用式(13)计算j^c(x)的最大值和最小值增强图像的最后输出为式(14)。

本发明涉及基于暗通道理论的图像去雾、图像增强及图像增强，具体涉及一种基于retinex照度反射系数分解的传输图估计法和一种光粒子交互泊松分布拟合的局部散射背景光估计法，本发明不仅仅可以用于水下图像增强及增强，同样适用于其他光学属性与散射和衰减相关的成像介质中，例如雾天、烟雾环境下拍摄的图像，本发明也可以用于医学成像，用于增强受生物散射介质如血液和组织影响而拍摄的图像。

本发明与现有技术相比有如下优点：

(1)本发明提出了首个可应用于近岸水域水下图像的增强解决方案。

(2)本发明首次提出了利用retinex照度、反射系数分解估计模型(1)中传输图t的方法；

(3)本发明提出了应用近岸水体黄色物质和非色素颗粒吸收衰减模型估计(1)中传输图t的方法。

(4)本发明首次提出了局部后向散射光估计法。

(5)本发明首次提出利用光线和粒子交互概率模型的局部后向散射光估计法。

(6)本发明与现有的其他水下图像增强方法相比，能够更好的实现水下图像的清晰度和色彩增强，更适用于应用在近岸水域水体浑浊的水下图像增强问题。

附图说明

图1为水下彩色图像原图；

图2为现有技术carlevaris-bianco等人提出的水下图像增强方法结果图；

图3为现有技术galdran等人提出的水下图像增强方法结果图；

图4为现有技术fu等人提出的水下图像增强方法结果图；

图5为现有技术ancuti等人提出的水下图像增强方法单尺度结果图；

图6为本发明方法的水下图像增强方法结果图；

具体实施方式

以下进一步对本发明的技术方案进行描述，使本领域技术人员进一步理解本发明，而不构成对本发明权利的限制。

实施例1，一种基于暗通道理论的水下彩色图像增强方法，该方法步骤如下：对水下退化图像，在jaffe-mcglamery成像模型基础上，对暗通道图像采用retinex方法估计传输图，然后利用泊松分布拟合的局部散射背景光估计法，将暗通道图像块中最接近估计值像素点对应的水下彩色图像像素值作为该图像块后向散射背景光，在求得复原图像后，应用对比度拉伸进行色彩增强，最后获得增强后水下图像输出。

对一幅r，g，b空间归一化后水下彩色图像i∈(0，1)具体方法步骤如下：

第一步，对水下成像模型式(1)，采用式(3)计算暗通道图像ldc，本实施例中ω大小为15*15。

第二步，设t(x)＝tr(x)，对式(4)两边应用对数运算。

第三步，对式(15)应用mccann’sretinex算法，估计式(15)中的rr，由(16)求得tr(x)。

第四步，由式(8)，(9)估计tg(x)和tb(x)，其中λr＝620nmλg＝540nm，λb＝450nm，sx＝0.0049。

对暗通道图像ldc中的像素x，对其邻域ω(x)，ω(x)大小的选择可以为15×15，32×32，56×56，72×72等，块大小越小，越有利于提高增强后图像的清晰度，快越大有利于提高增强后图像的色彩，本实施例中ω(x)＝15×15。

第五步，应用式(10)、(11)获得后向散射的估计值。

第六步，利用式(12)，计算j^c(x)。

最后，通过计算式(13)，(14)获得增强图像的最后输出，动态范围μ取值越小，图像的对比度越强。一般来说取值在2-3之间能取得较为明显的效果。本实施例中μ＝2。

图1为水下彩色图像原图，图2-5为现有技术中其他几种方法对图1水下图像增强的结果，图6是采用本发明方法得到的水下彩色图像增强结果。可以看出本发明提出的水下彩色图像增强方法可有效的提高水下图像的清晰度和色彩失真，特别是在清晰度方面，效果优于现有其他方法。

实施例2，本发明水下彩色图像增强方法对增强图像清晰度和色彩的性能对比实验：

在本实施例中，水池长2.53米，宽1.02米，高1.03米。试验目标为imatestsfrplus清晰度板和colorchecker24x-ritechart(21.59×27.94cm)。采用oti-uwc-325/p/e彩色相机，分别在94.5cm(duntley法则)条件下拍摄水下图像。

imatest是美国imatest公司开发的一款被广泛应用的图像评测软件，它的系统基于matlab建立。imatest是一个用来对数码相机图像进行数据测试的软件包，这个软件的功能有很多，比如说：分辨率测试(sfr--mtf)、色差、色彩还原度、色彩空间等，它是目前最权威的成像分析软件。

采用imatest4.3图像质量评价软件对清晰度板和彩色板水下图像采用其他方法增强后及本发明提出方法增强后的图像进行自动分析，对比结果如附表1和附表2所示：

附表1：imatestsfr清晰度分析

附表2：imatest4.3彩色板数据分析

由附表1和表2中数据可以看出，本发明方法在增强水下图像清晰度和色彩方面优于现有技术其他方法。

其中，mtf(调制传输函数，modulationtransferfunction)mtf50是当mtf数值下降至最大值的50％时，对应的频率(周期每像素，cycleperpixel)，lw/ph＝cycleperpixel*总像素*2。

其中评价彩色色板图像质量时，采用cielab空间，l表示明度值；a表示红-绿值；b表示黄-蓝值。色彩误差有两种，一种是δc，另一种是δe，两种的区别就在于δc不考虑亮度信号y的色差值，而δe包括了亮度信号y的色差值，通常情况下色差数值越小说明图像质量越好，计算公式如下，其中l1，a1，b1，表示色板lab空间标准值，l2，a2，b2表示待测量图像lab空间的值。