基于结构‑纹理分层的水下图像增强方法与流程

本发明属于计算机视觉领域，涉及基于结构-纹理分层的水下图像增强方法。具体而言，通过分层处理将图像分为高频纹理层和低频结构层，不仅避免了在增强过程中将噪声放大问题，而且很好的保留了细节和边缘，改善了对比度和色调自然性，即基于结构-纹理分层的水下图像增强方法。

背景技术：

清晰、可见度高的水下图像分析和识别对水下勘测、水下视频、军事等方面的研究具有非常重要的意义。但是，在复杂的水下成像环境中，由于在传输过程中的大悬浮粒子(像水中的浑浊粒子)吸收和散射的影响，严重降低了图像质量。因此，典型的水下图像存在着如下问题：

1)汇聚光照明，形成背景灰度分布不均匀；

2)吸收、散射效应使得水下图像存在非均匀亮度和细节模糊问题；

3)照明条件不良，引起色调衰减、对比度降低问题；

由于拍到的水下图像质量普遍较差，所以对水下图像进行目标识别前要进行预处理。目前存在的水下图像增强方法主要有以下几个发展阶段：

第一阶段：用传统的图像增强方法对水下图像处理，如：灰度变化、直方图均衡化、图像空域平滑和锐化处理、伪彩色处理等。但是由于水下成像特性的独特性，这些传统的方法处理结果并不理想。

第二阶段：根据水下和雾霾中成像特点的相似性，研究人员开始基于去雾技术对水下图像增强方法展开研究，但是，由于水中和空气中的透射率和吸收散射特点有差别，直接把去雾的方法用于水下图像增强会存在一些问题，例如在暗区域会丢失一些细节，在亮的区域引起过曝光现象。

第三阶段：随着对水下折射和散射特性的研究，研究人员提出了一些专门的水下数学成像模型以及一些针对水下图像增强的方法。这些方法主要出发点是背景光估计、透射率估计、弥补光波衰减、基于融合原则增强等。例如：参考文献中提到的用基于分层的方法估计了背景光；基于四叉树分解和图像分块的全局背景光的估计方法，以及提出一种针对水下成像特点的最小信息损失的透射率估计算法；通过人造灯光弥补方法来增强水下图像的系统方法；通过融合四个权重进而增加了水下降质图像的可见度。这些方法在一定程度上抑制了过曝光和噪声问题，对图像的色调也有所改善，但是仍然存在部分细节丢失、噪声放大、色调不自然、过饱和等问题。这些问题会对水下研究产生很大的影响，因此，设计一种更好的水下图像增强方法，尽可能的提高图像对比度、突出感兴趣的细节和特征、改善图像的视觉效果、提供清晰、适于分析的图像是十分必要的。

技术实现要素：

本发明意在弥补现有技术的不足，即实现在提高图像对比度的同时保留好的细节，在抑制噪声的同时保持色调的自然性。本发明采取的技术方案是，基于结构-纹理分层的水下图像增强方法，首先，通过直方图均衡化进行色彩校正，然后这个色彩纠正后的图被分解为低频结构层和高频纹理层。将噪声残留到纹理层，然后基于已经提出的雾线模型，从没有噪声的结构层精确地估计出的透射率，进而进行增强处理，再用梯度残留最小化方法增强纹理层，之后，通过适当的尺度伸缩，将增强后的结构层、纹理层和精细化的边缘掩膜重构成最终的增强图，从而解决已有技术无法处理的问题。

具体步骤如下：

1)对捕获到的图像进行色彩校正：首先，结合水下图像色彩分布直方图特点，将每个色彩通道的平均色彩分布移动到所期望的范围，然后进行线性归一化处理，即用简单的直方图均衡化来解决色彩偏移问题，具体地，对于每个图像每个色彩通道的像素值按照以下方法计算边界的下限和上限

其中c∈{r,g,b}，μ^c和σ^c分别为每个色彩通道的平均值和标准方差，λ是一个色调参数，有效地调节了分布范围，然后用截断函数chip()将图像的像素值范围截断到[0，255]，进而得到色彩校正的图像：

i^c(x)是色彩校正后图像的每个通道的像素值；

2)构建分层模型：用去雾模型来定义水下图像：

i^c(x)＝j^c(x)t(x)+a^c(1-t(x))+e(x),(4)

其中,x是像素值，j^c(x)是恢复后的图像，a^c是全局的背景光，t(x)是水中的投射率，定义e(x)为输入图像中的噪声，图像增强的目的是从捕获到的水下图像i^c(x)恢复出j^c(x)，这个过程涉及到透射率和背景光的估计；

3)结构-纹理分层实现：采用tv-l¹分离结构层和纹理层：

其中，是通过1范数正规化结构层的梯度，ξ是控制光滑程度的权重参数，通过tv-l¹将结构层is求解出来，tv-l¹是将全变分作为正则项进行图像分解的最优化方法，纹理层通过it＝i-is算出；

4)结构层增强：采用全局背景光散射估计方法对a进行估计：

其中，是达到结构层的暗通道中最大值位置，即ω(y)是y的一个领域；

根据暗通道先验理论，首先假设在每一个窗口内的透射率为常数，定义它为t0，a值已经由公式(9)计算出，所以对公式(6)两边求两次最小值运算，移项整理后，得到透射率t(x)的预估值：

其中，ω是修正因子；

5)纹理层去噪：通过以上的tv-l¹分解，捕获图中的噪声残留在高频的纹理层。用梯度残留最小化方法来增强纹理层，这个纹理层的增强通过优化公式(15)的得到：

其中，δ和η是控制权重参数，控制着处理结果的光滑程度和精细程度，η太大或δ太小，会使得增强图像的大部分纹理随着去噪处理而丢失，所以，合适选取δ和η的值对实验结果影响很大，令z＝j-i，则以上优化问题变成两个子问题，如下公式：

这样可以将公式(16)变成经典的tv问题，公式(17)用软阈值接近；

6)掩膜精细化：用一个二进制掩膜m把tv-l¹分解后的纹理层分离成光滑区域、细节区域，进而删除在增强后的低频结构层光滑区域中的残留细节，具体用离散余弦变换系数来检测场景中块之间的相似性，判断一个区域知否光滑，定义it中的每一个8×8的块的dct系数为b，然后，场景细节中的每个块的相似性用公式(18)表示：

其中，x,y是dct中的坐标位置，计算除了b1,1,b1,2和b2,1的所有dct系数的平方和，然后用阈值对每一个块的相似性进行判断，定义纹理层初始的边缘掩膜为m，设置阈值κ为0.1，当ρ大于κ时，该块的m为1，否者，m为0，这样便得到一个粗糙的二进制边缘信息图，为了得到精细化的边缘掩膜采用软映射的方法结合结构层is产生的映射拉布拉氏矩阵修正这初始的粗糙的m：

其中，m和m'是m和m'的向量表示，ls是从is产生的映射拉布拉氏矩阵，是正规化参数，在文中设为10⁵；

7)重构：最后，我们重构出最终的增强处理结果通过公式(20)：

其中，τ是伸缩因子，引入了增强的细节，在实验中设为和分别是经过增强处理的低频结构层和高频纹理层。

在弱光环境中图像高频部分不仅包含纹理信息，还包含了大量的噪声，为了避免影响透射率估计的准确度，先将图像进行分层处理，然后分别在低频结构层估计透射率，在高频纹理层进行去噪处理，定义一幅图为j＝js+jt，js和jt分别为图像的结构层和纹理层，那么方程(4)被重写为：

i^c(x)＝(js^c(x)+jt^c(x))t(x)+a^c(1-t(x))+e(x)

＝js^c(x)t(x)+a^c(1-t(x))+jt^c(x)t(x)+e(x).(5)

其中背景光a^c是比较光滑的信号，估计出来的透射率t也是接近js^c中的理想透射率，因此，捕获图像可以对应的写为：i＝is+it，得到：

is^c(x)＝js^c(x)t(x)+a^c(1-t(x))(6)

其中，is^c是捕获图的低频结构层，包含着图像的大部分结构轮廓，it^c是捕获图的高频纹理层，包含着大部分的纹理信息和噪声，通过这个方法，透射率t(x)从is(x)中估计出来，而且免除噪声的影响。

透射率t(x)的预估值更加精细化处理步骤：将公式(6)转化到3d坐标系当中，得出一个在三维坐标系中的透射率线性透射率估计值t'(x)，把背景灯光a作为坐标原点，将公式(6)变成以下形式：

is0(x)＝t'(x)·js0(x)(11)

其中，is0(x)＝is(x)-a，js0(x)＝js(x)-a，因此，根据以下公式来计算每一个像素值的线性透射率估计值：

给定一个透射率的边界值紧接着，通过优化公式(13)，进而得到一个精细的透射率映射：

其中，α和β是控制数据项和光滑项的权重参数，σ(x)是在每一个像素值上的标准偏差，n(x)表示在结构层中每一个像素值周围的四邻域像素位置，a和的值被计算出来之后，那么，这个增强的结构层可以由公式(14)得出：

本发明的技术特点及效果：

本发明方法针对水下图像增强噪声放大以及色调偏移等问题，通过把图像分成结构层和纹理层，分别进行增强和去噪，实现了提高图像对比度的同时保留好的细节，在抑制噪声的同时保持了色调的自然性。本发明具有以下特点：

1、本文提出的算法主要创新点是基于结构-纹理分层的思路，在两个层分别做增强和去噪处理，避免了噪声放大影响。

2、本文针对色彩偏移问题提出了简单，而且普遍适用的解决方案。

3、对各种不同的水下图形增强都有较好的结果，具有一定的普适性。

4、本文提出的算法可以应用到水下视频的增强，具有一定的扩展性。

附图说明

图1是算法框架图；

图2左图是捕获的水下图像，右图是对应的直方图；

图3左图是色彩矫正后的图像，右图是对应的直方图；

图4是分解模型验证图：图4((a)合成的降质图像i；(b)是i的结构层；(c)是i的纹理层；(d)是清晰的图像j；(e)是j的结构层；(f)是j的纹理层)；

图5是分解结果图；

图6是结构层的增强结果图；

图7是纹理层的增强结果图；

图8是边缘掩膜的重定义图；

图9是最终重构的结果图；

图10是本文和其他参考文献的效果比较图(第一栏是输入图；第二栏是参考文献[10]；第三栏是参考文献[12]的结果图；第四栏是参考文献[13]的结果；第五栏是本文结果)；

图11是分层和不分层的增强效果图(第一行是不分层的结果图；第二行是对应分层的结果图)；

具体实施方式

本发明提出了基于结构-纹理分层的水下图像增强方法，将噪声残留到纹理层，没有噪声影响的结构层满足雾线模型。然后我们通过基于雾线模型增强了结构层，用梯度残留最小化方法增强纹理层。之后，通过适当的尺度伸缩，将增强后的结构层，纹理层和精细化的掩膜重构成最后的增强图。即实现在提高图像对比度的同时保留好的细节，在抑制噪声的同时保持了色调的自然性。下面结合附图和实施例对本发明作详细说明。

首先，针对现存的水下图像增强方法的一些不足，我们提出一个基于分层的处理图像方法，其框架图如图1。第一步，通过直方图均衡化进行色彩校正。第二步，用tv-l¹(将全变分(tv能量)作为正则项进行图像分解(称为rof或tv-l¹模型)的最优化方法)方法将图像进行分层处理，然后对结构层和纹理层分别进行增强和去噪处理。最后将增强处理后的结构层和纹理层以及精细化的掩膜重构成最终的结果图。以下是具体的实施方法：

1)对拍摄到的图像进行色彩校正。通过观察水下图像的色彩分布直方图特点如图2，

8)我们看到由于在水中，不同的光段遭受不同强度的吸收和散射，仅仅在480-570波段的蓝绿光在水中衰减系数最小，穿透能力最强，所以水中捕获到的图像多呈现浅绿色光色调。为了解决这一色彩偏移问题，我们采用简单的直方图均衡化。这个原理十分直观，即将每个色彩通道的平均色彩分布移动到期望的范围，然后再进行线性归一化处理。对于每个色彩通道(代表图像每个色彩通道的像素值)，按照以下方法计算边界的下限(代表图像每个色彩通道的像素值的最小值)和上限(代表图像每个色彩通道的像素值的最大值)：

其中c∈{r,g,b}，μ^c和σ^c分别为每个色彩通道的平均值和标准方差。λ是一个色调参数，它有效地调节了分布范围，超出该范围的像素值将被截断。最后，这个色彩校正的图像通过最小化公式(3)得到。

i^c(x)＝j^c(x)t(x)+a^c(1-t(x))+e(x),(4)

其中，clip(·)是一个clip函数，它控制着将像素值范围截断到[0，255]。通过图2和图3的对比，可以说明这种方法对水下图像进行了有效的色彩纠正。

2)构建分层模型。由于光路在浑浊的水中的衰减和在存在雾霾的大气中的衰减具有相似性，用何凯明的经典暗通道去雾模型来定义水下图模型：

i^c(x)＝j^c(x)t(x)+a^c(1-t(x))+e(x),(4)

其中,x是像素值，i^c(x)是每个通道的色彩校正的图像，j^c(x)是恢复后的图像。a^c是全局的背景光，t(x)是水中的投射率。定义e(x)为输入图像中的噪声。图像增强的目的是从捕获到的水下图像i^c(x)恢复出j^c(x)，这个过程涉及到透射率和背景光的估计

通常，图像在高频部分不仅包含重要的纹理信息，而且包含了大量的噪声，尤其在弱光环境中。这些因素会降低透射率估计的准确度，进而影响最终的增强效果。为了克服这个问题，先将图像分层处理，然后分别在结构层估计透射率避免噪声的影响，在纹理层单独做去噪处理。我们定义js和jt分别为干净图像的结构层和纹理层，然后有j＝js+jt，那么方程(4)可以被重写为：

i^c(x)＝(js^c(x)+jt^c(x))t(x)+a^c(1-t(x))+e(x)

＝js^c(x)t(x)+a^c(1-t(x))+jt^c(x)t(x)+e(x).(5)

其中背景光a^c是光滑的信号，估计出来的透射率t也是相对光滑的，接近js^c中的理想透射率。因此，观察到的捕获图像可以被分为两层(i＝is+it)，理想情况下可以得到：

is^c(x)＝js^c(x)t(x)+a^c(1-t(x))(6)

其中，is^c是捕获图的结构层，包含着图像的大部分细节。it^c是捕获图的纹理层，包含着大部分的纹理信息和噪声。通过这个方法，透射率t(x)可以从is(x)中估计出来，免除噪声的影响。

3)实现分层。由于结构层在物体的轮廓和边界具有更大的梯度，而在纹理层却具有比较小的梯度。我们用tv-l¹分解模型很好地分离结构层和纹理层：

其中，是通过1范数正规化结构层的梯度，ξ是控制光滑程度的权重参数，通过tv-l¹(将全变分(tv能量)作为正则项进行图像分解(称为rof或tv-l¹模型)的最优化方法)可以将结构层is求解出来，纹理层通过it＝i-is算出。

一个重要的问题是以上的tv-l¹分解模型是否恰好能够按照方程(6)和方程(7)把捕获到的图分解。图4展示了一个分解例子，这个输入的图像是根据等式(4)从j合成的i，js和jt是用tv-l¹最优化分解后的两层图像，如图所示，降质图像i(x)的结构层(is)不包括高频纹理细节和噪声，在视觉上和原始清晰的图像的结构层是一致的。为了有更好的视觉效果，我们把纹理层放大10倍。

4)背景光估计。考虑到水中光波的吸收和散射影响，我们用全局背景灯光散射估计方法对a进行了估计：

其中，是达到结构层的暗通道中最大值位置，即ω(y)是y的一个领域，它的尺寸设为17。

根据暗通道先验理论，首先假设在每一个窗口内的透射率为常数，定义它为t0，a值已经由公式(9)计算出，所以我们对公式(6)两边求两次最小值运算，移项整理后，可以得到透射率t(x)的预估值：

其中，ω是修正因子，在本文中均设置为0.95，目的是使恢复结果图更接近现实的照片。但是，仅仅用这个透射率t(x)的预估值恢复出来的结果图中存在明显的不协调部分，所以要想得到更好的增强效果，我们需要对这个预估值做精细化处理。我们观察到没有噪声的分布的is中的像素分布符合“雾线”规律。因此，我们可以将公式(6)转化到3d坐标系当中，得出一个在三维坐标系中的透射率t'(x)(下文中称为线性透射率估计值)。把背景光a作为坐标原点，便可将公式(6)变成以下形式：

is0(x)＝t'(x)·js0(x)(11)

其中，is0(x)＝is(x)-a，js0(x)＝js(x)-a。因此，我们能够根据以下公式来计算每一个像素值的线性透射率估计值：

给定一个透射率的边界值紧接着，我们可以通过优化公式(12)，进而得到一个精细的透射率映射：

其中，α和β是控制数据项和光滑项的权重参数，σ(x)是在每一个像素值上的标准偏差，n(x)表示在结构层中每一个像素值的四领域像素位置。一旦a和的值被计算出来，那么，这个增强的结构层可以由公式(14)得出：

5)纹理层增强。通过以上tv-l¹分解后，捕获图中的噪声残留在纹理层。我们用梯度残留最小化方法来增强纹理层，即增强的纹理层可以通过优化公式(15)的得到：

其中，δ和η是控制权重参数，控制着处理结果的光滑和精细程度，η太大或δ太小，会使得增强图像的大部分纹理随着去噪过程而丢失，所以，合适选取δ和η的值对实验结果影响很大。令z＝j-i,以上优化问题可以变成两个子问题，如下公式。

公式(16)变成了经典的tv问题，可以参考[15]中的tv-l¹方法求解。公式(17)可以用软阈值接近。

6)边缘掩膜的定义。从图5中可以看出增强后的可能还包括一部分不希望存在的噪声，尤其在光滑区域更加明显。因此，我们用一个边缘掩膜m把tv-l¹分解后的纹理层分离成光滑和细节区域，进而删除增强后结构层中光滑区域的残留细节。我们用离散余弦变换系数来检测场景中块之间的相似性，判断是否光滑，定义it中的每一个8×8的块的dct系数为b,然后，场景细节中的每个块的相似性可以用公式(18)表示：

其中，x,y是dct中的坐标位置，我们计算除了b1,1,b1,2和b2,1的所有dct系数的平方和，然后用阈值对每一个块的相似性进行了判断。我们定义纹理层的初始的细节掩膜为m，阈值κ为0.1，当ρ大于κ时，该块的m为1，否者，m为0.。为了得到精细化的细节掩膜我们软映射的方法结合结构层is产生的映射拉布拉氏矩阵修正这初始的粗糙的m。

其中，m和m'是m和m'的向量表示，ls是从is产生的映射拉布拉氏矩阵，是正规化参数，在文中设为10⁵。

7)重构图像。上面将结构层和纹理层分别进行加强，得到了边缘掩膜m，因此可以通过公式(20)重构出最终的增强处理结果：

其中，τ是伸缩因子，引入了增强的细节，在实验中设为和分别是被增强的结构层和纹理层。

实验中对本文算法的色彩纠正效果、分层效果、去噪效果以及增强效果做了测试，并且与对比文献的算法进行了对比，具体结果如图2、图3、图4、图5、图6、图7、图9、图10、图11所示。在图10中可以看到参考文献[10]的恢复效果放大了噪声，并且增强后图像的色调不自然。参考文献[12]的恢复结果对比度比较低，而且噪声也比较明显。参考文献[13]的处理结果在一定程度上改善了图像的对比度，减少了噪声，可是，因为该方法并不是针对水下图像增强，所以他的恢复结果存在色彩偏差，而且一些细节也没有达到很好的增强效果。图11展示了分层和不分层效果比较，可以看出增强结果丢失了一部分细节，像第一栏图中的水泡，这进一步说明基于结构-纹理分层的水下图像增强方法的效果更好。换句话说，本文提到的方法实现了最好的增强效果，不光有效地减少了噪声，而且保留了好的细节和自然的色调。