一种基于仿射变换的水下色偏图像清晰化方法

1.本发明涉及数字图像处理领域，尤其涉及一种基于仿射变换的水下色偏图像清晰化方法。


背景技术：

2.大多数计算机视觉方法都要求输入水下图像是清晰可见的场景内容。然而，在可见光条件较差的情况下进行光学成像时，由于散射效应和吸收效应，传播的光衰减较大，导致记录的水下图像产生严重的颜色失真、对比度低和噪声。低能见度限制了它们在物体探测和遥感中的应用性能。
3.在过去的几十年里，已经有大量方法来改善这种退化图像的质量。这些方法大致可以分为两类:基于多幅图像的方法和基于单幅图像的方法。
4.基于多幅图像的方法通常使用特殊的硬件来捕获多个原始图像，然后从中提取场景深度信息。例如,目前存在的一种利用偏振差成像来捕捉清晰的图像技术，该技术对图像去雾效果较好，但在动态环境下难以获取原始图像。
5.基于单图像的技术往往依赖于各种假设和先验，其中最具代表性的是众所周知的暗通道先验，提出在户外无雾图像中的大部分局部区域，存在一些像素点在至少一个颜色通道中具有非常低的值，趋近于0。此外，随着深度学习在计算机视觉中的成功发展，越来越多的基于深度学习的方法被用于退化图像的恢复。例如端到端网络体系结构来生成清晰的图像，用于生成粗糙尺度传输矩阵并逐步细化。尽管基于深度学习的去雾方法取得了令人印象深刻的效果，但标记训练数据的不足严重限制了这些方法的进一步发展，同时传统的颜色迁移方法不适合解决在水下高度颜色失真图像中遇到的局部颜色变化偏差。


技术实现要素：

6.本发明提供一种基于仿射变换的水下色偏图像清晰化方法，以克服传统的颜色迁移方法不适合解决在水下高度颜色失真图像中遇到的局部颜色变化偏差等问题。
7.为了实现上述目的，本发明的技术方案是：
8.一种基于仿射变换的水下色偏图像清晰化方法，包括以下步骤：
9.步骤1、获取参考图像r和待处理的水下图像x；
10.步骤2、分别计算参考图像r和待处理的水下图像x的协方差cr、c
x
；
11.步骤3、构建仿射变换模型y和目标函数(m
*
,n
*
)，使用梯度下降法获得传递系数m
*
和n
*
；
12.步骤4、根据传递系数m
*
、n
*
和仿射变换模型y获得颜色校正后的图像y；
13.步骤5、构建大气散射透射模型t，获得全局大气光散射的强度值v(x,y)及全局大气光的强度值a，进而获得透射率t；
14.步骤6、通过加权最小二乘方法获得颜色校正后图像y的第一细节层d1、d2，通过梯度增强函数计算出增强后的第二细节层d1'、d'2，通过图像合成函数方程获得对比度增
强后的图像z。
15.进一步的，所述步骤3的具体步骤为：
16.步骤3.1、利用待处理的水下图像x的像素值构建仿射变换模型y获得矫正后的图像，仿射变换模型y的具体公式为y＝mx+n,其中m和n表示传递系数；
17.步骤3.2、根据仿射变换模型y，计算出校正后的图像y的颜色方差cy，计算颜色方差cy的具体公式为cy＝mc
xmt
，其中c
x
表示待处理的水下图像x的协方差，m
t
表示传递系数m的转置；
18.步骤3.3、构建目标函数，构建所述目标函数的具体公式为：
[0019][0020]
其中表示输入图像和校正图像之间的局部保真性约束项；表示正则化器约束输出图像的协方差；表示梯度正则化项为保留细节信息；表示两个传递系数的参数正则化约束，λ、β和γ是正则化器约束输出图像的协方差、梯度正则化项为保留细节信、传递系数的参数正则化约束重要性的三个正参数；
[0021]
步骤3.4、使用梯度下降法获得传递系数m
*
和n
*
：
[0022]m*
＝2(mx-y+n)x
t
+2λmc
smt
mc
s-2λcrmcs+γm+2β(m(dx)-dx)-dx)(dx)
t
[0023]n*
＝2(mx-y+n)+γn
[0024]
其中m
*
与m、n
*
与n均为传递系数，m
*
和n
*
为m和n迭代后的参数值。
[0025]
进一步的，所述步骤5具体为：
[0026]
步骤5.1、构建大气散射透射模型t，构建大气散射透射模型t的具体公式为t＝e-kd(x,y)
，其中k表示大气的散射系数，d(x,y)表示场景光线景深；
[0027]
步骤5.2、获得全局大气光散射的强度值v(x,y)，获得全局大气光散射的强度值v(x,y)的具体公式为v(x,y)＝a(1-e-kd(x,y)
),v(x,y)表示全局大气光散射的强度值，a表示全局大气光的强度值；
[0028]
步骤5.3、获得待处理的水下图像x的rgb三通道最小值w(x,y)，获得待处理的水下图像x的rgb三通道最小值w(x,y)具体公式为w(x,y)＝min(y(x,y))，其中y(x,y)代表颜色校正后的图像像素值；
[0029]
步骤5.4、根据全局大气光散射的强度值v(x,y)及全局大气光的强度值a得到透射率t。
[0030]
进一步的，所述步骤6具体为：
[0031]
步骤6.1、构建大气散射模型y(x)，构建大气散射模型y(x)的公式为y(x)＝z(x)t(x)+a(1-t(x))，其中y和z分别是输入图像和无雾图像像素值，t表示透射率；给定以位置x为中心的补丁内的场景深度和衰减系数的值是恒定的，透射率t是均匀的，将大气散射模型y(x)中x值进行梯度运算，则获得输入图像y的对比度的公式为:
[0032]
[0033]
其中表示梯度算子；
[0034]
步骤6.2、根据加权最小二乘框架的保边平滑算子的方法从输入图像y计算出不同尺度的两个第一细节层d1和d2；
[0035]
步骤6.3、通过梯度增强函数计算出增强后的第二细节层d1'、d'2，计算梯度增强函数的具体公式为其中di和di'分别是第i个第一细节层和增强后的第二细节层，ωi为控制梯度增强强度的参数，t是透射率t的平均值；
[0036]
步骤6.4、通过图像合成函数方程获得对比度增强后的图像z，图像合成函数方程具体为z＝b+d1'+d'2，其中b表示输入图像y的基础层。
[0037]
有益效果：本发明把局部颜色保真度和梯度约束项添加到提出的方法中，并可以处理各种色偏和不同光照条件下的多种退化图像。此外，本发明采用多尺度梯度域方法增强图像对比度，可以很容易地恢复图像对比度，同时限制了噪声的显著放大。本发明最终可以改善水下图像的色偏和对比度实现清晰化。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本发明基于仿射变换的水下色偏图像清晰化方法的流程图；
[0040]
图2为本发明水下图像颜色校正效果对比图；
[0041]
图3为本发明水下图像清晰化效果对比图。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本实施例提供了一种基于仿射变换的水下色偏图像清晰化方法，如图1，包括以下步骤：
[0044]
步骤1、获取参考图像r和待处理的水下图像x；
[0045]
步骤2、分别计算参考图像r和待处理的水下图像x的协方差cr,c
x
；
[0046]
步骤3、构建仿射变换模型y和目标函数(m
*
,n
*
)，使用梯度下降法获得传递系数m
*
和n
*
；
[0047]
在具体实施例中，所述步骤3的具体步骤为：
[0048]
步骤3.1、利用待处理的水下图像x的像素值构建仿射变换模型y获得矫正后的图像，仿射变换模型y的具体公式为y＝mx+n,其中m和n表示传递系数；
[0049]
步骤3.2、根据仿射变换模型y，计算出校正后的图像y的颜色方差cy，计算颜色方差cy的具体公式为cy＝mc
xmt
，其中c
x
表示待处理的水下图像x的协方差，m
t
表示传递系数m的
转置；
[0050]
步骤3.3、构建目标函数，构建所述目标函数的具体公式为：
[0051][0052]
其中表示输入图像和校正图像之间的局部保真性约束项；表示正则化器约束输出图像的协方差；表示梯度正则化项为保留细节信息；表示两个传递系数的参数正则化约束，λ、β和γ是正则化器约束输出图像的协方差、梯度正则化项为保留细节信、传递系数的参数正则化约束重要性的三个正参数；
[0053]
步骤3.4、使用梯度下降法获得传递系数m
*
和n
*
：
[0054]m*
＝2(mx-y+n)x
t
+2λmc
smt
mc
s-2λcrmcs+γm+2β(m(dx)-dx)-dx)(dx)
t
[0055]n*
＝2(mx-y+n)+γn
[0056]
其中m
*
与m、n
*
与n均为传递系数，m
*
和n
*
为m和n迭代后的参数值。
[0057]
步骤4、根据传递系数m
*
、n
*
和仿射变换模型y获得颜色校正后的图像y；
[0058]
步骤5、构建大气散射透射模型t，获得全局大气光散射的强度值v(x,y)及全局大气光的强度值a，进而获得透射率t；
[0059]
在具体实施例中，所述步骤5具体为：
[0060]
步骤5.1、构建大气散射透射模型t，构建大气散射透射模型t的具体公式为t＝e-kd(x,y)
，其中k表示大气的散射系数，d(x,y)表示场景光线景深；
[0061]
步骤5.2、获得全局大气光散射的强度值v(x,y)，获得全局大气光散射的强度值v(x,y)的具体公式为v(x,y)＝a(1-e-kd(x,y)
),v(x,y)表示全局大气光散射的强度值，a表示全局大气光的强度值；首先使用白平衡方法对校正后的图像y进行预处理，使得雾的部分变得纯白，因而，大气光的值被固定为a＝{1,1,1}；
[0062]
在具体实施例中，为获得全局大气光散射的强度值v(x,y)，首先采用中值滤波器对w(x,y)进行滤波处理，处理公式为：a(x,y)median
sv
(w)(x,y)，其中sv表示中值滤波器的尺寸大小；其次消除滤波后的纹理b(x,y)＝a(x,y)-median
sv
(|w-a|)(x,y)；由于b(x,y)为细化后的v(x,y),仍要遵守v(x,y)的约束条件：v(x,y)＝max(min(pb(x,y),w(x,y)),0)，其中p是考虑天空光比例的大小一般取0.9～0.95之间；
[0063]
步骤5.3、获得待处理的水下图像x的rgb三通道最小值w(x,y)，获得待处理的水下图像x的rgb三通道最小值w(x,y)具体公式为w(x,y)＝min(y(x,y))，其中y(x,y)代表颜色校正后的图像像素值；v(x,y)有如下约束0≤v(x,y)≤w(x,y)；
[0064]
步骤5.4、根据全局大气光散射的强度值v(x,y)及全局大气光的强度值a得到透射率t。
[0065]
步骤6、通过加权最小二乘方法获得颜色校正后图像y的第一细节层d1、d2，通过梯度增强函数计算出增强后的第二细节层d1'、d'2，一般选择尺度为2，通过图像合成函数方程获得对比度增强后的图像z。
[0066]
在具体实施例中，所述步骤6具体为：
[0067]
步骤6.1、构建大气散射模型y(x)，构建大气散射模型y(x)的公式为y(x)＝z(x)t(x)+a(1-t(x))，其中y和z分别是输入图像和无雾图像像素值，t表示透射率；给定以位置x为中心的补丁内的场景深度和衰减系数的值是恒定的，透射率t是均匀的，将大气散射模型y(x)中x值进行梯度运算，则获得输入图像y的对比度的公式为:
[0068][0069]
其中表示梯度算子；
[0070]
步骤6.2、根据加权最小二乘框架的保边平滑算子的方法从输入图像y计算出不同尺度的两个第一细节层d1和d2；
[0071]
步骤6.3、通过梯度增强函数计算出增强后的第二细节层d1'、d'2，计算梯度增强函数的具体公式为其中di和di'分别是第i个第一细节层和增强后的第二细节层，ωi为控制梯度增强强度的参数，t是透射率t的平均值；
[0072]
步骤6.4、通过图像合成函数方程获得对比度增强后的图像z，图像合成函数方程具体为z＝b+d1'+d'2，其中b表示输入图像y的基础层。
[0073]
图2为本发明水下图像颜色校正效果对比图，图3为本发明水下图像清晰化效果对比图，由图2和图3可知，本发明处理后的图像改善了水下图像偏蓝或偏绿的现象，恢复的颜色自然不像其它方法出现无法去除色偏、整体偏红或者无法恢复正确的颜色等问题，并且去雾效果很好提高了对比度产生了令人满意的结构和鲜艳真实的色彩。
[0074]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。