一种使用曲线迭代估计进行水下实时图像增强的方法

本发明涉及水下图像增强，更具体的说是涉及一种使用曲线迭代估计进行水下实时图像增强的方法。

背景技术：

1、近年来，海洋资源的开发利用引起了越来越广泛的关注，由于水下环境的复杂性，水下图像往往会受到光线衰减、散射、吸收等多种因素的影响，导致图像质量下降，难以准确地获取所需的信息，这给相应后续水下作业任务的展开带来了困难。水下图像增强通过提高图像的视觉感知质量，为后续的任务的展开提供了基础。对水下图像进行有效增强，能帮助人们更好地探索和开发海洋世界。

2、目前的水下图像增强算法可以区分为水下成像模型驱动的增强方法，无模型的传统水下图像增强方法和数据驱动的基于深度学习的图像增强方法。由于水下环境的复杂性，对于水下成像模型驱动的增强方法而言，越准确的模型需要计算的参数也越多，这给这些方法的实际应用带来了很大的困难。无模型的传统水下图像增强方法最大的问题在于容易对图像进行过度增强或者是增强不足，难以达到一个令人满意的稳定效果。相较而言，基于深度学习的方法目前普遍能够取得更加稳定的结果。但是目前的研究聚焦于如何设计复杂的网络模型，加入更多的损失函数或者将传统先验知识融入深度学习网络之中。但这些策略无疑都会增加方法的复杂性，在一定程度上甚至将简单的低级视觉任务复杂化了，在应用的时候会带来非常多的限制且运行时间长。

3、因此，在对水下图像进行增强处理时，如何减少模型参数数量，简化步骤，提升图像增强效果的同时降低运行时间，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，本发明提供一种使用曲线迭代估计进行水下实时图像增强的方法，以至少解决上述背景技术中提到的部分技术问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种使用曲线迭代估计进行水下实时图像增强的方法，包括如下步骤：

4、s1、使用迭代曲线来模拟原始图像与增强后图像之间的映射关系，并获取所述迭代曲线的曲线参数；

5、s2、通过训练好的曲线参数估计网络对所述迭代曲线的曲线参数进行估计；

6、s3、在所述原始图像上分颜色通道迭代应用所估计的曲线参数，得到最终的水下增强图像。

7、进一步地，所述迭代曲线对应的函数单调且能够实现梯度回传；所述函数在将输入归一化到[0，1]时，输出也恒定保持在[0，1]。

8、进一步地，所述步骤s1中，使用迭代曲线来模拟原始图像与增强后图像之间的映射关系，具体包括：

9、s11、使用曲线模拟原始图像与增强后图像之间的低阶映射，表示为：

10、eθ(x)＝αθ(x)rθ(x)2+(1-αθ(x))rθ(x)

11、其中，θ∈{r，g，b}；rθ(x)表示原始图像的像素值；eθ(x)表示增强后图像的像素值；αθ(x)表示曲线参数；

12、s12、将所述曲线迭代，实现模拟原始图像与增强后图像之间的高阶映射，表示为：

13、en(x)＝αn(x)en-1(x)2+(1-αn(x))en-1(x)

14、其中，n表示迭代次数；en(x)表示第n次迭代增强后图像的像素值；αn(x)表示由参数估计网络所得的第n次迭代的曲线参数。

15、进一步地，所述曲线参数估计网络由多个卷积-激活函数堆叠块组成；所述多个卷积-激活函数堆叠块通过跳跃连接构成一个对称的网络结构。

16、进一步地，所述卷积-激活函数堆叠块结合了注意力机制。

17、进一步地，所述曲线参数估计网络通过损失函数组训练而成；所述损失函数组包括内容损失函数、感知损失函数、锐度损失函数和颜色损失函数。

18、进一步地，所述损失函数组中每个损失函数的构建方式如下：

19、(1)所述内容损失函数的构建方式表示为：

20、lgt＝||y-e||1

21、其中，lgt表示内容损失函数；e表示增强后图像的像素值；y表示gt的像素值，gt表示增强后图像参照的标签；

22、(2)所述感知损失函数的构建方式表示为：

23、lperce＝||φ(y)-φ(e)||2

24、其中，lperce表示感知损失函数；φ(u)表示gt基于vgg-19网络的relu5_4层所提取的特征；φ(e)表示增强后图像基于vgg-19网络的relu5_4层所提取的特征；

25、(3)所述锐度损失函数的构建方式表示为：

26、

27、其中，lsharp表示锐度损失函数；表示gt的梯度值；表示增强后图像的梯度值；

28、(4)所述颜色损失函数的构建方式表示为：

29、lcolor＝(ir-ig)2+(ir-ib)2+(ig-ib)2

30、其中，lcolor表示颜色损失函数；ir表示图像r通道的平均像素强度；ig表示图像g通道的平均像素强度；ib表示图像b通道的平均像素强度。

31、进一步地，所述曲线参数包括r通道曲线参数、g通道曲线参数和b通道曲线参数。

32、进一步地，在所述步骤s3中，基于所述r通道曲线参数、g通道曲线参数和b通道曲线参数，分别在对应的r通道、g通道和b通道上进行迭代。

33、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种使用曲线迭代估计进行水下实时图像增强的方法，具有如下有益效果：

34、本发明通过迭代曲线来模拟原始图像与增强后图像之间的映射关系，并通过训练该迭代曲线的曲线参数，基于该训练好的参数得到最终的水下增强图像；该过程步骤简单，便于使用；该方法可以减小模型参数量级，在提升增强效果的同时降低运行时间。

35、本发明的曲线参数估计网络由多个卷积-激活函数堆叠块组成，其轻量化的网络结构能够轻松推广至任何小型设备，实现实时性的水下图像增强。有助于海底环境探测和水下视觉任务的展开。

36、本发明通过内容损失函数、感知损失函数、锐度损失函数和颜色损失函数来约束曲线参数估计网络的训练；其中，内容损失函数可以有效防止图像模糊；感知损失函数可以确保增强后图像的纹理更加精细化；锐度损失函数可以提高图像的清晰度和对比度；颜色损失函数能够约束生成视觉感知上接近自然图像的结果。

技术特征：

1.一种使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，所述迭代曲线对应的函数单调且能够实现梯度回传；所述函数在将输入归一化到[0，1]时，输出也恒定保持在[0，1]。

3.根据权利要求1所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，所述步骤s1中，使用迭代曲线来模拟原始图像与增强后图像之间的映射关系，具体包括：

4.根据权利要求1所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，所述曲线参数估计网络由多个卷积-激活函数堆叠块组成；所述多个卷积-激活函数堆叠块通过跳跃连接构成一个对称的网络结构。

5.根据权利要求4所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，所述卷积-激活函数堆叠块结合了注意力机制。

6.根据权利要求1所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于，所述曲线参数估计网络通过损失函数组训练而成；所述损失函数组包括内容损失函数、感知损失函数、锐度损失函数和颜色损失函数。

7.根据权利要求6所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于：所述损失函数组中每个损失函数的构建方式如下：

8.根据权利要求1所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于：所述曲线参数包括r通道曲线参数、g通道曲线参数和b通道曲线参数。

9.根据权利要求8所述的使用曲线迭代估计进行水下实时图像增强的方法，其特征在于：在所述步骤s3中，基于所述r通道曲线参数、g通道曲线参数和b通道曲线参数，分别在对应的r通道、g通道和b通道上进行迭代。

技术总结
本发明公开了一种使用曲线迭代估计进行水下实时图像增强的方法，涉及水下图像增强技术领域，该方法包括如下步骤：使用迭代曲线来模拟原始图像与增强后图像之间的映射关系，并获取迭代曲线的曲线参数；通过训练好的曲线参数估计网络对迭代曲线的曲线参数进行估计；在原始图像上分颜色通道迭代应用所估计的曲线参数，得到最终的水下增强图像；该方法可以减小模型参数量级，在提升增强效果的同时降低运行时间，实现实时增强。

技术研发人员：叶秀芬,汪珺婷,梅新奎,陈云赛,刘文智,李海波
受保护的技术使用者：哈尔滨工程大学
技术研发日：
技术公布日：2024/1/15