基于高阶图像信息交互的图像区域亮度调节方法

本发明属于图像处理，具体涉及一种基于高阶图像信息交互的图像区域亮度调节方法。

背景技术：

1、图像区域亮度调节是指对由于曝光原因造成图像存在过曝光或区域进行亮度与画质增强，使用户的视觉观感更好或有利用高级视觉任务。图像区域亮度调节在安防、视觉导航、医疗影像等领域具有重要的应用价值。在非正常光照情况下，进行图像区域亮度调节是图像识别的关键技术。

2、当在拍摄过程中场景存在强光时，受采集设备可捕获动态范围小的限制，导致生成图像某区域像素值达到饱和，变成失真的亮斑，当拍摄过程中因为一些遮挡导致光照不足，受低动态图像的量化范围限制，无法准确还原弱光区域的场景信息，这些图像在人眼感知后会存在高光和黑暗区域，丢失真实场景中的部分纹理、颜色和边界信息，使得拍摄的图像有时会存在过暗或过亮区域，无法还原真实场景。这类图像存在过曝光或欠曝光区域的图像信息少，用户的视觉观感差。前者会导致后续的高级视觉任务获取的有用信息变少，而后者会使用户的视觉观感变差。

3、近年来，国内外广大研究人员在图像亮度调节研究领域取得了一定成果。可将已有的图像亮度调节方法分为两类：一类是将非正常光照图像与正常图像进行融合。这类方法通常使用多帧高动态范围图像重构方法，如基于辐射域融合法、基于图像融合法等，通过融合不同曝光值的图像的动态范围，实现图像动态范围的提高。另一类是直接对非正常光照图像进行增强。这类方法通常使用特定的深度神经结构，如unet网络结构、生成对抗网络结构等，直接对非正常光照图像进行学习和优化，以达到图像亮度调节的目的。

4、但是，利用连续同一场景不同曝光图像的获取融合的图片需要大量图像数据，整体图像推理时间过长，处理速度慢，无法处理大面积位移和饱和区域过大的情况，无法满足用户需求，用户体验不佳。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于高阶图像信息交互的图像区域亮度调节方法，本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于高阶图像信息交互的图像区域亮度调节方法，包括：

3、对获取到的目标非正常光照rgb图像进行色彩空间转换，得到目标ycbcr图像；

4、对目标ycbcr图像的y通道进行亮度调节处理，得到处理后的y通道；

5、对处理后的y通道进行去噪处理，得到目标y通道；

6、对目标ycbcr图像的cb通道和cr通道进行色彩恢复处理，得到目标cb通道和目标cr通道；

7、将目标y通道、目标cb和目标cr通道合并转化为目标rgb图像，目标rgb图像为光照正常的图像。

8、可选的，还包括：

9、对获取到的多个非正常光照rgb图像分别进行色彩空间转换，得到多个非正常光照ycbcr图像；

10、将各非正常光照ycbcr图像的y通道，输入第一初始网络进行训练，得到亮度调节网络，亮度调节网络用于对非正常光照ycbcr图像对应的y通道进行亮度调节处理；

11、将亮度调节网络输出的经亮度调节处理后的各非正常光照ycbcr图像的y通道，输入第二初始模型进行训练，得到噪声去除网络，噪声去除网络用于对经亮度调节网络处理后的y通道进行去噪处理；

12、将各非正常光照ycbcr图像的cb通道和cr通道，输入第三初始模型进行训练，得到色彩恢复网络，色彩恢复网络用于对非正常光照ycbcr图像对应的cb通道和cr通道进行色彩恢复处理。

13、可选的，将各非正常光照ycbcr图像的y通道，输入第一初始网络进行训练，得到亮度调节网络，包括：

14、s31，将各非正常光照ycbcr图像的y通道，输入第一初始网络，得到各非正常光照ycbcr图像的y通道对应的单像素高阶图像曲线参数a(x)；

15、s32，根据各单像素高阶图像曲线参数a(x)，对相应y通道进行调节，得到亮度调节后的y通道，表示为：

16、

17、其中，x表示像素点，表示输入图像后的输出结果，n为0时，表示输入的非正常光照图像，an(x)代表单像素高阶图像曲线，a(x)∈[-1,1]，n代表迭代次数；

18、s33，根据预设的亮度调节网络的损失函数对亮度调节后的y通道进行损失计算，并根据计算结果反向更新第一初始网络的参数，以对第一初始网络进行迭代训练，得到亮度调节网络，亮度调节网络的损失函数表示为：

19、

20、其中，lia表示亮度调节网络的损失函数，yia(x)表示亮度调节后的y通道，表示亮度调节后的y通道的一阶导数，x表示像素点，ynormal表示非正常光照图像包含图像y通道的信息分量，表示正常光照图像包含图像y通道的信息分量的一阶导数，ssim()表示结构一致性损失，||||2代表l2范数；

21、亮度调节网络表示为：

22、yia(x)＝ia(yabnormal(x))

23、其中，yia(x)表示亮度调节网络输入图像yabnormal(x)后的增强结果，ia()表示亮度调节网络，yabnormal(x)表示输入的非正常光照图像。

24、可选的，将各非正常光照ycbcr图像的cb通道和cr通道，输入第三初始模型进行训练，得到色彩恢复网络，包括：

25、s41，将各非正常光照ycbcr图像的cb通道和cr通道和获取到的正常光照图像的cb通道和cr通道，输入第三初始模型，并将正常光照图像的cb通道和cr通道作为参考值，对各非正常光照ycbcr图像的cb通道和cr通道进行色彩恢复处理，得到色彩恢复后的cb通道和cr通道，表示为：

26、cbco,crco＝con(cbabnormal,cbnormal,crabnormal,crnormal)

27、其中，cbco,crco代表经过色彩恢复网络进行色彩恢复后的cb通道和cr通道，co()代表色彩恢复网络，cbabnormal代表非正常光照图像的cb通道，cbnormal代表正常光照图像的cb通道，crabnormal代表非正常光照图像的cr通道，crnormal代表正常光照图像的cr通道，n代表迭代次数；

28、s42，根据预设的色彩恢复网络的损失函数对色彩恢复后的cb通道和cr通道进行损失计算，并根据计算结果反向更新第三初始网络的参数，以对第三初始网络进行迭代训练，得到色彩恢复网络，色彩恢复网络的损失函数表示为：

29、

30、其中，||||2代表l2范数，lco表示色彩恢复网络的损失函数，cbabnormal代表非正常光照图像的cb通道，cbnormal代表正常光照图像的cb通道，crabnormal代表非正常光照图像的cr通道，crnormal代表正常光照图像的cr通道，co表示色彩恢复网络。

31、可选的，将亮度调节网络输出的经亮度调节处理后的各非正常光照ycbcr图像的y通道，输入第二初始模型进行训练，得到噪声去除网络，包括：

32、s51，对获取到的正常光照图像的y通道进行加噪处理，得到加噪后的正常光照图像的y通道，表示为：

33、

34、其中，表示加噪后的正常光照图像的y通道，n为0时，表示正常光照图像的y通道，an＝1-bn表示权重项，z表示噪声，服从高斯分布，b随着n增大而增大，n表示迭代次数；

35、s52，根据加噪后的正常光照图像的y通道进行噪声模拟，以使第二初始模型进行噪声学习，得到噪声模型，表示为：

36、

37、其中，z表示噪声，服从高斯分布，zθ()表示模拟噪声，表示加噪后的正常光照图像的y通道，n表示迭代次数，表示zθ的输入项，||||2表示l2范数，ε表示最终的噪声模型；

38、s53，各非正常光照图像的y通道经过亮度调节网络之后进入第二初始模型，以使第二初始模型利用学习到的噪声模型进行逆向去噪，得到去噪后的y通道，表示为：

39、

40、其中，表示非正常光照图像的y通道，n为0时，表示最终去噪后的y通道，记为yno(x)，an＝1-bn表示权重项，z表示噪声，服从高斯分布，b随着n增大而增大，n表示迭代次数，yno(x)表示经过噪声去除网络去噪后的y通道，表示输入项为的噪声模型，z表示噪声，服从高斯分布，σ表示z的标准差，n为0时，z为0，n表示迭代次数；

41、s54，根据预设的噪声去除网络的损失函数，对去噪后的y通道进行损失计算，并根据计算结果，反向更新第二初始网络的参数，以对第二初始网络进行迭代训练，得到噪声去除网络，噪声去除网络的损失函数表示为：

42、

43、其中，yno(x)表示去噪后的y通道，x表示像素点，ynormal表示正常光照图像包含图像y通道的信息分量,ssim()表示结构一致性损失,||||2表示l2范数，

44、噪声去除网络表示为：

45、yno(x)＝no(yia(x))

46、其中，yno(x)表示噪声去除网络输入图像yia(x)后的输出结果，no()表示噪声去除网络，yia(x)表示输入的经过亮度调节的图像。

47、可选的，亮度调节网络为包括对称跳跃连接的7个卷积层的卷积神经网络cnn。

48、可选的，色彩恢复网络为包括四个下采样层和四个上采样层的unet网络。

49、可选的，噪声去除网络为具有四个下采样层和四个上采样层的unet网络。

50、第二方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

51、存储器，用于存放计算机程序；

52、处理器，用于执行存储器上所存放的程序时，实现第一方面及其可选方式所提供的任一方法步骤。

53、第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面及其可选方式所提供的任一方法步骤。

54、本发明的有益效果：

55、本发明提供的基于高阶图像信息交互的图像区域亮度调节方法，通过对获取到的目标非正常光照rgb图像进行色彩空间转换，得到目标ycbcr图像，实现图像亮度和色彩信息分离；进一步，通过对目标ycbcr图像的y通道进行亮度调节处理，得到处理后的y通道；对处理后的y通道进行去噪处理，得到目标y通道；对目标ycbcr图像的cb通道和cr通道进行色彩恢复处理，得到目标cb通道和目标cr通道；将目标y通道、目标cb和目标cr通道合并转化为目标rgb图像，将非正常光照rgb图像通过色彩空间转换，转化为ycbcr图像实现图像亮度、纹理和色彩图像分离，减少了图像信息之间的纠缠，通过对包括亮度和纹理信息的ycbcr图像的y通道进行亮度调节和去噪处理，对包括图像色彩信息的ycbcr图像的cb通道和cr通道进行色彩恢复处理，实现了对图像信息的分类分步多任务处理，从而解决了非正常光照条件下图像过曝光/欠曝光、背景噪声过大、颜色失真的问题，平衡了图像的亮度，提高了图像的信噪比，还原了图像的色彩，实现高速、高效优化图像，显著提高用户体验。

56、以下将结合附图及实施例对本发明做进一步详细说明。