夜景图像增强方法、装置和存储介质与流程

本发明涉及图像处理，尤其涉及一种夜景图像增强方法、装置和存储介质。

背景技术：

1、在生产环境中，视频图像是生产与安全的必须监控要素。然而受低光照或背光环境影响，尤其是在光线不足的情况下，拍摄到的视频图像经常会产生欠曝光的现象，导致图像可辨析度下降。

2、为此，相关技术中提出夜景图像增强算法，包括：1)直方图均衡化(histogramequalization)方法，该方法只是简单地利用了图像整体的统计性质，通常不能对复杂场景达到理想效果；2)基于深度学习理论的增强算法，该方法通常只能用单通道进行光照优化，颜色无法很好地恢复，在光照复杂的情况下还容易出现过曝的现象，且需要特定的推理平台，前期训练工作任务比较大。另外，上述方法还容易在增加图像亮度的同时，放大噪声，影响图像质量。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种夜景图像增强方法、装置和存储介质，该夜景图像增强方法结合限制对比度自适应直方图均衡化clahe算法和zero-dce图像增强深度学习网络，在增强图像清晰度和对比度的同时还可抑制噪声，且适用于复杂场景，本发明还将两者集成到嵌入式平台，使嵌入式平台具有学习进化和智能增长功能。

2、为达到上述目的，本发明第一方面实施例提出一种夜景图像增强方法，所述方法包括：获取待增强夜景图像；通过限制对比度自适应直方图均衡化clahe算法对所述待增强夜景图像进行图像增强处理，得到第一图像；通过zero-dce图像增强网络对所述第一图像进行图像增强处理，得到目标图像。

3、另外，根据本发明上述实施例提出的夜景图像增强方法还可以具有如下附加的技术特征：

4、根据本发明的一个实施例，所述方法还包括：建立夜景图像增强数据库；将基于pytorch框架的zero-dce图像增强网络的.pth格式文件转换为基于caffe框架的prototxt文件和.caffemodel格式文件；搭建caffe框架，并将所述prototxt文件和.caffemodel格式文件导入所述caffe框架，得到基于caffe框架的zero-dce图像增强网络；使用所述数据库训练所述基于caffe框架的zero-dce图像增强网络，并将训练好的基于caffe框架的zero-dce图像增强网络移植至嵌入式平台上；其中，利用所述嵌入式平台上的训练好的基于caffe框架的zero-dce图像增强网络对所述第一图像进行图像增强处理。

5、根据本发明的一个实施例，所述方法还包括：利用opencv库中函数创建clahe算法，并将创建的clahe算法移植至所述嵌入式平台上；其中，利用所述嵌入式平台上的clahe算法对所述待增强夜景图像进行图像增强处理。

6、根据本发明的一个实施例，所述.pth格式文件包括存成词典的pytorch参数名称和权重，所述将基于pytorch框架的zero-dce图像增强网络的.pth格式文件转换为基于caffe框架的prototxt文件和.caffemodel格式文件，包括：建立caffe框架到pytorch框架的参数名称映射，并将所述参数名称映射存在字典或者txt里，得到所述prototxt文件；基于所述参数名称映射，将.pth格式文件中的权重赋予对应的caffe参数，得到所述.caffemodel格式文件。

7、根据本发明的一个实施例，通过pytorch2caffe工具将基于pytorch框架的zero-dce图像增强网络的.pth格式文件转换为基于caffe框架的prototxt文件和.caffemodel格式文件。

8、根据本发明的一个实施例，所述将所述prototxt文件和.caffemodel格式文件导入所述caffe框架之后，还测试所述prototxt文件和.caffemodel格式文件在所述caffe框架是否正常运行，若是则得到所述基于caffe框架的zero-dce图像增强网络。

9、根据本发明的一个实施例，所述通过zero-dce图像增强网络对所述第一图像进行图像增强处理，得到目标图像，包括：将所述第一图像输入至所述zero-dce图像增强网络，输出一组光增强曲线的参数；将所述光增强曲线的参数应用于所述第一图像的rgb通道的所有像素，得到所述目标图像。

10、根据本发明的一个实施例，所述光增强曲线通过下式表示：

11、le(x)＝len-1(x)+an(x)len-1(x)(1-len-1(x))

12、其中，an(x)表示所述第一图像中每个像素值对应的α组成的矩阵，α∈[-1,1]，是所述光增强曲线的可训练参数，用于调整所述光增强曲线的级数以及曝光度，x为所述第一图像的像素坐标，len(x)是所述第一图像第n-1次迭代的增强图像。

13、根据本发明的一个实施例，所述zero-dce图像增强网络由7个具有对称结构的卷积层组成，前6层的卷积核为3x3x32，步长为1，后接relu激活函数，最后一层卷积通道为24，用于8个迭代轮次的参数矩阵，后接tanh激活函数。

14、本发明实施例的夜景图像增强方法，首先获取待增强夜景图像，先对待增强夜景图像进行限制对比度自适应直方图均衡化clahe算法处理后，再对其运用zero-dce图像增强网络进行深度学习处理，得到目标图像，本发明的夜景图像增强方法结合限制对比度自适应直方图均衡化clahe算法和zero-dce图像增强深度学习网络，在增强图像清晰度和对比度的同时还可抑制噪声，且适用于复杂场景，本发明还将两者集成到嵌入式平台，使嵌入式平台具有学习进化和智能增长功能。

15、为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的夜景图像增强方法。

16、为达到上述目的，本发明第三方面实施例提出了一种夜景图像增强装置，所述装置包括：获取模块，用于获取待增强夜景图像；第一处理模块，用于通过限制对比度自适应直方图均衡化clahe算法对所述待增强夜景图像进行图像增强处理，得到第一图像；第二处理模块，用于通过zero-dce图像增强网络对所述第一图像进行图像增强处理，得到目标图像。

17、根据本发明的一个实施例，所述装置还包括：建立模块，用于建立夜景图像增强数据库；转换模块，用于将基于pytorch框架的zero-dce图像增强网络的.pth格式文件转换为基于caffe框架的prototxt文件和.caffemodel格式文件；搭建模块，用于搭建caffe框架；导入模块，用于将所述prototxt文件和.caffemodel格式文件导入所述caffe框架，得到基于caffe框架的zero-dce图像增强网络；训练模块，用于使用所述数据库训练所述基于caffe框架的zero-dce图像增强网络；第一移植模块，用于将训练好的基于caffe框架的zero-dce图像增强网络移植至嵌入式平台上；其中，所述第二处理模块具体用于利用所述嵌入式平台上的训练好的基于caffe框架的zero-dce图像增强网络对所述第一图像进行图像增强处理。

18、根据本发明的一个实施例，所述装置还包括：创建模块，用于利用opencv库中函数创建clahe算法；第二移植模块，用于将创建的clahe算法移植至所述嵌入式平台上；其中，所述第一处理模块具体用于利用所述嵌入式平台上的clahe算法对所述待增强夜景图像进行图像增强处理。

19、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。