一种多尺度损失函数用于低照度图像的对比度提升方法与流程

本发明属于低照度图像增强，特别涉及一种多尺度损失函数用于低照度图像的对比度提升方法。

背景技术：

1、由于大量摄像设备在光照不足或遮挡等条件下，抓拍到的图像往往是比较暗的，尤其在晚上拍摄到的图像，基本上，看不见目标物体，这种图像不利于人脸识别或检测等任务。目前低照度增强方法主要基于多尺度融合的深度学习方法，即通过多层卷积和下采样、上采样操作进行提取不同尺度的特征图进行相加或级联，最后网络输出与真实标签计算损失用于迭代更新网络。

2、在目前的使用深度学习方法处理低照度增强问题中，大部分深度学习算法单独的使用s结构相似性(ssim)、感知损失(perceptual losses)、多尺度结构相似性(ms-ssim)等损失函数，极少数会将这些损失函数结合起来进行改造用于新的任务，大部分算法均将结构相似性损失直接应用在三通道图像，而没有将结构性损失分别应用于三个通道上，这样会导致某个通道上的灰度图对比度等影响整个图像对比度、亮度等问题。

3、此外，现有技术中的常用术语如下：

4、ssim：英文全称为structural similarity，中文为结构相似性，表示衡量两图像相似度的指标，用以计算对比度、亮度和结构相似性。

5、ms-ssim：是一种多尺度的结构相似性，用于度量两张图像的相似性。这个指标表示基于多尺度的ssim，使用低通滤波器进行下采样，然后再进行计算对比度、亮度和结构相似性。

6、感知损失：英文名为perceptual losses，用于计算网络生成图像与目标图像在语义上相似性。

7、绝对值损失：表示两张图像中的像素值逐一相减，然后取绝对值。

技术实现思路

1、为了解决上述问题，本申请的目的在于：单独将ssim或ms-ssim应用在三通道图像上计算损失会导致整体图像对比度偏低等问题。

2、具体地，本发明提供一种多尺度损失函数用于低照度图像的对比度提升方法，所述方法将结构损失ssim函数和多尺度结构损失ms-ssim函数分别应用在rgb三个单独的通道上指导网络迭代，从而提高亮度或对比度；并对目标图像和网路输出图像做绝对值损失，通过像素差异性指导网络避免学习离群点或异常点；通过与其他损失结合提升图像的亮度和对比度，所述其他损失指的是绝对值损失、感知损失和多尺度结构损失，这些损失通过一定比例进行结合。

3、所述方法进一步包括以下步骤：

4、s1，输入真实标签图像、网络输出图像；

5、s2，拆分真实图像通道；

6、s3，分别计算ssimtotalloss、计算msssimtotalloss、计算绝对值损失lloss、计算感知损失ploss；

7、s4，根据步骤s3的结果，计算总损失。

8、所述步骤s2进一步包括：

9、s2.1，通过将rgb彩色图像src按通道进行拆分，如式(1)，该rgb图像是输入的低照度图像和真实的图像标签：

10、r，g，b＝split(src)           (1)。s2.2，将结构相似性ssim分别应用在三个拆分后的r、g、b通道上，假设神经网络输出结果为out，三个通道分别为r’、g’、b’。

11、所述步骤s3进一步包括：

12、根据s2的结果，分别进行计算损失：

13、s3.a，所述三个通道的结构损失为式(2)所示：

14、

15、ssimtotalloss＝ssim(r′，r)+ssim(g′，g)+ssim(b′，b)            (3)

16、其中，μsrc，μout，σsyc，σout分别为原始图像和网络输出图像out的均值和方差，防止分母为0；

17、s3.b,计算多尺度结构相似性ms-ssim在三个通道上的结构损失，如式(4)、(5)所示：

18、

19、msssimtotalloss＝msssim(r′，r)+msssim(g′，g)+msssim(b′，b           )(5)

20、其中lm、cj、sj、m分别表示图像的亮度、对比度、结构函数，其中，l(src,out)表示的是衡量两个图像亮度的差异，公式如：c(src,out)表示的是衡量两张图像的对比度差异，公式如s(src,out)衡量两张图像在结构上的差异，m表示总共有m个对比度、结构和亮度的乘积；sj表示图像的结构信息，该结构具体指的是图像形状、梯度等信息；α、β、γ为指数系数，α、β、γ的数据范围为[0,1]；输入数据src和输出数据out的数据范围为[0，1]；

21、s3.c：计算两图像的绝对值损失lloss如式(6):

22、lloss＝|src-out|               (6)

23、输入数据src和输出数据out的数据范围为[0，1]；

24、s3.d：计算两图像的感知损失，(7)所示：

25、ploss＝|vgg(src)-vgg(out)|                 (7)

26、其中，vgg为在imagenet数据集上预训练的vgg16网络，该损失能够减少细节损失；vgg()函数输出的数值范围为[0,1]；

27、所述步骤s4进一步包括：

28、总的计算损失如式(8)，如式(8)：

29、loss＝α*ploss+ssimtotalloss+lloss+msssimtotalloss          (8)

30、其中α表示权重系数。

31、所述s3.a中，μsrc，μout，σsrc，σout的数据范围均为[0,1]；c1,c2,c3,c4分别为接近零的常数，设为e-5；

32、所述s4中，权重系数α为1/3。

33、由此，本申请的优势在于：

34、(1)在低照度图像增强过程中，由于一些摄像机采集的图像对比度、饱和度等受到硬件或环境的影响偏低。使用逐通道计算结构损失方法可以提高网络训练的鲁棒性，可以提高测试图像的对比度。

35、(2)多尺度结构损失、单尺度结构损失以及其他损失函数结合可以有效地提高暗图像亮度和对比度，减少图像的细节损失。

技术特征：

1.一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述方法将结构损失ssim函数和多尺度结构损失ms-ssim函数分别应用在rgb三个单独的通道上指导网络迭代，从而提高亮度或对比度；并对目标图像和网路输出图像做绝对值损失，通过像素差异性指导网络避免学习离群点或异常点；通过与其他损失结合提升图像的亮度和对比度，所述其他损失指的是绝对值损失、感知损失和多尺度结构损失，这些损失通过一定比例进行结合。

2.根据权利要求1所述的一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述方法进一步包括以下步骤：

3.根据权利要求2所述的一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述步骤s2进一步包括：

4.根据权利要求2所述的一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述步骤s3进一步包括：

5.根据权利要求2所述的一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述步骤s4进一步包括：

6.根据权利要求5所述的一种多尺度损失函数用于低照度图像的对比度提升方法，其特征在于，所述s3.a中，μsrc，μout，σsrc，σout的数据范围均为[0,1]；c1,c2,c3,c4分别为接近零的常数，设为e-5；所述s4中，权重系数α为1/3。

技术总结
本发明提供一种多尺度损失函数用于低照度图像的对比度提升方法，所述方法将结构损失SSIM函数和多尺度结构损失MS‑SSIM函数分别应用在RGB三个单独的通道上指导网络迭代，从而提高亮度或对比度；并对目标图像和网路输出图像做绝对值损失，通过像素差异性指导网络避免学习离群点或异常点；通过与其他损失结合提升图像的亮度和对比度。在低照度图像增强过程中，由于一些摄像机采集的图像对比度、饱和度等受到硬件或环境的影响偏低。使用逐通道计算结构损失方法可以提高网络训练的鲁棒性，可以提高测试图像的对比度。多尺度结构损失、单尺度结构损失以及其他损失函数结合可以有效地提高暗图像亮度和对比度，减少图像的细节损失。

技术研发人员：方敏
受保护的技术使用者：合肥君正科技有限公司
技术研发日：
技术公布日：2024/1/15