一种基于对比学习的未配对红外图像彩色化方法

本发明涉及图像处理，具体为一种基于对比学习的未配对红外图像彩色化方法。

背景技术：

1、红外图像彩色化是将原始的单通道红外图像转换为自然清晰、颜色细节丰富的彩色图像，便于场景识别，这对后续的红外图像处理提供了有力的支撑。现在已经被广泛应用于各个领域，例如安防、自动驾驶和电力巡检等。同时红外图像彩色化是一个高度不适定的问题，红外图像中每个像素的灰度值表示温度的高低，而不是颜色信息。因此，红外图像彩色化需要同时预测色度信息和亮度信息，这使得彩色化算法的设计十分困难。红外图像彩色化是一种图像到图像转换任务，图像到图像转换模型需要学习从源域到目标域的最佳映射。现有的大多数彩色化网络选择unet框架作为主干，但是在unet中，连续的下采样操作(如池化或者步长卷积)降低了图像的初始分辨率，丢失了图像的空间细节，导致图像彩色化结果模糊。同时unet的感受野有限，无法有效地感知图像中的多尺度对象。此外，大多数基于深度学习的彩色化方法在训练阶段依赖于大量成对或标记的图像。然而，收集成对的数据集是十分困难的。这些客观问题加剧了红外图像彩色化的难度。因此，探索一种非配对红外图像彩色化方法具有重要意义。

2、中国专利公开号为“cn112365559b”，名称为“一种基于结构相似度的生成对抗网络的红外图像着色方法”，首先构造一个基于结构相似度的生成对抗网络，包括生成器和鉴别器；然后对生成器采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数、基于结构相似度的损失函数，使生成器能够生成色彩逼真且边缘清晰的彩色图像；最后利用预先采集的红外图像和彩色图像将所提出的基于结构相似度的生成对抗网络训练到收敛条件，所获得的生成器即可实现对红外图像的着色。该方法通过循环一致性损失实现图像彩色化，由于是双向转换，导致计算复杂度和存储容量占用率都居高不下，并且会产生伪影和图像失真。因此，如何在未配对数据集条件下有效地实现高质量的彩色化结果和低计算复杂度是本领域技术人员亟需解决的问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于对比学习的未配对红外图像彩色化方法，解决了现有的红外图像彩色化方法得到的彩色化图像质量差和计算复杂度高的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于对比学习的未配对红外图像彩色化方法，该方法具体包括如下步骤：

6、s1，构建网络模型：整个生成对抗网络包括生成器和鉴别器；

7、s2，准备数据集：对整个生成对抗网络先用红外图像数据集一进行训练；

8、s3，训练网络模型：训练红外图像彩色化模型，将步骤2中准备好的数据集进行预处理，调整数据集中每个图像的尺寸，固定输入图像的大小，将处理好的数据集输入到步骤1中构建好的网络模型中进行训练；

9、s4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；

10、s5，微调模型：用红外图像数据集二对模型进行训练和微调，得到稳定可用的模型参数，进一步提高模型的红外图像彩色化能力；最终使得模型对红外图像彩色化的效果更好；

11、s6，保存模型；将网络训练完成后，需要将网络中所有参数保存，之后用将要彩色化的红外图像输入到网络中就可以得到彩色化好的图像；该网络对输入图像大小没有要求，任意尺寸均可。

12、进一步地，生成器包括卷积层、多尺度特征提取模块、下采样模块、扩张增强模块、区域感知注意力模块、上采样模块、残差模块、t型函数、拼接操作和加操作；

13、所述卷积层，用于丰富图像的通道信息，缓解伪影和棋盘效应；

14、所述多尺度特征提取模块，用于对图像提取多尺度的特征信息，通过扩大网络的感受野实现更全面的特征提取；

15、所述下采样模块，用于减小特征图的大小，更好地提取局部信息；

16、所述扩张增强模块，用于继续扩大感受野，融合多尺度信息；

17、所述区域感知注意力模块，用于使网络能够获得更多的全局和局部信息并且自适应地提取到图像语义区域的特征；

18、所述上采样模块和拼接操作，用于对特征图进行跨通道的融合，逐步恢复特征图大小，减轻棋盘效应；

19、所述残差模块可以继续细化特征；

20、所述加操作，用于可以对图像进行特征复用，重建高质量的红外彩色化图像；

21、所述t型函数，用于可以防止图像像素值溢出。

22、进一步地，鉴别器由多个卷积块和s型函数组成；使用l型函数替换r型函数，可以防止网络饱和，并且可以使网络更容易优化，提高泛化性能。

23、进一步地，第一红外图像数据集为kaist数据集，将kaist数据集打乱，构造出未配对的kaist数据集，通过对数据集中图像进行无监督的训练。

24、进一步地，在训练网络模型中预设阈值包括损失函数预设值、训练次数预设值。

25、进一步地，损失函数为复合损失函数，生成器采用的损失函数包括对抗损失、对比损失和感知损失；鉴别器采用对抗损失。

26、进一步地，在训练网络模型过程中还包括通过评价指标评估算法彩色化结果的质量、图像相似程度和图像失真程度。

27、进一步地，第二红外图像数据集为flir数据集。

28、一种基于对比学习的未配对红外图像彩色化系统，所述系统包括：

29、图像获取模块，用于获取待彩色化图像；

30、图像处理模块，用于对待彩色化图像进行预处理，并分为训练集和测试集；

31、模型训练模块，用于将处理好的待彩色化训练集图像输入到设计好的网络中进行训练，利用训练好的网络对待彩色化测试集图像的每个像素值进行预测，最终生成彩色化图像；

32、质量评估模块，用于评估最终生成的彩色化图像质量是否满足预设质量要求；若满足预设质量要求，则将生成的彩色化图像作为最终的彩色化效果；若不满足预设质量要求，则启动质量提升模块；

33、质量提升模块，用于重新获取数据集，并利用新的数据集继续训练模型，利用重新训练后的网络重新生成待彩色化图像对应的彩色化图像，然后返回质量评估模块。

34、(三)有益效果

35、与现有技术相比，本发明提供了一种基于对比学习的未配对红外图像彩色化方法，具备以下有益效果：

36、本发明是基于生成对抗网络和对比学习的红外图像彩色化方法，构建了新颖的高效且有效的生成器并嵌入到对比学习框架中，帮助并引导模型更好地恢复图像的颜色和结构特征，降低了计算复杂度，提高了彩色化能力,促使模型生成的彩色化图像更加真实。

37、本发明在多尺度特征提取模块中采用了深度卷积和空洞卷积，可以降低参数量并且扩大模型的感受野实现更全面的特征提取，加强了网络提取能力，并且设计了多尺度分支来帮助网络提取多尺度的特征信息。

38、本发明提出的区域感知注意力模块使网络能够获得更多的全局和局部信息并且自适应地提取到图像语义区域的特征，进一步提高彩色化图像的质量。

39、本发明在扩张增强模块使用深度卷积、空洞卷积和残差连接，可以扩大感受野，融合多尺度信息，增强了网络识别能力。

40、本发明提出了一种由对抗损失、对比损失和感知损失组成的复合损失函数，它可以提高彩色化图像的质量，生成精细的局部细节，恢复语义和纹理信息。