一种融合Res-ASPP-Unet网络的红外图像彩色化方法

本发明涉及一种融合res-aspp-unet网络的红外图像彩色化方法，属于图像处理。

背景技术：

1、在图像中添加颜色的过程通常称为图像彩色化。图像彩色化技术已经普遍应用于影视动漫、医学影像、遥感图像、红外夜视图像等领域。普通灰度图像彩色化与红外图像彩色化有很大相似性，灰度视觉图像的彩色化是一个模糊的问题，因为一个灰度强度值可以对应多个颜色值，在对灰度图像进行彩色化时，从输入图像中提取亮度，只需估计色度。相反，对红外图像彩色化时，不仅需要估计亮度还要估计色度，而在低照度环境下的红外图像由于光源主要来自于灯光等照明物，存在光照分布不均匀的特点，且不同光源的照射方向不同，使得图像的亮暗分布不均匀，所以红外图像彩色化的结果存在严重的细节模糊和场景过渡不自然问题，这些客观存在的问题加剧了实现红外图像彩色化的难度。

2、目前，传统的红外图像彩色化方法主要是多通道图像融合彩色化、颜色空间迁移彩色化和人工标注彩色化这三种，均具有局限性、计算复杂且需要人工标注和对应的参考图像才能对灰度图像上色；实时处理的彩色化方法虽然处理速度很快，但是着色效果并不自然，着色结果与大自然常见的颜色大相径庭；而基于深度学习的红外图像彩色化方法具有极强的泛化性，可以减少人工操作和干预，能自动学习两个域各自的特征信息，将大批红外图像投入神经网络中训练学习，提取图像特征，从而实现对红外图像的彩色化，改善图像的视觉效果，突出图片中的细节内容，有助于军事、国防、航天、航海、卫星监测等领域中目标及场景的识别任务。

3、但是，目前基于深度学习的红外图像彩色化算法大多利用生成式对抗网络(gan)架构模型来实现，都存在近红外与可见光图像间模态差异较大、图像域样式不佳而导致其彩色化结果出现色彩纹理不吻合、细节边缘模糊的问题。因此我们提出了一种融合res-aspp-unet网络的红外图像彩色化方法来解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种融合res-aspp-unet网络的红外图像彩色化方法，解决了上述背景技术中所提出的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种融合res-aspp-unet网络的红外图像彩色化方法，其包含如下步骤：

6、s1，准备数据集：对整个网络采用公开的白天和夜间两种情况的近红外数据集进行训练，即irvi和llvip场景数据集；

7、s2，构建网络模型：构建res-aspp-unet网络，并将该网络融合在包含两个生成器和鉴别器的循环生成对抗网络；

8、s3，训练网络模型：将s1中准备好的数据集输入到s2构建好的网络模型中进行训练；

9、s4，获得最小化损失函数值：通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数；

10、s5，微调模型：用近红外与可见光图像对模型进行训练和微调，得到稳定可靠的模型参数，进一步提高模型彩色化的能力；

11、s6，保存模型：将最终确定的模型参数进行固化，保存模型。

12、进一步地所述s2中构建的res-aspp-unet网络整体结构使用unet网络，其下采样模块由卷积块一至卷积块五和深度瓶颈层块组成，用于从输入的近红外图像中提取特征，其中，每个卷积块将特征图减小到一半，深度瓶颈层块提取并保留每个卷积块后的信息；深度瓶颈层块由残差块和注意力模块cbam组成，反向传播时梯度消失；上采样模块由反卷积块一至反卷积块六和输出块组成，用于图像重建，其中，反卷积块对编码器的信息进行解码进而重构输出图像，输出块输出重建的彩色图像；skip connection结构融入aspp模块和注意力模块cbam,用于将下采样模块的各尺度特征细节直接映射到上采样模块；将构建好的res-aspp-unet网络融合在循环生成对抗网络(cyclegan)生成器中，鉴别器均由五个卷积层和一个注意力模块cbam组成，输出真假概率信息判断输入图像是否真实。

13、进一步地所述s4中在训练过程中损失函数选择使用对抗损失、循环一致性损失和感知损失的复合损失函数。使得在白天和夜间两种情况下彩色化后的图像色度和亮度方面都接近真实的可见光图像，并进行了有效的内容转换和风格保存。

14、(三)有益效果

15、与现有技术相比，本发明提供了一种融合res-aspp-unet网络的红外图像彩色化方法，具备以下有益效果：

16、1、生成器整体框架使用res-aspp-unet网络，以残差的形式将空洞空间金字塔池化(aspp)在原始unet编解码处连接，使解码分支即上采样分支中的不同尺度输出特征图都能与编码器中对应的输出特征图相结合，融合低高级特征能加强层级联系并获得更多的语义信息，更好地保留近红外图像色彩纹理等细节信息的恢复。

17、2、使用残差块和注意力模块来替换res-aspp-unet网络中的瓶颈层即u型最低端构成深度瓶颈层块，进而使网络训练更容易，解决反向传播时梯度消失的问题。

18、3、使用复合损失函数有助于学习图像更精细的颜色与纹理信息，使得生成的图像颜色更自然，解决在色彩恢复方面发生失真的现象。

19、4、在鉴别器中融入注意力机制用于增强局部区域特征，提高其识别能力。

20、5、使用循环生成对抗网络的网络架构，使得网络训练对数据集要求低，无需任何预训练操作，相互独立且具有互补性。

技术特征：

1.一种融合res-aspp-unet网络的红外图像彩色化方法，其特征在于：该方法包含如下步骤：

2.根据权利要求1所述的一种融合res-aspp-unet网络的红外图像彩色化方法，其特征在于：所述s2中构建的res-aspp-unet网络整体结构使用unet网络，其下采样模块由卷积块一至卷积块五和深度瓶颈层块组成，用于从输入的近红外图像中提取特征，其中，每个卷积块将特征图减小到一半，深度瓶颈层块提取并保留每个卷积块后的信息；深度瓶颈层块由残差块和注意力模块cbam组成，反向传播时梯度消失；上采样模块由反卷积块一至反卷积块六和输出块组成，用于图像重建，其中，反卷积块对编码器的信息进行解码进而重构输出图像，输出块输出重建的彩色图像；skip connection结构融入aspp模块和注意力模块cbam,用于将下采样模块的各尺度特征细节直接映射到上采样模块；将构建好的res-aspp-unet网络融合在循环生成对抗网络(cyclegan)生成器中，鉴别器均由五个卷积层和一个注意力模块cbam组成，输出真假概率信息判断输入图像是否真实。

3.根据权利要求1所述的一种融合res-aspp-unet网络的红外图像彩色化方法，其特征在于：所述s4中在训练过程中损失函数选择使用对抗损失、循环一致性损失和感知损失的复合损失函数。使得在白天和夜间两种情况下彩色化后的图像色度和亮度方面都接近真实的可见光图像，并进行了有效的内容转换和风格保存。

技术总结
本发明属于图像处理技术领域，尤其为一种融合Res‑ASPP‑Unet网络的红外图像彩色化方法。本发明为解决现彩色化过程中出现的颜色泄露、语义不清淅、边缘细节模糊等问题。具体步骤为：准备数据集：对整个网络采用公开的白天和夜间两种情况的近红外数据集进行训练；构建网络模型：构建Res‑ASPP‑Unet网络，并将该网络融合在包含两个生成器和鉴别器的循环生成对抗网络；训练网络模型：将准备好的数据集输入到构建好的网络模型中训练；获得最小化损失函数值；微调模型；保存模型。本发明采用端到端的无监督方法，整体使用循环生成对抗网络的网络架构，通过对其生成器和判别器进行改进，融合Res‑ASPP‑Unet网络并优化其损失函数从而实现基于深度学习的红外图像彩色化。

技术研发人员：朴燕,康继元
受保护的技术使用者：长春理工大学
技术研发日：
技术公布日：2024/2/21