一种红外图像去噪方法及存储介质与流程

本发明涉及红外图像去噪，具体涉及一种红外图像去噪方法及存储介质，尤其是一种无监督学习的空间交互和边缘增强的红外图像去噪方法。

背景技术：

1、红外图像在现代科技和应用领域中扮演着重要的角色，它们是红外传感器输出的结果，这些传感器能够感知物体的温度差异，进而提供了一种帮助人类视觉系统对红外辐射敏感的检测手段。红外传感器的优势在于它们具备被动成像能力，可以全天候操作，因此在多个领域广泛应用，包括科学研究、军事探测、火灾监控、故障诊断、医学分析和遥感等领域。

2、在实际应用中，红外图像存在着复杂的噪声，例如热噪声和暗电流噪声，影响图像的观测和分析。因此，红外图像处理领域积极探索各种去噪方法。随着人工智能的发展，基于深度学习的方法逐渐广泛应用于红外图像去噪，但是绝大多数现有方法依赖于监督学习，需要大量标记的训练数据。然而，由于红外图像的特殊性质，很难获取到配对图像用于训练神经网络。因此，研究无监督学习的红外图像去噪算法一直是重点和难点。同时，现有方法去噪时往往伴随着模糊或减弱图像中的重要目标信息，这对于一些应用场景，如目标检测和识别，可能带来严重问题，需要研究在去噪的同时尽可能地保留目标信息。

技术实现思路

1、本发明的目的是克服上述现有技术存在的不足之处，提供一种无监督学习的空间交互和边缘增强的红外图像去噪方法。在噪声图像上继续添加高斯噪声作为训练输入，采用掩码操作引导网络推理缺失信息，使用空间交互编码器和边缘增强卷积，实现图像噪声去除的同时增强细节特征。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种无监督学习的空间交互和边缘增强的红外图像去噪方法，该方法基于深度学习神经网络构建以编码器-解码器结构为主体的红外图像去噪模型，其中编码器部分包含了五个三阶空间交互编码模块，并提出了边缘增强卷积eec，所述边缘增强卷积eec表示为：基于二阶微分边缘检测算子设计的边缘增强卷积层，其模板参数可随网络训练更新。

4、该方法具体包括如下步骤：

5、步骤(1)，获取红外噪声图像，利用式(1)在红外噪声图像上添加均值为零，标准差为σ的高斯噪声y形成叠加噪声图像，再将图像输入红外图像去噪模型，加强所述模型对去噪任务的理解和处理能力。

6、

7、步骤(3)，生成一个与所述红外噪声输入图像具有相同尺寸的二值掩码矩阵，其中掩码随机遮蔽了50％～70％的像素。掩码值的设计是动态的，随机在0和1之间取值，以确保网络在训练中包含不同难度级别的样本。将生成的掩码作用于步骤(1)所述叠加噪声图像。

8、步骤(3)，进行始特征提取。通过两个3×3卷积层和leaky relu激活函数，对步骤(2)所述掩码处理后的叠加噪声图像进行特征提取。这一步骤将叠加噪声图像映射为48通道的特征图

9、步骤(4)，将步骤(3)中得到的特征图送入编码器，所述编码器由五个三阶空间交互编码模块串联而成，每个模块结构一致，特征图依次通过五个三阶空间交互编码模块，分别得到特征图

10、进一步地，步骤(4)中所述三阶空间交互编码器包括基于边缘检测的边缘增强卷积(eec)，相较于直接在图像上进行边缘提取操作，边缘增强卷积能够在神经网络中隐式的学习深层特征中的突变信息，并且可以随着网络训练学习调整卷积核参数α。

11、进一步解释空间交互编码模块处理过程，对于单个三阶空间交互编码模块，包括：

12、步骤(4.1)，首先对特征图进行下采样处理，使用最大池化的方式将特征图尺寸减半。

13、步骤(4.2)，特征图经过1×1卷积层，将通道数映射到96通道。96通道特征图被拆分到原始特征支路和长距离关联特征支路。其中，长距离关联特征支路包含84通道特征图原始特征支路包含12通道的原始特征图

14、步骤(4.3)，针对所述长距离关联支路，首先采用7×7的深度卷积层来获得更大感受野的特征信息图，卷积过程中通道数维持84通道。而后为了提升计算效率将84通道按照1:2:4的比例设计进行分组，即三个分组分别为12通道特征图24通道特征图48通道特征图

15、步骤(4.4)，将步骤(4.2)所述原始特征支路的12通道特征图与步骤(4.3)分组后的12通道特征图进行逐像素相乘实现特征关联，再使用5×5的边缘增强卷积进行特征突出并映射为24通道特征图

16、步骤(4.5)，将步骤(4.4)得到的24通道特征图与步骤(4.3)分组后的24通道特征图进行逐像素相乘实现特征关联，再使用5×5的边缘增强卷积进行特征突出并映射为48通道特征图

17、步骤(4.6)，将步骤(4.5)得到的48通道特征图与(4.3)分组后的48通道特征图进行逐像素相乘实现特征关联，再使用5×5的边缘增强卷积进行特征突出并映射为48通道特征图

18、步骤(4.7)，完成步骤(4.1)到步骤(4.6)即可视为完成一次完整的三阶空间交互编码模块处理，本发明所述红外图像去噪模型的编码器部分共包含五个三阶空间交互编码模块，因此重复步骤(4.1)到步骤(4.6)五次，最终输出48通道特征图

19、步骤(5)，将步骤(4)最终通过编码器部分得到的特征图进行第二次掩码处理，以防止网络过拟合和梯度消失问题。

20、步骤(6)，将步骤(5)得到的掩码特征图送入解码器，所述解码器由五个上采样模块组成，使用零阶插值上采样方法。上采样后的特征图与步骤(4)中编码器得到的特征图与进行通道维度的拼接，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征进行解码与重建。

21、具体描述步骤(6)这一过程如下：

22、步骤(6.1)，掩码特征图进入解码器的第一个上采样模块并映射为48通道，将其与步骤(4.7)中编码器第四个三阶空间交互编码模块得到的进行通道维度的拼接，拼接结果为96(48+48)通道，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征图进行解码与重建得到特征图通道数维持不变。

23、步骤(6.2)，将步骤(6.1)得到的特征图进入解码器的第二个上采样模块，将其与步骤(4.7)中编码器第三个三阶空间交互编码模块得到的进行通道维度的拼接，拼接结果为144(96+48)通道，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征图进行解码与重建并映射为96通道特征图

24、步骤(6.3)，将步骤(6.2)得到的特征图进入解码器的第三个上采样模块，将其与步骤(4.7)中编码器第二个三阶空间交互编码模块得到的进行通道维度的拼接，拼接结果为144(96+48)通道，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征图进行解码与重建并映射为96通道特征图

25、步骤(6.4)，将步骤(6.3)得到的特征图进入解码器的第四个上采样模块，将其与步骤(4.7)中编码器第一个三阶空间交互编码模块得到的进行通道维度的拼接，拼接结果为144(96+48)通道，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征图进行解码与重建并映射为96通道特征图

26、步骤(6.5)，将步骤(6.4)得到的特征图进入解码器的第五个上采样模块，将其与步骤(2)中所述红外噪声图像输入进行通道维度的拼接，拼接结果为97(96+1)通道，特征图拼接后，通过两个3×3卷积层和leaky relu激活层对特征图进行解码与重建并映射为96通道特征图

27、步骤(7)，将步骤(6.5)得到的特征图经过两个3×3卷积层和leaky relu激活层和一个1×1卷积层将解码后的特征还原回单通道，输出去噪后的红外图像。

28、在本发明中，完整的红外图像去噪模型执行还包括：通过构建评估损失函数对红外图像去噪模型进行评估，并根据评估结果进行红外图像去噪模型的参数优化，获得最终性能优化后的红外图像去噪模型。

29、其中，损失函数包括两个部分，分别为mse损失和感知损失，mse函数计算输入的红外噪声图像iin与红外图像去噪模型输出的红外去噪图像iout之间差值平方的均值，公式为：

30、

31、感知损失是借助预训练的vgg-19来比较红外图像去噪模型生成的红外去噪图像与输入的红外噪声图像分别经过vgg-19提取的特征之间的差异。感知损失计算公式如下：

32、

33、其中，为vgg-19第i层处理后的特征图，h和w为图像的长和宽，‖·‖2为l2范数。整体损失函数的对应表达式为：

34、l＝lp+lmse   (4)

35、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行以实现本发明的一种红外图像去噪方法的步骤。

36、本发明的有益效果：

37、红外图像去噪效果显著：本发明采用了无监督训练、动态掩码处理和空间交互编码器等创新技术，能够在不需要标记数据的情况下，有效减少红外图像中的噪声。这种方法提高了图像的质量，使图像更清晰、更易于解释和分析。

38、提高目标检测和识别精度：通过减少噪声和增强图像边缘，本发明有助于提高目标检测和识别的准确性。在军事、医学和工业领域等需要高精度目标识别的应用中，本发明可以提供更可靠的结果。

39、防止网络过拟合和记忆问题：第二次掩码处理和空间交互编码器的设计有助于网络避免对样本的过度记忆和过拟合。这提高了网络的泛化能力，使其在不同红外图像数据集上都表现出色。

40、提高红外技术的应用范围：本发明不仅适用于特定的红外图像去噪问题，还有助于推动红外技术在医学、军事、环境监测等多个领域的更广泛应用。增强了红外图像的质量和信息可用性，提高了可靠性和实用性。