本发明涉及红外图像超分辨重建，特别涉及语义引导与循环蒸馏的红外图像超分轻量扩散模型。

背景技术：

1、红外（ir）成像技术通过捕捉物体自身的热辐射，可精准表征目标的细微温度差异与热分布特征，在军事监视、环境监测、医疗诊断和自主导航等领域发挥着越来越不可替代的作用。然而，与可见光成像相比，红外图像普遍存在低信噪比、纹理模糊和空间分辨率有限等固有缺陷，这极大制约了其在高精度视觉任务中的实际应用效能。此外，红外探测器常在低光照环境或动态热变化等受限条件下工作，进一步增加了高质量图像的获取难度。红外图像超分辨重建技术通过“算法赋能硬件”的模式，突破了红外成像的分辨率瓶颈，是推动红外技术从单一成像向智能感知升级的核心技术。

2、图像超分辨率重建的核心目标是从低质量（lr）输入图像中恢复出高清晰度（hr）图像。但是，由于低分辨率图像可能对应多种高分辨率图像的输出，图像超分成为一个典型的病态逆问题。与传统sr相比，近年来，基于深度学习的超分辨率方法取得了显著进展。然而，当现有方法应用于红外成像领域时，仍面临重大挑战。现有方法大多基于可见光图像训练，其纹理与结构特征与红外图像的热辐射特征存在显著域间差异，导致模型在迁移至红外域时出现特征失配和性能退化。例如，卷积神经网络（cnn）的核心设计旨在捕捉局部纹理先验，而红外图像恰好缺乏这类关键先验；再加上其边缘模糊的特性，进一步削弱了空间特征的可重建性。主流方法如增强型深度残差网络（enhanced deep residual networks forsingle image super-resolution,edsr）、残差通道注意力网络（residual channelattention network,rcan）等，通常采用均方误差（mse）作为损失函数，虽能提升峰值信噪比（psnr），但易导致重建图像过度平滑，丢失关键的热对比度信息。此外，红外图像的噪声模式具有非均匀性和场景依赖性，而当前方法多假设加性高斯白噪声，忽略了真实红外传感器中的条纹噪声和非线性响应，从而在复杂环境下重建时引入伪影。

3、近年来，扩散模型（diffusion models）特别是潜在扩散模型（ldm），在生成高质量图像方面展现出巨大潜力，其通过逐步去噪的生成过程能有效避免gan的模式崩溃问题，并恢复出更丰富的高频细节。然而，由于ldm文本编码器依赖自然语言描述，无法有效理解红外图像中缺乏纹理语义的特征，通常导致条件引导失效。并且，扩散模型固有的迭代采样过程计算开销巨大，难以满足红外系统对低延迟处理的严苛要求。

4、为解决扩散模型推理效率瓶颈，已有研究提出了循环知识蒸馏策略，通过将参数从高步数模型迭代迁移至低步数模型来加速采样过程。例如，yan等人提出了一种基于可逆引导和循环知识蒸馏的多模态超分辨率重建方法，通过循环知识蒸馏策略加速扩散模型的采样速度。然而，上述方法基于可见光图像数据集训练和验证，其在红外图像超分任务中的适用性尚需进一步研究和验证。此外，在图像超分领域，已有专利文献公开了将clip或sam与扩散模型结合的方案。cn119027317a公开了一种基于全局引导条件扩散模型的高光谱影像超分方法，利用clip模型提取全局语义特征并通过交叉注意力机制引导扩散模型去噪。cn120746829a进一步公开了将stable diffusion的vae和u-net与grounded-sam语义分割特征、alpha-clip文本特征相结合，通过多类条件交叉注意力引导去噪，并采用了多种图像、潜空间及感知损失。然而，上述方案均未涉及将clip图像编码器提取的高分辨率图像全局语义特征与sam图像编码器提取的低分辨率图像局部结构特征进行异源配对的机制，也未公开循环知识蒸馏中“学生单步对应教师两步”的确定性步数映射关系。因此，现有技术仍缺乏一种能够通过clip与sam协同引导实现红外图像语义一致性与结构保真度双重提升的轻量化超分方案。

5、综上所述，现有红外图像超分辨率重建方法在特征适配、条件引导和推理效率等方面仍存在显著不足。因此，亟需一种能够针对红外图像热辐射特性进行有效特征引导，同时具备快速推理能力的轻量化超分模型。

技术实现思路

1、本发明的目的在于提供语义引导与循环蒸馏的红外图像超分轻量扩散模型，以解决现有红外图像超分辨重建方法中存在的特征适配不足、条件引导失效及推理效率低下的技术问题。

2、为实现上述目的，本发明提供如下技术方案：语义引导与循环蒸馏的红外图像超分轻量扩散模型，包括：

3、像素空间模块，包括编码器和解码器，编码器将像素空间的原始高分辨率红外图像编码压缩到低维的潜空间，得到潜特征；解码器将潜空间中完成去噪的潜特征解码还原回像素空间，生成超分辨率重建图像；

4、潜空间扩散与去噪模块，用于对潜特征添加高斯噪声，经过t步扩散后得到完全噪声化的潜特征；以完全噪声化的潜特征为起点，通过去噪u-net去除噪声，经过t步去噪后还原出清晰的潜特征；

5、条件约束模块，用于生成引导所述去噪u-net进行噪声预测的条件特征，条件约束模块利用基于对比语言-图像预训练的多模态视觉编码器提取高分辨率红外图像的全局语义特征，利用基于大规模分割预训练的空间结构编码器提取低分辨率红外图像的局部结构特征，将全局语义特征与局部结构特征融合后通过交叉注意力机制注入到去噪u-net的多个层级中；

6、知识蒸馏模块，用于将执行t步去噪的教师模型的扩散去噪知识蒸馏至执行少于t步去噪的学生模型，每轮蒸馏将所述学生模型的采样步数减少，重复直至达到预设最小阈值，得到轻量化学生模型。

7、进一步地，所述条件约束模块中，所述基于对比语言-图像预训练的多模态视觉编码器提取的全局语义特征来源于高分辨率红外图像，用于为扩散生成过程提供全局内容约束；所述基于大规模分割预训练的空间结构编码器提取的局部结构特征来源于低分辨率红外图像，用于在扩散去噪过程中约束边缘区域的像素生成方向；所述全局语义特征与所述局部结构特征构成高分辨率全局语义与低分辨率局部结构的异源、异分辨率特征配对。

8、进一步地，所述条件约束模块将所述全局语义特征与所述局部结构特征通过对比学习进行跨模态特征对齐，具体包括：

9、将所述全局语义特征与所述局部结构特征分别经投影层映射至同一维度空间，以同一场景对应的高分辨率红外图像与低分辨率红外图像的全局语义特征与局部结构特征为正样本对、不同图像的跨模态特征为负样本对，通过infonce损失约束正样本对的特征距离缩小、负样本对的特征距离扩大。

10、进一步地，所述条件约束模块将所述全局语义特征与所述局部结构特征沿通道维度拼接后经线性投影层映射，得到融合条件特征；所述交叉注意力机制的查询由去噪u-net当前层的图像特征生成，键和值由所述融合条件特征生成，所述融合条件特征在扩散过程的每个时间步通过所述交叉注意力机制注入到去噪u-net的多个解码层级中。

11、进一步地，知识蒸馏模块中，教师模型与学生模型之间的步数映射关系为：学生模型每执行一个去噪步，对应于教师模型执行两个连续的去噪步，其中设学生模型在第i个采样步的潜在状态表示为，教师模型第一步从去噪至中间状态，其中i1=2i-1；第二步从去噪至目标状态，其中i2=2i，为前i步噪声调度参数的积累量数值，为教师模型的预测函数，为学生模型的预测函数；学生模型的优化目标为学习映射函数，使得单步输出逼近教师模型两步变换后的目标状态，学习映射函数为：

12、，其中，为前i2步噪声调度参数的积累量数值。

13、进一步地，所述知识蒸馏模块采用复合损失函数约束学生模型的学习过程：，其中，代表的是知识蒸馏过程中，用于更新学生模型参数的总损失值，为像素级均方误差损失，为噪声预测对齐损失，为基于vgg-19网络的深度特征感知损失，为超参数。

14、进一步地，所述基于对比语言-图像预训练的多模态视觉编码器与所述基于大规模分割预训练的空间结构编码器均在自然图像域完成预训练，两者的预训练知识迁移至红外图像域，所述语义理解能力和所述空间感知能力用于红外图像的特征提取。

15、进一步地，所述条件约束模块还包括双分支特征增强单元，用于对所述多模态视觉编码器提取的全局语义特征进行频域-空域增强处理：空间分支通过多尺度深度卷积提取所述全局语义特征的局部纹理细节；频域分支将所述全局语义特征映射至频域空间进行长距离依赖调制后恢复至空域；所述空间分支与所述频域分支的输出特征经动态融合后，生成增强后的全局语义特征，输入所述交叉注意力机制。

16、进一步地，所述条件约束模块中，所述全局语义特征与所述局部结构特征在交叉注意力融合后，所述全局语义特征用于约束所述去噪u-net的输出的热辐射分布与所述高分辨率红外图像的热辐射分布一致，所述局部结构特征用于约束所述去噪u-net的输出的边缘分布与所述低分辨率红外图像的边缘分布一致，形成全局与局部互补的多层次条件引导。

17、进一步地，像素空间模块的编码器为预训练变分自编码器的编码器，将高分辨率红外图像编码为潜表示；潜空间扩散与去噪模块的前向扩散过程向潜编码添加高斯噪声，扩散过程表示为以下条件概率分布：，反向去噪过程通过条件u-net网络学习噪声预测：，其中t为扩散时间步，z为高分辨率红外图像经vae编码后得到的潜在表示，为第t步扩散后的潜在表示，为第t-1步扩散后的潜在表示，为第t步的噪声调度参数，为单位矩阵，为去噪u-net网络的可学习参数，和分别为去噪u-net预测的均值和方差，表示条件信息，包括低分辨率图像和多源特征信息。

18、本发明取得了如下有益效果：

19、第一，通过引入基于对比语言-图像预训练的多模态视觉编码器提取高分辨率红外图像的全局语义特征，为扩散生成过程提供全局语义约束，确保生成内容的方向与原始高分辨率图像一致，解决了现有方法基于可见光图像训练导致迁移至红外域时特征失配的问题。

20、第二，通过引入基于大规模分割预训练的空间结构编码器提取低分辨率红外图像的局部结构特征，对红外图像中的关键目标进行分割掩码编码，提取目标的边缘轮廓与几何形态作为显式结构先验，在扩散去噪过程中约束边缘区域的像素生成方向，避免红外图像的边缘细节丢失，有效缓解了目标边缘模糊问题。

21、第三，通过循环知识蒸馏将原始多步采样的大教师模型压缩为少步采样的轻量化学生模型，在保持重建质量的同时显著降低推理时间，使模型适用于资源受限的嵌入式红外平台，克服了扩散模型迭代采样过程计算开销巨大的缺陷。

22、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在申请文件中所特别指出的结构来实现和获得。

23、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。