基于傅里叶变换扩散模型的海表面温度图像的补全方法

本发明属于图像处理，特别涉及基于傅里叶变换扩散模型的海表面温度图像的补全方法。

背景技术：

1、基于深度神经网络的海表面温度场补全方法借助大量历史海洋数据进行估计的方式来学习海表面温度时空数据的分布，从而达到更加精准的补全海表面温度场缺失值的目的。传统方法通常基于生成模型，如生成对抗网络、重构模型，利用历史海洋数据直接对海洋海表面温度补全场进行估计和补全，传统方法存在以下问题：补全不稳定、不准确，造成的原因是由于：一方面，传统方法通常采用一次补全的方式直接对缺失区域开展补全，另一方面，海表面温度场的数值范围通常很大，而直接对这么大的数值范围进行估计会导致补全过程非常不稳定，同时又难以准确的估计每个点的数值，从而限制了补全的准确性。

2、近期，研究人员提出了基于异常修复网络的海洋图像的补全方法，该方法的优势在于其利用“由粗到细“的图像补全机制，首先利用海表面温度的月均值来估计周均值，可以提供一个较为稳定的全局估计；随后再通过日数据中未缺失部分的值和周均值的偏差值去估计两者之间偏差的数据模式，可以获得局部细粒度的准确性；最后利用该模式去估计缺失部分的数据并将其结果与周均值进行叠加获得最终的日海表面温度场，既兼顾了全局的一致性又兼顾了局部的特殊性。

3、但是，上类方法存在以下问题：第一，在模型训练过程中，该方法采用对抗生成网络作为基本架构，不仅导致训练过程极不稳定、难以收敛，同时会导致图像的部分关键信息在生成过程中丢失，降低生成结果的质量。第二，仅仅从图像域中开展海温时空图像补全，忽略了对其频率域的充分利用。例如，傅里叶变换将图像转换到频率域，可以对图像的频率特征进行分析和探索海表面温度变化的某些模式及规律，在存在观测噪声或干扰的情况下，通过滤波方法去除噪声。而上类均仅在图像域中利用神经网络模型开展海表面温度图像补全任务，忽略了对频率域的充分利用，限制了图像补全的质量。

技术实现思路

1、针对现有技术存在的不足，本发明提供基于傅里叶变换扩散模型的海表面温度图像的补全方法，设计了频率处理模块和重构监督模块，首先将当日破损海温图像、周期平均海温图像作为输入，通过傅里叶变换生成傅里叶频率域上对应信号值，即当日破损信号、周期平均信号，然后将两个信号值进行融合得到融合信号，并输入到扩散模型后向去噪的神经网络u-net中逐步去噪，并对噪声进行预测，最后输出预测的当日完整海温图像。

2、为了解决上述技术问题，本发明采用的技术方案是：

3、基于傅里叶变换扩散模型的海表面温度图像的补全方法，包括以下步骤：

4、步骤s1、频率处理，将海温图像从图像域转换到频率域中并进行加噪处理：

5、步骤s11、将当日破损海温图像sstday、周期平均海温图像sstlong作为输入，通过傅里叶变换生成傅里叶频率域上对应信号值，即当日破损信号signday、周期平均信号signlong；

6、步骤s12、将得到的当日破损信号signday依次经过低频过滤和加噪操作，得到当日破损加噪信号，将周期平均信号signlong依次经过高频过滤和加噪操作，得到周期平均加噪信号；

7、步骤s13、将当日破损加噪信号和周期平均加噪信号进行融合得到；

8、步骤s2、重构监督，利用全局重构和局部重构逐步降噪：

9、步骤s21、输入同期完整海温图像ssthistory，使用傅里叶变换将图像转换到傅里叶频率域上，生成同期完整信号signhistory；

10、步骤s22、对同期完整信号signhistory进行加噪操作得到同期完整噪声信号；

11、步骤s23、将输入到扩散模型后向去噪的神经网络u-net中，在t个时间步长中进行噪声预测，并结合周期平均加噪信号全局重构、结合同期完整噪声信号局部重构逐步去除噪声，并记录每一步的输出，最后输出当日完整海温图像信号；

12、步骤s24、使用傅里叶逆变换将当日完整信号还原生成预测的当日完整海温图像。

13、进一步的，步骤s12中，使用两个并行线性过滤层、分别处理当日破损信号signday、周期平均信号signlong，其中表示要处理的信号，对于当日破损信号signday，进行高频过滤，以消除缺失区域的低频噪声，同时保留非缺失部分的高频信号；对周期平均信号signlong，进行低频过滤，保留均值信息，同时滤除高频噪声；最后，分别得到过滤后的当日破损信号、周期平均信号，然后在t个时间步长中，向过滤后的当日破损信号、周期平均信号中逐渐加入高斯噪声并记录每一步的噪声信号，将其转换为高斯白噪声信号，分别得到当日破损加噪信号和周期平均加噪信号。

14、进一步的，所述傅里叶变换扩散模型包括频率处理模块和重构监督模块，所述频率处理模块包括傅里叶变换、线性过滤层和扩散模型的前向加噪过程，频率处理模块用于将输入的当日破损海温图像sstday和周期平均海温图像sstlong通过傅里叶变换生成频率域上对应的信号值，即当日破损信号signday和周期平均信号signlong，再通过线性过滤层和扩散模型的前向加噪过程逐步向信号中添加噪声，得到当日破损加噪信号和周期平均加噪信号，后将两个信号融合得到融合加噪信号；

15、所述重构监督模块包括傅里叶变换、扩散模型的前向加噪过程和结合全局重构和局部重构的后向去噪过程，重构监督模块用于将输入的同期完整海温图像ssthistory，使用傅里叶变换将图像转换到傅里叶频率域上，生成同期完整信号signhistory，然后通过扩散模型的前向加噪过程逐步向信号中添加噪声，得到同期完整噪声信号，将频率处理模块得到的融合加噪信号输入到扩散模型的后向去噪的神经网络u-net中，结合周期平均加噪信号全局重构和同期完整噪声信号局部重构逐步去除噪声，直至输出当日完整海温图像，最后使用傅里叶逆变换还原生成预测的当日完整海温图像。

16、进一步的，损失函数公式如下：

17、（21）

18、总损失l总分为两个部分：其中表示与周期平均海温信号重构的全局损失，表示与同期完整海温信号重构的局部损失，表示权重，

19、其中，全局损失具体计算如下：

20、（22）

21、其中，e表示误差，t是时间步长，是周期平均海温信号中的真实噪声分布，是预测噪声分布，表示经过时间步长t得到的样本，表示模型预测噪声与周均值平均海温信号中真实噪声之间的误差；

22、局部损失具体计算如下：

23、（23）

24、其中，是同期完整海温信号中的真实噪声分布，是预测噪声分布，是模型预测噪声与同期完整海温信号中真实噪声之间的误差。

25、与现有技术相比，本发明优点在于：

26、（1）在对海表面温度图像补全的过程中应用了扩散模型，对图像逐级降噪，借助在反向迭代期间从给定像素采样来调节生成过程，直到它达到高质量的输出图像，有效降低了图像中的噪声并保持图像的细节信息，训练更加直观和简单，提高了图像的质量和清晰度。解决了现有方法使用生成对抗网络作为基本架构而造成训练过程极不稳定、难以收敛的问题，以及在生成过程中图像丢失部分关键信息而导致生成结果质量低的问题，从而提高了模型的稳定性和生成图像的质量。

27、（2）在对海表面温度图像补全的过程中，应用傅里叶变换将海表面温度图像从图像域变换至傅里叶频率域，解决了原方法仅仅从图像域中开展海表面温度图像补全，忽略了对其频率域的充分利用的问题，将非语义图像映射到频率域，解决了传统的扩散模型难以捕捉非语义图像中的周期性信息的问题，为扩散模型提供了更为有效的输入，从而增强了扩散模型在处理海表面温度图像补全任务中的适用性。