基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统

本发明属于图像处理，特别涉及基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统。

背景技术：

1、海温数据是气象和海洋科学研究中非常重要的数据源，然而由于自然和人为因素导致跨越时间和空间的数据缺失。因此，如何在缺少信息的情况下尽可能恢复缺失数据是一个具有挑战性的问题。生成对抗网络通过共同训练生成器和判别器，基于生成对抗网络的海温数据补全方法通过在训练阶段对数据进行学习，再通过利用已经完成的模型为带有缺失信息的图像生成新的图像数据作为输出的过程，最终完成对缺失数据的修复。传统方法通常将整张图像作为输入进行修复，忽略了每个像素点之间的空间相关性。

2、目前，基于生成对抗网络的前沿补全方法将空间注意力机制引入海温数据补全任务中，有效捕捉空间上的相关性，可以更好地修复具有强空间相关性、缺失区域复杂的海温图像。其优势在于引入的空间注意力机制提高了修复时对目标的定位能力和对环境背景的控制能力，减少冗余信息的影响。但是，该方法存在一下问题：首先，忽略了海温数据中的时间依赖特征。对于缺失的像素点，只基于已知的空间上下文信息进行预测，忽略了时间维度的信息，导致无法充分利用时空序列数据的周期性、趋势性、稳定性等时间依赖关系，从而容易出现预测结果不准确的情况。其次，无法很好地处理温度层中温度变化剧烈的过渡区域的边界数据。例如，在海洋中，海洋温度变化不平稳，在海表面温度高的区域和海表面温度低的区域之间的过渡部分温度变化剧烈，针对此类温度变化剧烈的边缘数据，该方法难以准确地恢复边缘部分的细节特征。

技术实现思路

1、针对现有技术存在的不足，本发明提供基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统，在时序特征提取模块中设计了从包含缺失时刻的时序块中提取全局和局部的时序特征，从而实现了对图像时空依赖性的建模，用以解决原方法忽略时间依赖特征的问题。在边缘保持模块中设计了门控空洞卷积和细节注意力机制优化边缘补全部分，更好地捕捉图像的纹理和边缘特征，解决了原方法无法很好地处理温度层中温度变化剧烈的过渡区域的边缘数据的问题。

2、为了解决上述技术问题，本发明采用的技术方案是：

3、首先，本发明提供一种基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括以下步骤：

4、步骤1、构建缺失图像时序块：获取缺失时刻前后若干张图像，构建包含缺失图像的时序块；

5、步骤2、从时序块中提取全局和局部的时序特征，对缺失图像进行时空依赖性建模，具体如下：

6、步骤21、时序块中的每一张图像通过卷积网络处理，输出特征图f，作为时序注意力机制的输入；

7、步骤22、特征图f经过时序注意力机制处理得到特征图：

8、在时序注意力机制中，首先特征图f经过序列注意力模块得到序列注意力特征图，与f点乘，得到序列注意力优化的中间特征图，其次特征图经过时间注意力模块得到时间注意力特征图，与点乘，得到经过序列和时间注意力最终优化后的输出；

9、步骤3、图像粗补全：

10、将步骤22得到的特征图作为附加条件，与缺失图像一起送入条件粗生成模块，得到粗补全图像；

11、步骤4、边缘处理：

12、将步骤3得到的粗补全图像输入边缘细生成模块，经过门控空洞卷积和细节注意力机制优化边缘补全部分，得到最终补全的图像。

13、进一步的，所述序列注意力模块包括全局最大池化、全局平均池化、多层感知机和激活函数，输入特征图f分别经过全局最大池化和全局平均池化在空间维度上压缩，得到和中间特征图，并送到一个参数共享的多层感知机，将输出的特征进行加和操作，经过激活函数操作，生成最终的序列注意力特征图；所述时间注意力模块包括全局最大池化、全局平均池化、卷积核和激活函数，经过序列注意力机制提炼的特征图分别经过全局最大池化和全局平均池化在序列维度上压缩，得到和中间特征图，并在序列维度上拼接在一起，使用卷积核进行卷积操作降维，再经过激活函数生成时间注意力特征图。

14、进一步的，所述条件粗生成模块包括若干个卷积块、残差块和空间注意力块。

15、进一步的，所述边缘细生成模块处理图像的过程如下：粗补全图像首先经过三个跨步门控卷积、两个门控卷积，门控单元应用于卷积核中的每个通道，计算出一个权重值，用于指导卷积操作中信息的筛选和提取；接着通过四个空洞卷积，输出的特征图输入细节注意力机制；在细节注意力机制内，首先通过一个全局平均池化层，将特征图的每个通道降维到一个标量，然后将其输入到两个全连接层中，第一个全连接层将标量进行非线性变换，得到一个激活向量；第二个全连接层将激活向量映射到一组权重向量，每个权重向量对应一个通道，权重向量将用于对输入特征图的每个通道进行加权，以得到调整后的特征图；最后经过门控卷积操作得到最终补全图像。

16、进一步的，总损失函数l总分为三个部分，分别为条件生成对抗网络的损失函数、衡量补全精度的重建损失函数和注意力损失函数，下面分别展开介绍：

17、（7）；

18、第一部分①是条件生成对抗网络的损失函数：

19、（8）；

20、其中：x是破损图像，z是条件向量，y是真实图像，代表x，y为从真实数据分布中采样得到的样本，代表x 从真实数据分布中采样得到的样本，代表z从某一特定分布中采样得到的样本，代表空间注意力生成对抗网络的生成器，代表判别器将真实数据判定为真实数据的概率，为判别器将虚假数据仍判定为虚假数据的概率；

21、第二部分②、③是衡量补全精度的重建损失函数，采用标准的l1损失：

22、（9）；

23、（10）；

24、其中：公式（9）对应在条件粗生成模块中，为输入的破损图像，为真实值；公式（10）对应在边缘细生成模块中，为粗补全图像，为真实值；为每个通道对损失的贡献权重，和为生成器的补全结果，c、h、w分别表示图像的通道数、高度和宽度，代表l1范式；

25、第三部分④为注意力损失：

26、（11）；

27、其中：矩阵a为空间注意力模块生成的注意力图，矩阵m为有云区域的二值图像，通过计算有云和无云图像的差值得到，为l2范式。

28、其次，本发明提供基于时序依赖和边缘细化的海温图像鲁棒补全系统，用于实现如前所述的基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括时序特征提取模块、条件粗生成模块、边缘细生成模块，所述时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图f，输入序列注意力模块和时间注意力模块，输出特征图，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。

29、与现有技术相比，本发明优点在于：

30、（1）对于一张缺失图像，本方法首先关注缺失图像所在的时序块，通过时序特征提取模块，先采用序列注意力机制再采用时间注意力机制，捕捉序列之间的相关性，保证了时序特征的全局一致性和局部敏感性，从而实现了对图像时序依赖性的建模，解决了原方法忽略时序特征的问题，提高了补全结果的可靠性。

31、（2）针对海洋图像补全任务，基于条件生成对抗网络，将时序特征作为条件输入到生成对抗网络中，网络可以将这些信息融入到生成图像的过程中，并根据时序信息控制图像中不同位置的像素值的大小和分布，从而使生成的图像更加符合实际情况，提高生成模型的表达能力。

32、（3）在边缘细生成模块中，运用门控和空洞卷积增加网络感受野，提取到更广阔的上下文信息；同时，通过使用细节注意力机制来分析图像的梯度信息，将细节信息与背景信息进行分离，更好地保留细节，解决了原方法无法很好地处理温度层中温度变化剧烈的过渡区域的边缘数据的问题，提高了图像生成的质量。