基于时空注意力门控融合网络的闪电临近预报方法及装置

本发明涉及数据深度学习领域，具体涉及基于时空注意力门控融合网络的闪电临近预报方法及装置。

背景技术：

1、闪电是自然界最常见的灾害性天气现象之一，具有尺度小、天气现象剧烈、发展迅速等特点。因此，闪电预报通常为对未来0~2小时内天气的临近预报，特别依赖于实况的观测数据。随着全球天气变暖，极端天气现象频繁发生，如何提高闪电的临近预测水平，成为了当前天气预报业务领域面临的一大挑战和研究热点。

2、闪电临近预报的传统手段主要是基于雷达、卫星、闪电等实况数据的外推预测方法，包括光流法、titan、scit、机器学习外推法等。近年来，由于深度学习方法能从海量数据中提取特征，在各个领域获得了广泛的应用，其中也包括在闪电临近预报领域。深度学习方法在闪电临近预报领域的应用主要有2个方向，一个是主要提取数据时序信息的循环神经网络（rnn），另一个是提取数据空间信息的卷积神经网络(cnn)。在基于cnn的闪电临近预报中，周康辉等基于segnet构建了lightningnet，从卫星云图、雷达反射率、闪电密度等多源观测数据中提取特征，给出了未来0~1小时的闪电概率预测；樊玲等利用雷达反射率和闪电历史观测数据，基于3维u-net网络构建了light3dunet网络，实现了未来0~1小时的闪电临近预报。

3、但不论是lightningnet还是light3dunet，均将同一时间段内的不同观测数据直接拼接到一个观测单元中，作为一个数据整体输入神经网络进行特征提取，没有考虑不同数据类型之间的特征提取和特征融合问题。并且，由于闪电的小尺度特性，导致闪电在整个图像中呈现稀疏特性和边缘不规则特性，lightningnet采用多种观测数据来提高闪电预报的精度，light3dunet采用unet编码和解码以及编解码间的跳跃连接来保留细节信息提高闪电预报精度，都没有充分保留观测数据的空间信息。

技术实现思路

1、有鉴于此，本发明提供了基于时空注意力门控融合网络的闪电临近预报方法及装置，充分考虑不同观测的特性，在编码阶段将不同类型的观测数据分为不同支路分别进行特征提取，然后采用加权求和融合和注意力门控融合在主通道进行特征融合，极大地保留了图像的上下文信息；为了提取更多的空间信息，对各个支路和主通道均采用空间注意力模块以实现对闪电区域的自动识别并高权值响应，解决了现有技术没有考虑不同类型数据的特征提取和特征融合问题；解决了现有技术未充分保留图像上下文信息的技术问题；解决了现有技术未充分提取观测数据空间特征的技术问题。

2、为了解决上述技术问题，本发明是这样实现的。

3、基于时空注意力门控融合网络的闪电临近预报方法，包括步骤：a.获取同一地点历年的多普勒雷达组合反射率图像，将每半小时内的5张多普勒雷达组合反射率图像组合成一个反射率图像样本；获取历年闪电观测数据，以0时为时间起点，6分钟为时间间隔，将连续时间的闪电观测数据进行时间聚合处理，并将时间聚合后的闪电观测数据映射到指定分辨率的网格中，对网格中的内容进行标记，完成空间聚合，得到时间和空间聚合处理后的闪电密度图像，以每半小时空间聚合后的5张闪电密度图像为一个闪电密度图像样本；基于历年闪电观测数据构建空间聚合处理后的闪电标签；

4、b.基于所述反射率图像样本、闪电密度图像样本以及闪电标签训练时空注意力门控融合网络；所述时空注意力门控融合网络的基本框架采用u-net网络的u型编码和解码结构，在编码过程中，同时处理两条支路和一条主路，主路和每条支路自上而下均包括4级，每一级都有输出，其中，两条支路分别提取反射率图像样本和闪电密度图像样本的特征，两条支路的每一级先进行编码操作，再采用空间注意力模块自动识别闪电区域；主路对两条支路提取的特征进行融合，主路部分首先对两条支路空间注意力模块的输出进行融合，然后，将支路融合后的输出与上一级主路的输出进行注意力门控融合，再进行u-net网络当前层的编码操作，再对编码后提取的特征采用空间注意力模块作为主路当前级的输出给主路的下一级；解码过程跳跃连接中使用的编码输出特征为编码部分主路中每一级注意力门控融合后再通过2次卷积和relu组合操作后输出的特征；

5、c.获取当前的多普勒雷达组合反射率图像及闪电观测数据，将处理后的反射率图像样本及闪电密度图像样本输入训练完毕的时空注意力门控融合网络，进行闪电临近预报。

6、优选地，对所述网格中的内容进行标记，包括：在聚合时间内如果同一网格内映射了n次闪电，则此格点闪电频数记为n，否则标记为0。

7、优选地，所述基于历年闪电观测数据构建时空聚合处理后的闪电标签，包括：

8、获取历年闪电观测数据，将连续时间的闪电观测数据以每半小时为时间起点，每60分钟为间隔，进行时间聚合处理，将时间聚合后的闪电观测数据映射到指定分辨率的网格中，进行空间聚合，根据在聚合时间内同一网格内是否有闪电进行区别标注，得到时空聚合处理后的闪电标签，每个时间起点的间隔时间跨度与反射率图像样本一致。

9、优选地，基于所述反射率图像样本、闪电密度图像样本以及闪电标签构建用于训练所述时空注意力门控融合网络的数据集，包括：

10、步骤s21: 从输入的反射率图像样本、闪电密度图像样本以及闪电标签中，以每半小时为时间间隔，获取5张反射率图像样本和5张闪电密度图像样本，组成待匹配样本对；

11、步骤s22: 将各个所述待匹配样本对与闪电标签进行匹配，匹配方式为：一个待匹配样本对对应闪电标签中以所述待匹配样本对对应的结束时间为起点的标签，构成一个样本-标签对;

12、步骤s23: 由全部的样本-标签对组成数据集，再从数据集中以一定比例划分得到训练集、测试集和验证集。

13、优选地，所述时空注意力门控融合网络编码部分中的空间注意力模块，包括：首先对输入特征进行卷积核为 1*1*1的卷积，再做batchnorm操作和relu操作，再进行一次卷积核为 1*1*1的卷积，再做batchnorm操作和sigmoid操作，然后将sigmoid操作后的输出与空间注意力模块的输入特征进行点积操作后作为空间注意力模块的输出。

14、优选地，所述时空注意力门控融合网络编码部分中对两条支路空间注意力机制模块的输出进行融合，包括：对两条支路空间注意力模块的输出进行加权求和，两部分权重系数之和等于1，并且权重系数可以训练和进行梯度反传。

15、优选地，所述时空注意力门控融合网络编码部分中的注意力门控融合，包括融合模块加权求和后的输出做卷积核为 1*1*1的卷积，对主路上一级的输出做卷积核为 1*1*1的卷积，将两个卷积结果相加，再进行relu操作，再做输出通道为1卷积核为 1*1*1的卷积，然后通过sigmoid操作，将sigmoid后的输出与融合模块加权求和后的输出进行点积操作后作为注意力门控融合模块的输出。

16、基于闪电临近预报方法的基于时空注意力门控融合网络的装置，包括：

17、数据处理模块：配置为获取同一地点历年的多普勒雷达组合反射率图像，将每半小时内的5张多普勒雷达组合反射率图像组合成反射率图像样本；获取历年闪电观测数据，将连续时间的闪电观测数据以0时为时间起点，6分钟为间隔，进行时间聚合处理，将时间聚合后的闪电观测数据映射到指定分辨率的网格中，对网格中的内容进行标记，完成空间聚合，得到时间和空间聚合处理后的闪电密度图像，每半小时内的5张时空聚合后的闪电密度图像为一闪电密度图像样本，闪电密度图像样本的时间跨度与所述反射率图像样本的时间跨度相同；基于历年闪电观测数据构建时空聚合处理后的闪电标签；

18、训练模块：配置为基于所述反射率图像样本、闪电密度图像样本以及闪电标签训练时空注意力门控融合网络；

19、预测模块：配置为获取当前的多普勒雷达组合反射率图像及闪电观测数据，将处理后的反射率图像及闪电密度图像样本输入训练完毕的时空注意力门控融合网络，进行闪电临近预报。

20、一种计算机可读存储介质，存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述方法。

21、一种电子设备，所述电子设备，包括：

22、处理器，用于执行多条指令；

23、存储器，用于存储多条指令；

24、其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述方法。

25、本发明所带来的有益技术效果：

26、（1）本发明根据输入数据的类型将编码部分分为两条支路和一条主路，支路部分对雷达反射率样本和闪电密度图像样本分别进行特征提取，主路部分进行融合，即考虑了如何有效地提取不同类型数据的特征，又考虑了不同类型数据间的特征融合。

27、（2）本发明采用空间注意力模块实现了对闪电区域的自动识别并增强，有效保留了小尺度对象的细节和结构信息。

28、（3）本发明采用注意力门控融合机制实现了上下文的联系，进一步保留了小尺度对象的细节和结构信息，避免图像细节信息的丢失。