一种基于注意力机制的太阳射电频谱图像爆发识别方法

1.本发明属于太阳射电频谱图像处理技术领域，具体涉及一种基于注意力机制的太阳射电频谱图像爆发识别方法。


背景技术：

2.太阳射电爆发是一种源自于太阳高能电子的无线电波信号，其辐射频率覆盖范围广，辐射强度大，并且射电数据携带着太阳爆发过程的粒子加速和辐射的相关物理信息，是认识日珥、日冕物质抛射、黑子、耀斑等太阳活动非常有效的工具，同时也是对空间和太阳物理研究非常有用的观测窗口。
3.全天候对太阳进行观测，产生了大量的观测数据，而其中包含太阳射电爆发事件的数据少之又少，同时由于原始数据受到观测设备通道噪声等因素的影响，导致人工无法快速分辨爆发数据和其他类型数据，这对后续展开天文学研究造成了一定的困难。
4.ma等人提出了用于太阳射电爆分类的多模态学习(mdl)模型，在学习的联合表示的基础上，对太阳射电爆进行分类。实验结果表明，所提出的多模式学习网络能够有效地学习太阳射电谱的表示，提高分类精度。陈思思提出了一个基于卷积神经网络(cnn)的太阳射电频谱图分类算法，该网络采用了1*5和1*3卷积核代替了传统的卷积核，避免了通道之间的干扰，最终爆发频谱图像取得了84.6％的tpr值；徐龙等通过长短时记忆网络(lstm)捕捉频谱图像的时序信息，并对原始的频谱图像进行了小波去噪和增强，使其图像特征更为突出，最终爆发频谱图像的分类tpr值达到了85.4％，开启了循环神经网络在该领域的应用；郑哲使用样本随机索引的方式解决了数据库中各类样本分布不平衡的问题，并在此基础上使用cnn将射电爆发频谱图像的分类tpr值提高到98.4％，但是其校准频谱图像的分类tpr却下降到除使用机器学习方法之外的最低分，仅为85.6％；
5.然而受太阳活动规律的影响，整个射电频谱样本基本上是以平静太阳活动时的“非爆发”频谱图像为主。因此整个射电频谱样本呈现数据量少，样本分布不均衡的特点。导致现有技术中的神经网络分类器不能完成适度的参数训练，找到最优的网络参数，限制了识别精度；另外，这些方法大多数是基于分类器结构的改进，而未考虑从样本数据分布不均匀，使得生成的图像质量和多样性受到影响。
6.因此，如何对观测到的数据进行自动处理和分类识别并对样本进行扩充，是目前亟待解决的问题。


技术实现要素：

7.针对上述存在的问题，本发明提供一种基于注意力机制的太阳射电频谱图像爆发识别方法，基于改进生成对抗网络的数据增强方法来进行样本扩充并对传统生成对抗网络的生成器和判别器结构进行改进，提高网络训练过程的稳定性。
8.本发明的核心思路：为实现对太阳射电频谱图像的扩充，本发明提出了一种改进的生成对抗网络，不同于传统生成模型，该网络结构融合了注意力机制和残差结构，更符合
射电频谱图像特征，利用该结构可以生成样本丰富度和特征更加显著的频谱图像，也将更有利于分类模型对其进行识别。
9.实现本发明目的的技术解决方案为：
10.一种基于注意力机制的太阳射电频谱图像爆发识别方法，其特征在于，包括以下步骤：
11.步骤1：获取原始射电频谱数据；
12.步骤2：构建r-sagan生成网络对抗模型，利用原始射电频谱数据训练r-sagan生成网络对抗模型；
13.步骤3：基于训练好的r-sagan生成网络对抗模型对原始射电频谱数据进行数据增强，得到扩充后的射电频谱数据；
14.步骤4：将扩充后的射电频谱数据划分为训练数据集、测试数据集和验证数据集；
15.步骤5：利用训练数据集、测试数据集和验证数据集训练分类器，通过训练好的分类器进行原始射电频谱数据的识别，并输出识别结果。
16.进一步地，步骤2所述的r-sagan生成网络对抗模型训练步骤包括：
17.步骤21：从高斯分布中采样噪声信号作为模型生成器的输入，从原始射电频谱数据中采样真实样本作为模型判别器的输入，对判别器和生成器的模型参数进行初始化；
18.步骤22：将生成器输出的假样本与所采样的真实样本共同输入到判别器中，根据判别器的模型输出损失对判别器参数进行更新，期间生成器模型参数不变；
19.步骤23：保持判别器模型参数不变，根据生成器输出的样本损失对其参数进行更新。
20.进一步地，步骤2所述的r-sagan生成网络对抗模型包括生成器和判别器，生成器用于接收随机噪声z输入，并输出生成图像g(z)；判别器用于判断输入图像x为真实图片的概率；
21.所述生成器包括依次相连的全连接层、第一残差单元、第一反卷积层、第二残差单元、第二反卷积层和第三反卷积层，所述全连接层用于进行reshape操作；所述第一残差单元和第二残差单元，用于对输入特征进行降维操作并减少模型参数引入；第一反卷积层和第二反卷积层的卷积核均为3*3，卷积步长为2，用于对图像进行上采样；第三反卷积层的卷积核为3*3，卷积步长为1，用于减少生成图像通道数；
22.所述判别器包括两个卷积核大小为3*3的卷积层以及两个多头注意力机制，每个多头注意力机制都有三个通道，每个通道都预先连接一个1*1的卷积来降低特征维度，并对三个通道的注意力计算结果进行拼接。
23.进一步地，所述第一残差单元和第二残差单元均包括三个依次连接的反卷积层和一个自注意力层，其中第一个反卷积层的卷积核为1*1卷积核，用于对输入特征进行降维操作同时减少模型参数的引入；第二个和第三个反卷积层的卷积核为3*3，卷积步长为1，用于等效填充，保证图像尺寸不发生变化；自注意力层用于对反卷积之后的特征图捕捉长距离的空间信息，使得有效特征得到增强。
24.进一步地，所述判别器的每个多头注意力机制之后还设置有dropout系数，用于减轻判别器过拟合程度。
25.进一步地，所述判别器的激活函数采用leaky relu函数。
26.本方法与现有技术相比，具有以下有益效果：
27.第一，本发明针对仿射变换和随机索引等传统少样本学习方法的固有缺陷和不足，提出了基于改进生成对抗网络的数据增强方法来进行样本扩充，该方法所生成图像的质量和多样性得到大幅提高；
28.第二，本发明对传统生成对抗网络的生成器和判别器结构进行了改进，在生成器中引入了自注意力层，对卷积层进行了补充，减轻了模型退化和梯度消失问题。将自注意力层和上采样层作为残差结构的一部分与输入特征进行了跳跃连接，减轻网络的退化程度，提高生成网络训练过程的稳定性。
附图说明
29.图1为传统生成对抗网络gan的结构图；
30.图2为自注意力机制结构图；
31.图3(a)-(b)分别为本发明所提r-sagan的生成器和判别器的结构图；
32.图4为本发明所提方法的流程图；
33.图5为不同网络模型的生成效果对比图；
34.图6(a)-(b)分别为实验损失函数和精度曲线。
具体实施方式
35.为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
36.由于太阳射电频谱数据存在样本量少、分布不均衡的特点，因此本发明的核心思路为：构建一种数据增强算法(网络)以获得大量丰富的太阳射电频谱图像，然后通过分类算法(网络)解决大数据频谱样本的爆发识别问题。
37.具体分为以下几个部分：
38.1、传统的gan网络
39.现有技术中对频谱图像进行数据增强的方法常用基于无监督的方式，该方法是在已有的数据集基础上采用缩放、旋转、位移等仿射变换，以及颜色变换、添加噪声、对比度变换等进行数据的扩增。这种基于几何变换和图像操作的方式可以在一定程度上解决数据量不足、模型过拟合的问题。但是相比于原始数据，其所增加的新样本并未改变目标特征，缺乏多样性，对数据集没有实质性的改变。与之相反的是，基于有监督的数据增强算法——生成对抗网络(gan)不仅可以拟合高维数据分布，而且泛化能力更强，生成图像质量更高，gan模型结构如图1所示。
40.2、改进的生成对抗网络(r-sagan)
41.针对gan网络结构加深时，容易出现梯度消失和梯度爆炸，使得模型性能退化，导致模型参数得不到有效更新的问题，本发明提出了改进的生成对抗网络r-sagan使得生成图像样本的质量和多样性更加有效。
42.r-sagan在gan的生成器中引入了残差结构，减轻由于网络深度导致的模型梯度消失、底层权重不能有效更新，从而解决了深度神经网络的退化问题。还在模型中引入了注意力机制，能够更加高效的捕捉到频谱图像内部特征的关联性，从而减少对外部信息的依赖，
提高网络捕捉长距离特征依赖的能力。
43.图1是gan网络的一般结构框架，传统gan结构的判别器和生成器一般采用全连接网络，r-sagan网络与传统gan网络的差异在于生成器(generator)和判别器(discriminator)的结构不同，但整体上两者都是由生成网络和判别网络所组成，其中，生成器接收随机噪声z输入，输出生成图像g(z)。判别器的输入包括生成器的输出g(z)和真实样本x，判别器输出数据为真的概率。在相互竞争对抗训练过程中，g逐渐生成和真实数据相似的图像以欺骗判别器d，而d则不断的提高对生成图像和真实图像的甄别能力，二者不断迭代优化自身的结构参数使得损失最小，最终达到一个纳什均衡状态。gan的优化目标函数可定义为：
[0044][0045]
其中，和分别表示判别器和生成器输出损失的期望值，p
data
(x)表示数据的真实分布，pz(z)表示噪声数据分布。
[0046]
gan在对判别器进行训练时，生成器固定，判别器要尽可能的将生成样本识别为0，将真实样本识别为1。因此，判别器的目标是最大化交叉熵函数：
[0047][0048]
gan在对生成器进行训练时，判别器固定，生成器要使生成图像不被训练好的判别器识别出来，即让判别器对生成图像识别为1。因此，生成器的目标是最小化交叉熵函数：
[0049][0050]
通过生成器和判别器的彼此监督、相互学习最终使得生成对抗网络的结构参数达到最优，用于生成最有效的样本。
[0051]
本发明的r-sagan网络采用与原始gan相同的方式进行网络参数调优，其网络参数训练的伪代码如算法1所示，r-sagan的判别器和生成器结构如图3所示。
[0052]
算法1.射电频谱图像生成模型训练算法
[0053][0054]
(1)生成器
[0055]
如附图3(a)所示，所述生成器包括依次相连的全连接层、第一残差单元、第一反卷积层、第二残差单元、第二反卷积层和第三反卷积层，所述全连接层用于进行reshape操作；所述第一残差单元和第二残差单元，用于对输入特征进行降维操作并减少模型参数引入；第一反卷积层和第二反卷积层的卷积核均为3*3，卷积步长为2，用于对图像进行上采样；第三反卷积层的卷积核为3*3，卷积步长为1，用于减少生成图像通道数，进一步与真实图像尺寸对齐；
[0056]
可以看出，本发明提出的r-sagan的生成器中在gan网络的基础上增加了两个自注意力层，自注意力层采用自注意力机制，其能够仅关注自身并从中抽取相关信息，从而减少对外部信息的依赖，能高效的捕获样本或特征的内部关联性，并有效的提高模型的效率。在自注意力机制中，注意力反映的不是源端的每个元素和目标端的每个元素的依赖关系，而是发生在源端内部元素或者目标端内部元素之间。
[0057]
原始的gan模型在相当程度上依赖于卷积来模拟不同图像区域之间的依赖关系，而卷积运算是基于一个局部感受域，只能在经过几个卷积层之后才能处理不同图像区域之间中依赖关系，这导致gan模型在生成图片时，适合合成几乎没有结构约束的图像类别，但却无法捕捉在某些类别中一直出现的几何结构模式。因此本发明将self-attention应用到卷积gan中是对卷积的补充，有助于模拟跨越图像区域的长距离、多级别依赖关系。self-attention的一般网络结构如图2所示。
[0058]
由上可知，生成器的目的是基于输入的高斯随机噪声输出服从真实数据分布的频谱图像。由于生成器的输入是隐向量z，因此在输入残差模块之前添加了一个全连接层，进行了reshape操作。整个生成器结构中包含由两个残差单元，每个残差单元都由三个反卷积
层和一个自注意力层组成。第一个反卷积层采用1*1卷积核对输入特征进行降维操作同时减少模型参数的引入，第二层和第三层的反卷积核均为3*3，卷积的步长都为1，采用等效填充，保证图像尺寸不发生变化。自注意力层可以对反卷积之后的特征图捕捉长距离的空间信息，使得有效特征得到增强，减少噪声对梯度更新的影响，提升网络的表达能力。每个残差单元后面连接有步长为2的反卷积层，对图像进行上采样。
[0059]
在整个网络的反卷积层之后都添加了批量归一化层(batch normalization,bn)，通过对输入数据进行批量归一化，加速生成器拟合真实频谱数据分布的过程。生成器的激活函数除第三反卷积层选用双曲正切函数(tanh)之外，其他层都选用线性修正单元(rectified linear unit,relu)作为激活函数。tanh作为损失函数将缓解模型中的梯度消失问题；relu计算比较简单，可以大幅提高运算速度，同时作为一种稀疏函数也可以减轻模型的过拟合程度。
[0060]
(2)判别器
[0061]
多头注意力机制(multi-head attention)集成了多个单头注意力，每个单头都进行独立的attention计算，本发明中通过对所有单头进行随机值初始化方式，赋予其不同的权重系数。最后通过对各个单头注意力计算结果的拼接(concat)，multi-head attention能够使用被单头注意力抛弃的不同序列位置的不同子空间的表征信息来进行数据处理，同时丰富模型表征的能力，提高模型稳定训练过程。
[0062]
所述判别器包括两个卷积核大小为3*3的卷积层以及两个多头注意力机制，每个多头注意力机制都有三个通道，每个通道都预先连接一个1*1的卷积来降低特征维度，并对三个通道的注意力计算结果进行拼接。
[0063]
判别器的目的是区分真实的频谱图像和生成的频谱图像，其输入是频谱图像，之后经过一个步长为2,卷积核大小为3*3的卷积层对原始图像进行特征提取，获得32通道的频谱图像特征图。整个判别器中包含两个multi-head attention，每个multi-head attention都有三个通道，每个通道都首先进行1*1的卷积来降低特征维度，但不同的通道有不同的权重系数，同时保证multi-head的输入输出特征尺寸一致。在multi-head attention模块之前还有相应的卷积层来进一步提取图像特征，减小特征图尺寸。
[0064]
在判别器的每层网络之后还添加了dropout系数，以随机丢弃一定网络权重的方式减轻判别器过拟合程度。判别器的激活函数采用泄露修正线性单元函数(leaky relu)，以避免出现当神经元未被激活时没有梯度更新的情况。
[0065]
2、基于r-sagan网络的频谱图像的数据增强方法
[0066]
训练好模型参数的r-sagan网络可用于进行频谱图像的数据增强，为了对比本发明算法的先进性和生成样本的有效性，在本实施例中同时采用了多种算法进行评估，基于r-sagan的频谱图像数据增强和爆发数据识别处理流程大致包括以下几个步骤，流程如图4所示：
[0067]
步骤1：获取原始太阳射电频谱数据，并利用该数据对gan、dcgan、lsgan和r-sagan网络进行训练；
[0068]
步骤2：利用训练好的gan、dcgan、lsgan和r-sagan网络分别对原始太阳射电频谱数据进行扩充，得到不同网络增强后的太阳射电频谱数据；
[0069]
步骤3：将不同网络增强后的太阳射电频谱数据划均分为训练数据、测试数据、验
证数据；
[0070]
步骤4：基于训练数据、测试数据、验证数据，通过神经网络分类器进行识别射电爆发数据；
[0071]
步骤5：对比不同网络所识别射电爆发数据结果。
[0072]
在上述步骤执行中，所有gan模型都进行了60000次迭代，最终生成60*60大小的频谱图像。在训练过程中，对各类模型采样5次，其生成效果如附图5所示。从图5中可以看出在迭代2000次左右的时候，r-sagan已经出现了比较明显的爆发特征，而lsgan和dcgan依然看不出任何图像特征。随着迭代次数的增加，gan和lsgan逐渐形成具有爆发特征的频谱图像，但从局部细节上分析，这两个模型所生成的图像带有大量随机噪声，同时存在少量无效样本。采用卷积网络的dcgan模型没有出现无效样本，但是其形成的爆发特征比较模糊，图像质量不高。可以看出，r-sagan在较短的训练批次内，其生成器就能够生成具有明显特征的频谱样本，在同一批次的表现也好于其他模型，随着训练的继续，所生成的样本清晰度逐渐提升，频谱爆发特征愈加明显，样本质量和多样性也持续升高，模型损失最终在50000次左右达到收敛。
[0073]
另外，本发明采用两个常用的gan评价指标is和fid来对gan、lsgan、dcgan和r-sagan的生成图像效果进行定量评估。is在评价过程中借助了辅助网络inceptionv3，在评价时只对生成图像进行分类，利用inceptionv3网络输出结果的分布特点在一定程度上衡量生成样本的多样性和准确性，is值越高则说明生成图像的质量越高。在图像生成领域更为常用的指标为fid。fid从分布相似性的角度评价生成图像的质量，能较为客观的描述生成图像的效果。fid是计算真实图像和生成图像在特征层面的距离，fid值越低意味着生成的图像有更高的质量和多样性。评价结果如表1所示。从表2可以看出，r-sagan的fid值和is值比dcgan各自提高了70.82和0.10；相较于目前主流的gan模型，r-sagan在生成太阳射电频谱图像质量和多样性上有更好的表现。表明本方法所生成的频谱图像特征明显、细节清晰、具有样本丰富和质量高等特点，可以进行样本增强，能有效扩充太阳射电频谱数据集的样本数量。
[0074]
表1不同gan模型的is和fid分数
[0075][0076]
最后，将增强后的数据划分为不同的训练、测试和评估数据集，并对分类器进行充分训练，训练好的分类算法最终可以用于射电爆发频谱数据的分类识别任务。为了验证r-sagan模型的生成能力以及能否提高分类器的精度，首先利用训练好的生成网络模型，依次向gan、lsgan、dcgan和r-sagan模型输入噪声信号；然后利用生成器的输出图像向原始太阳射电频谱数据集添加格外的样本，弥补数据集中不同类型样本间的数量差异，完成对数据集的数据增强；最后对扩充后的频谱数据集进行了射电爆发分类识别验证实验。
[0077]
扩充后的射电频谱数据集各类样本均为6670张，每张图片的尺寸大小都为60*60，采用四层卷积网络进行分类实验。实验设置训练集占比为80％，测试集为20％。训练过程中每批喂入网络128张图像，循环迭代300次，每次循环结束后先将训练集打乱再进行下一步
训练。
[0078]
表2为太阳射电频谱数据集在不同gan模型进行数据增强后的分类识别结果对比。从实验结果中可以看出，r-sagan是所有方法中对分类器识别精度提升最为显著的，其分类器在保证对爆发数据和校准数据的识别精度不显著减小的同时，将非爆发数据的识别精度提高了将近1％。这表明r-sagan相比于其他gan模型可以生成图像质量更高，样本更丰富度的射电频谱图像，可以进一步有效提高分类模型的性能，说明本文针对频谱数据增强所设计的r-sagan模型结构和算法更加有利于分类器的精度提升。图6是最后的实验损失函数和精度曲线。
[0079]
表2不同gan模型在射电频谱图像分类中的表现
[0080][0081]
3、实验结果
[0082]
经过与多个生成网络的图像生成过程、图像生成质量和对分类实验精度影响的对比，都验证了本算法的先进性，证明通过本发明提出的r-sagan网络进行频谱图像的数据增强，能够使其样本数量和样本质量得到大幅提高，解决各类频谱样本分布不均衡的问题，从而使得一般的分类器不再受到训练频谱数据的限制，得到更优的网络参数，最终能够大幅提高太阳射电爆发频谱的识别精度。从表2可以看出，r-sagan将太阳射电频谱图像的平均识别精度提升为98.93％。
[0083]
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。