基于融合特征和组卷积ViT网络的信号类型识别方法及系统

本发明属于电磁信号的自动调制识别，尤其涉及基于融合特征和组卷积vit网络的信号类型识别方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着现代社会对频谱资源需求的增加，电磁环境日益复杂。认知无线电技术作为一种频谱管理方式可有效提高频谱利用效率，应对复杂的电磁环境挑战。自动调制识别方法可帮助认知无线电系统辨别不同调制方式的信号，从而更智能地适应多样化的通信场景。自动调制识别方法通过分析信号的调制特征，比如幅度、相位、频率等特征，来识别出信号的调制方式。在电子干扰、目标识别、无线电检测等军事和民用领域有广泛应用。

3、传统的自动调制识别方法分为基于相似性和基于特征的两大类，然而，基于相似性的方法计算复杂度高，而基于特征的方法则受特征选取的依赖。这促使了基于深度学习的自动调制方法（dl-amr）的兴起，取代了传统方法的不足。早期的dl-amr主要采用卷积神经网络（cnn）和递归神经网络（rnn），但是cnn难以捕捉长距离依赖，而rnn对时序信号的顺序处理导致长期记忆能力下降。因此，为了解决这些问题，研究开始引入在自然语言处理领域取得显著效果的transformer模型。

4、其中，一种主流方式是利用transformer直接处理一维信号序列，因为transformer能够在全局范围内建模序列之间的依赖关系，从而适应不同长度和复杂度的调制信号序列。然而，一维信号序列仅包含信号的时域信息，缺乏频域信息以及信号的局部特征和动态变化信息。

5、随着vision transformer（vit）网络在计算机视觉领域的卓越表现，将其引入自动调制识别领域，对信号的特征进行处理，但是vit网络缺乏cnn网络自身强大的归纳偏置能力，在小规模数据集上的效果有所降低。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于融合特征和组卷积vit网络的信号类型识别方法及系统，融合了调制信号的时频图特征和可视化网络特征，利用多组卷积残差网络对传统vit模型归纳偏置层进行了优化，从而显著提升了网络的分类准确性和泛化能力。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、第一方面，公开了基于融合特征和组卷积vit网络的信号类型识别方法，包括：

4、将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

5、采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

6、将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

7、融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；

8、多组卷积残差网络提取的深度特征被送入transformer encoder中，利用多头自注意力机制的全局建模能力，进一步提取全局特征。

9、作为进一步的技术方案，将调制信号变换到时频域，得到时频图，具体过程为：

10、将采集的不同调制类型的电磁信号，存储为同相/正交分量形式，电磁信号为时域调制信号；

11、通过短时傅里叶变换将时域调制信号转换为时频域，得到时频图。

12、作为进一步的技术方案，通过短时傅里叶变换将时域调制信号转换为时频域，具体为：

13、选择汉宁窗作为窗口函数，在时域调制信号上滑动窗口，实现将输入时域调制信号分为成许多帧，将窗口函数应用于每个帧，通过将窗口函数的形状乘以与窗口函数重叠的信号片段实现，对每个窗口化的帧应用傅里叶变换，将时域信号转换为频域信号；

14、对于每个时刻的频谱信息，通过将它们进行重叠相加，得到最终的时频表示。

15、作为进一步的技术方案，在输入信号的两端填充零值的方法来执行傅里叶变换。

16、作为进一步的技术方案，还包括对时频图应用标准化预处理。

17、作为进一步的技术方案，采用可视图算法将调制信号转化为时间序列可视化网络，具体包括：

18、针对采集的电磁信号是具有多个样本点的时间序列，将时间序列的每个样本点作为可视图的节点，得到可视图节点集合；

19、在可视图算法里，相邻的两个节点是相连的，对于不相邻的节点，满足可视规则的两个节点是相连的；

20、基于可视规则，得到时间序列可视化网络。

21、作为进一步的技术方案，将时频图和时间序列可视化网络分别输入特征融合模块，得到融合特征；

22、特征融合模块中，通过初始化卷积层，使用卷积核进行特征提取；

23、最大池化层用于降低特征图的空间维度，同时保留主要的特征；

24、融合时频图和时间序列可视化网络用于全面捕捉信号的时频特性和时域演变规律。

25、作为进一步的技术方案，将融合特征输入多组卷积残差网络中进行特征提取，获取调制信号的更高级、复杂特征；

26、多组卷积残差网络具有多个卷积块级联的形式，并带有跳跃连接，用于提取调制信号的深度特征，用于分析出多尺度时空信号相关性。

27、作为进一步的技术方案，所述多组卷积残差网络有两个基础结构，分别为c-block和cx-block；

28、c-block对应输入通道数和输出通道数相同的情况，用来加深网络，通过增加层次来提高网络的表示能力；

29、cx-block对应输入通道数和输出通道数不同的情况，用来改变网络的维度，通过调整通道数，cx-block用来控制网络中信息的流动和维度的变化；

30、所述多组卷积残差网络通过交替使用cx-block和c-block，以及残差连接和池化操作，形成深度网络结构，提升多层次、多尺度的图像特征。

31、作为进一步的技术方案，所述c-block结构先通过第一个卷积核进行通道数的降维，再通过卷积核用于捕获更大范围的特征，残差连接为了梯度消失或者梯度爆炸，同时加速训练过程。

32、作为进一步的技术方案，还包括：将多组卷积残差网络提取的深度特征进行展平，得到具体的特征维度，然后通过线性层改变特征维度到vit网络的常数隐藏向量，接着组合一个class token，其通过transformer encoder后的状态代表图像输出表示，和可学习的随机初始化的位置信息相加；

33、将添加完位置信息的多组卷积残差网络嵌入层的序列送入transformer encoder中，transformer encoder包含4层，每个层都由多头自注意力机制和前馈网络组成，层归一化被应用在层之前，在每层之后还应用残差连接；

34、前馈网络先将每个位置的特征映射到更高维度的表达空间，再映射回原来维度，通过两个全连接层和激活函数实现，最后，通过线性层对提取的特征进行分类。

35、作为进一步的技术方案，所述多头自注意力机制形成过程为：

36、将输入序列经过线性映射层映射为三个子空间，查询空间、键空间、值空间，8个注意力头分别学习子空间的不同表示，自注意力头是值空间的加权和，权重是由查询空间和键空间计算得到的，然后对每个头的自注意力计算进行拼接和线性变换，最终形成多头自注意力机制。

37、第二方面，公开了基于融合特征和组卷积vit网络的信号类型识别方法及系统，包括：

38、时频图获取模块，被配置为：将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

39、时间序列可视化网络获取模块，被配置为：采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

40、特征融合模块，被配置为：将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

41、多组卷积残差网络处理模块，被配置为：融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；

42、transformer encoder处理模块，被配置为：将多组卷积残差网络提取的深度特征送入transformer encoder中，利用多头自注意力机制的全局建模能力，进一步获取其调制信号的全局特征。

43、以上一个或多个技术方案存在以下有益效果：

44、本发明技术方案的网络充分结合了多组卷积残差网络的归纳偏置能力和vit多头自注意力机制模块的全局建模能力，实现了对调制信号的局部深度特征和全局特征的提取，从而显著提升了网络的分类准确性和泛化能力。

45、本发明技术方案多组卷积残差网络通过交替使用cx-block和c-block，以及残差连接和池化操作，形成深度网络结构，有助于提升多层次、多尺度的图像特征，从而提高网络的表示能力。通过多组卷积残差网络代替传统vit网络的块嵌入层，利用这种cnn网络架构自身的归纳偏置作用，弥补了传统vit网络对于输入二维位置信息的缺失。同时残差连接结构有助于缓解梯度消失问题，使得网络在训练过程中更稳定。

46、本发明技术方案融合时频图和时间序列可视化网络能够全面捕捉信号的时频特性和时域演变规律，有助于更全面地理解信号的结构和动态特征。特征融合有助于提高模型的鲁棒性，使其对噪声和干扰具有更好的适应性。通过同时考虑不同表征的信息，模型可以更好地应对复杂的实际环境。

47、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。