基于稀疏深度神经网络的调制信号识别方法及系统

1.本发明属于调制信号识别技术领域，具体涉及一种基于稀疏深度神经网络的调制信号识别方法及系统。


背景技术：

2.在非协作通信系统中，自动调制识别技术作为一种关键技术，是频谱监测过程中的重要组成部分，在认知无线电频谱感知、战场信号截获等军民应用领域发挥着重要作用。近些年，自动调制识别技术作为一种非协作通信系统中的关键技术，一直是通信界的主要研究课题之一。随着对电磁信号调制识别精度和效率的要求越来越高，基于深度学习技术的自动调制识别技术逐渐成为研究热点。卷积神经网络(convolutional neural network,cnn)作为深度学习的一个分支，凭借其在图像分类上的优越性能，能够把调制信号的识别问题转化为图像分类问题。
3.现有技术中，已有很多相应的技术方案，例如申请号为201710720483.6的中国专利中，公开了一种基于深度学习的无线通信调制信号识别方法，该专利申请中对捕获到的待识别调制信号进行采样；对采样所得到的采样序列进行归一化，根据归一化后的采样序列制作调制信号的二维直方图；构建深度卷积神经网络；利用训练样例训练深度卷积神经网络；利用训练好的深度卷积神经网络识别无线通信调制信号。该申请中调制信号的识别效果不依赖人工对于特征的选择和提取，并且在低信噪比的情况下也有很高的识别正确率。
4.再例如，申请号为201811612118.4的中国专利申请中，公开了一种基于星座图的信号调制样式识别方法，该专利申请中利用深度学习中的卷积神经网络对星座图进行特征提取，自动学习到星座图的局部区域位置、方向信息等抽象特征，通过对星座图分类来完成对信号调制样式的识别；可以同时识别多种信号调制样式，可以在低信噪比下准确地识别信号调制样式，具有较好的泛化能力，可通过输入更多不同信号调制样式类型、不同信噪比条件下的数据集来提高识别能力。
5.然而对于神经网络来说，随着网络层数和神经元数量的增加，网络性能会有一定的提高，但随之而来的是内存和计算成本的增加，这一特点限制了将基于深度学习的调制信号分类模型部署于资源受限的设备中。


技术实现要素：

6.技术问题：本发明着眼于低复杂度约束条件下调制信号的识别问题，提供一种基于稀疏深度卷积神经网络的调制信号识别方法及系统，在不影响精度的前提下，降低了模型参数量和计算量，以便于部署于在资源受限的设备上。
7.技术方案：本发明一方面，提供一种基于稀疏深度神经网络的调制信号识别方法，包括：
8.提取调制信号图像特征；
9.构建神经网络模型，所述神经网络模型包括特征提取网络和特征分类网络，所述特征提取网络和特征分类网络均包括若干个卷积层，每一卷积层的relu激活前引入bn层，利用bn层的缩放因子γ与每一卷积层的输出通道相关联；
10.对所述神经网络模型进行压缩，首先对构建好的神经网络模型进行稀疏正则化训练，然后按照剪枝率修剪模型冗余的通道，最后模型再次训练对参数进行微调，恢复因剪枝而损失的精度；
11.将调制信号图像特征输入压缩好后的神经网络模型中识别调制信号的类型。
12.进一步地，所述提取调制信号图像特征包括：对调制信号正交解调，获取i/q两路数据绘制信号的星座图，然后基于星座图中各信号点密度对星座图上色，增强星座图特征。
13.进一步地，所述调制信号类型包括4ask、bpsk、qpsk、oqpsk、8psk、16qam、32qam、64qam。
14.进一步地，所述对构建好的模型进行稀疏正则化训练时，对缩放因子γ实施稀疏性惩罚，在原来的损失函数中增加一项关于γ的正则化，让缩放因子与网络权重一起被优化，以获得稀疏的网络结构。
15.进一步地，所述按照剪枝率修剪模型冗余的通道时，按从小到大的顺序对缩放因子γ的绝对值排序，然后为整个网络所有层设置剪枝率作为所有缩放因子值的一个比例，剪枝时按照这个比例剪掉网络中相应的通道。
16.进一步地，所述的所述特征提取网络为alexnet网络的特征提取网络，包括5个卷积层；
17.所述特征分类网络包括3个卷积层。
18.进一步地，所述方法还包括对神经网络模型的训练和性能评估，将总体识别率作为模型识别性能的评估指标；将模型参数量作为模型存储规模的评价指标；将flops作为模型计算速度的评价指标。
19.本发明另一方面，提供一种基于稀疏深度神经网络的调制信号识别系统，包括：
20.特征提取单元，其配置为提取调制信号图像特征；
21.模型构建单元，其配置为构建神经网络模型，所述神经网络模型包括特征提取网络和特征分类网络，所述特征提取网络和特征分类网络均包括若干个卷积层，每一卷积层的relu激活前引入bn层，利用bn层的缩放因子γ与每一卷积层的输出通道相关联；
22.压缩单元，其配置为对所述调制信号模型进行压缩，首先对构建好的模型进行稀疏正则化训练，然后按照剪枝率修剪模型冗余的通道，最后模型再次训练对参数进行微调，恢复因剪枝而损失的精度；
23.识别单元，其配置为将调制信号图像特征输入压缩好后的神经网络模型中识别调制信号的类型。
24.进一步地，所述系统还包括评估单元，其配置为对分类神经网络模型训练和性能评估，其中，将总体识别率作为模型识别性能的评估指标；将模型参数量作为模型存储规模的评价指标；将flops作为模型计算速度的评价指标。
25.有益效果：本发明与现有技术相比，具有以下优点：
26.(1)本发明的实施例中利用正交解调获取信号的i/q两路数据，并绘制信号的星座图，基于星座图中的信号点密度对星座图上色，使各调制类型的星座图特征区分度更加明
显。
27.(2)本发明的实施例中，基于alexnet模型，将卷积层代替分类网络中全连接层用于特征分类，使网络成为全卷积网络：一方面，相较于之前的全连接层更加灵活，不需要限定输入图像的分辨率；另一方面，相较于之前的全连接层更加高效，只需要做一次前向计算，节约了计算。而且在每一卷积层的relu激活前引入bn层：一方面加速了网络训练；一方面引入bn层的缩放因子γ与每一卷积层的输出通道相关联，评估各通道的重要性。
28.(3)本发明的实施例中，通过在原来的损失函数中增加一项关于γ的正则化，联合缩放因子与网络权重，通过稀疏正则化训练，剪枝和微调对模型进行压缩，在保证了识别精度的前提下，减少了网络中冗余的通道，较大程度的降低了模型参数量和计算量，从而便于在资源受限的设备中部署。
附图说明
29.图1为本发明实施例中基于稀疏深度神经网络的调制信号识别方法的流程图；
30.图2为基于点密度对星座图上色示意图；
31.图3为在不同信噪比下特征增强后的星座图；
32.图4为改进的alexnet模型结构图；
33.图5为模型卷积层剪枝示意图；
34.图6为模型微调示意图；
35.图7为各剪枝率下剪枝前后识别率对比图；
36.图8为50％剪枝率下剪枝前后卷积层通道数对比图；
37.图9为本发明实施例中基于稀疏深度神经网络的调制信号识别系统的框图。
具体实施方式
38.下面结合实施例和说明书附图对本发明作进一步的说明。
39.本发明的实施例中，选用8类常见的数字调制信号作为待识别调制信号，分别是4ask、bpsk、qpsk、oqpsk、8psk、16qam、32qam和64qam。
40.这8类调制信号的基带波形公式如下所示：
[0041][0042]
其中，g(t)为等效滤波器；v(t)为加性高斯白噪声；an为调制信号符号序列，不同调制信号的信号序列具体设计如下。
[0043]
对于ask类信号，有
[0044]an
＝in+jqn[0045]
其中，qn＝0，in∈{1，2...,m-1}，m为调制进制数。
[0046]
对于psk类信号，有
[0047][0048]
对于qam类信号，有
[0049]an
＝in+jqn[0050][0051]
其中，m表示调制进制数。
[0052]
本发明第一方面，提供一种基于稀疏深度神经网络的调制信号识别方法。如图1所示，该方法包括：
[0053]
步骤s100：提取调制信号图像特征。在本发明实施例中，对调制信号正交解调，获取i/q两路数据绘制信号的星座图，然后基于星座图中各信号点密度对星座图上色，增强星座图特征。
[0054]
通过调制信号的i/q两路数据绘制出信号星座图后，以每一信号点为中心，为各点划定边长为r的矩形区域，分别计算星座图中各信号点在各自矩形区域的信号点个数d，也即矩形区域的密度表征，依据d的大小为各信号点上色，以增强图像特征。以8psk为例，星座图依据点密度上色示意图如图2所示。
[0055]
将特征增强后的星座图依照各调制类型分类存储，并划分为训练集和测试集。在信噪比为0db、6db以及10db的高斯白噪声下，利用点密度对星座图增强后的效果图如图3所示。
[0056]
步骤s200：构建神经网络模型，所述神经网络模型包括特征提取网络和特征分类网络，所述特征提取网络和特征分类网络均包括若干个卷积层，每一卷积层的relu激活前引入bn层，利用bn层的缩放因子γ与每一卷积层的输出通道相关联。
[0057]
其中，缩放因子γ与bn层的关系如下所示：
[0058][0059]
式中xi为输入，bn
γ,β
(xi)为输出，μb，分别是输入的均值和方差，γ，β分别是bn层的缩放因子和偏移因子，ε为常数项。
[0060]
在本发明的实施例中，整个神经网络模型是基于alexnet模型结构进行构建的，在alexnet模型中，先采用卷积层提取图片特征，然后采用全连接层对特征分类。在本发明的实施例中，对于神经网络模型，在特征提取网络中，仍然采用卷积层提取图片特征，但在特征分类网络中，用卷积层代替全连接层用于特征分类。并且，在本实施例中，在每一卷积层的relu激活前引入bn层，利用bn层的缩放因子γ与每一卷积层的输出通道相关联，以此评估各通道的重要性。详细的，神经网络模型的网络结构如图4所示。
[0061]
结合图4，神经网络模型的特征提取网络包括依次设置的block1层、最大池化层maxpool2d、block2层、最大池化层maxpool2d、block3层、block4层、block5层、最大池化层maxpool2d；特征分类网络为依次设置的block6层、block7层、block8层、平均池化层avgpool2d。
[0062]
在本示例中，对于block1，输入为3
×
224
×
224，输出为48
×
55
×
55；对于经过第一个最大池化层maxpool2d池化后，输出为48
×
27
×
27；对于block2，输入为48
×
27
×
27，输出为128
×
27
×
27；对于经过第二个最大池化层maxpool2d池化后，输出为128
×
13
×
13；对于block3，输入为128
×
13
×
13，输出为192
×
13
×
13；对于block4，输入为192
×
13
×
13，输出为192
×
13
×
13；对于block5，输入为192
×
13
×
13，输出为128
×
13
×
13；对于经过第三个最大池化层maxpool2d池化后，输出为128
×6×
6；从而完成特征提取，并进入特征分类网络。
对于block6，输入为128
×6×
6，输出为64
×6×
6；对于block7，输入为64
×6×
6，输出为32
×6×
6；对于block8，输入为32
×6×
6，输出为8
×6×
6；经过平均池化层池化后，输出8
×1×
1；就最后经过展平后，即可输出。
[0063]
对于特征提取网络和特征识别网络中，每个block层由三部分组成，分别是卷积层、批归一化层(bn)、relu激活层。卷积层用于提取图片特征；批归一化层用于对特征数据归一化，加快网络训练；relu激活层用于加入非线性因素，提高模型的表达能力。
[0064]
步骤s300：对所述调制信号模型进行压缩，首先对构建好的模型进行稀疏正则化训练，然后按照剪枝率修剪模型冗余的通道，最后模型再次训练对参数进行微调，恢复因剪枝而损失的精度。
[0065]
构建好深度神经网络后，为了让网络自动识别不重要的通道，对缩放因子γ实施稀疏性惩罚，在原来的损失函数中增加一项关于γ的正则化，让缩放因子与网络权重一起被优化。公式如下所示：
[0066][0067]
其中x,y是训练输入和目标，w是网络中可训练参数，g(
·
)是在缩放因子上的惩罚项，λ是两项的平衡因子。第一项是训练损失函数，第二项是稀疏正则化项。
[0068]
基于上式函数l利用构建好的深度神经网络对划分好的训练集进行稀疏正则化训练，获取稀疏深度神经网络。
[0069]
通过稀疏正则化训练后，模型中许多缩放因子都会趋于0。接着按从小到大的顺序对缩放因子的绝对值排序，然后为整个网络所有层设置剪枝率作为所有缩放因子值的一个比例，剪枝时按照这个比例剪掉网络中相应的通道。如图5所示，卷积层卷积核数目与输出通道特征图一一对应，虚线矩形框对应的缩放因子在剪枝范围内，剪枝后，经过剔除冗余的卷积核，就可以得到一个较少参数、运行时占内存小、低计算量的紧凑网络。
[0070]
经过较大规模的剪枝后，模型中各卷积层冗余的通道被剔除，网络性能会有所降低，为了恢复网络性能，需要对压缩后的模型进行微调(再训练)。如图6所示，将上色星座图输入剪枝后的模型，调整网络权重，恢复因剪枝损失的精度，其中s(s＝{s1,s2,...,sn},n＝8)为剪枝前各卷积层通道数集合，sp(sp＝{p1,p2,...,pn},n＝8)为剪枝后通道数集合，pi《si(i＝1,2,...,8)。
[0071]
步骤s400：将调制信号图像特征输入压缩好后的神经网络模型中识别调制信号的类型。
[0072]
在本发明的实施例中，所用信号集包含4ask、bpsk、qpsk、oqpsk、8psk、16qam、32qam、64qam八种信号类型。这8种调制信号的生成均是由matlab仿真生成，信道环境是加性高斯白噪声，信噪比范围是0db到10db。数据集规模比例为训练集:测试集＝7:3。训练集每类调制信号每个信噪比下生成700个样本，测试集每类调制信号每个信噪比下生成300个样本，每个样本均由10000个采样点生成。神经网络模型搭建部分使用python语言实现，使用的深度学习框架为pytorch，选取adam作为优化器，使用nvidiagtx1660super对gpu计算加速。
[0073]
基于上述增加稀疏正则化项的损失函数(交叉熵函数)对深度神经网络进行稀疏正则化训练，分别依照40％，50％，60％，70％，80％这五种剪枝率对稀疏化后的模型进行剪
枝和微调。评估剪枝后模型通道数和微调后的模型识别率，选择最佳剪枝率。如下表(p＝0代表原模型(压缩前))所示，随着剪枝率的提高，模型通道数逐渐降低；如图6所示，随着剪枝率的提高，模型识别率逐渐降低。为了兼顾识别率和压缩率，选取50％为剪枝率，总体识别率为96.8％，较原模型几乎没有损失，且压缩率较高。
[0074][0075]
在选取了最佳剪枝率后，为了进一步分析该剪枝率下模型压缩情况，以模型参数量作为模型规模的评价指标，以flops(每秒浮点运算次数)作为模型运行速度的评价指标。剪枝前后模型通道数变化情况如图7所示。本发明的示例中原模型(压缩前)和稀疏模型(压缩后)的资源消耗如下表所示。
[0076][0077]
通过以上实验结果可以发现，选取50％为剪枝率，如图8所示，利用稀疏化通道模型剪枝算法修剪了网络中冗余的通道后，网络中卷积层的参数量减少了72％，计算量(flops)减少了45％，但是模型识别精度几乎没有下降，一方面验证了原模型是过参数化的，另一方面也验证了本发明方法的有效性。相对于现有技术，在不影响精度的前提下，降低了模型参数量和计算量，从而便于部署在资源受限的设备中。
[0078]
本发明的第二方面，提供一种基于稀疏深度卷积神经网络的调制信号识别系统。如图9所示，本示例中的系统包括特征提取单元，其配置为提取调制信号图像特征；
[0079]
模型构建单元，其配置为构建神经网络模型，所述神经网络模型包括特征提取网
络和特征分类网络，所述特征提取网络和特征分类网络均包括若干个卷积层，每一卷积层的relu激活前引入bn层，利用bn层的缩放因子γ与每一卷积层的输出通道相关联；
[0080]
压缩单元，其配置为对所述调制信号模型进行压缩，首先对构建好的模型进行稀疏正则化训练，然后按照剪枝率修剪模型冗余的通道，最后模型再次训练对参数进行微调，恢复因剪枝而损失的精度；
[0081]
识别单元，其配置为将调制信号图像特征输入压缩好后的神经网络模型中识别调制信号的类型。
[0082]
对于各个单元具体如何实现其功能，与上文中对于方法的说明相一致。
[0083]
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。