基于注意力深度网络的无线电信号特征提取方法与流程

本发明属于通信技术领域，更进一步涉及信号处理技术领域中的一种基于注意力深度网络的无线电信号特征提取方法。本发明模拟人类大脑信息处理机制中的视觉选择性注意力机制，可以在复杂的电磁环境下，通过自动提取无线电信号特征和快速筛选出高价值特征，用于后续无线电信号的认知识别。相比已有深度学习模型，本发明不仅具有计算复杂度低、参数规模小、易于硬件实现的特点，而且能在较低信噪比下获得准确的无线电信号调制编码方式的识别。

背景技术：

无线电信号特征提取是无线电信号处理的基本步骤，对于后续处理性能与效率均起着决定性作用。一直以来国内外各大科研机构和高校在无线电信号的特征提取领域做出了大量的工作，利用大量的专家先验知识对信号进行分析，以获得具有判别性的信号特征。特别是近年来随着通信环境的日益复杂，信号种类和干扰快速增加，这种依赖经验设计特征的方法面临诸多困难与局限，缺点也愈发突出。另一方面，尽管基于传统方法的无线电信号信道编码类型的识别能在某类信号上能达到较满意的识别率，但在编码调制联合认知识别的准确性和有效性上有待进一步发展和提高。因此我们引入机器学习技术，并基于人类大脑信号处理机制中的视觉选择性注意力机制，建立了一个注意力深度网络模型，以自动提取各类无线电信号的层次化的显著语义特征，为复杂电磁环境下精准有效的无线电信号认知识别提供具有判别力的特征。

南京信息职业技术学院在其申请的专利文献“一种低信噪比条件下认知无线电信号调制方式的识别方法”(申请号201210438094.1公开号103812577b)中公开了一种低信噪比条件下认知无线电信号调制方式识别方法。该方法实现方法如下：步骤如下：(1)对接收信号进行分段频域滤波；(2)检测信号频谱中正弦波分量个数，若包含两个正弦波分量，则判定接收信号为fsk调制方式；若不满足，则执行步骤(3)；(3)将接收信号作平方运算，检测其频谱中的正弦波分量个数，若只有单个正弦波，则接收信号为bpsk调制方式；若包含两个正弦波分量则判定接收信号为msk调制方式；若上述皆不满足，则执行步骤(4)；(4)将接收信号作四次方运算，检测其频谱中的正弦波分量个数，若只有单个正弦波分量则判定接收信号为qpsk调制方式，上述皆不满足则判为未知调制方式信号。该方法存在的不足之处是：该方法虽然提出了一种低信噪比条件下认知无线电信号调制方式识别方法，但是该方法在对信号进行特征提取时需要频域转换和复杂的数学运算，需要大量的先验知识，高度依赖人工特征提取，特征提取方法复杂。

杜青等人在其发表的论文“基于小波分析与神经网络的无线信号分类方法的研究”(河北工业大学2007年硕士论文)中阐述了一种基于小波分析与神经网络的无线信号分类方法。该算法实现方法如下：第一步是特征提取,采用daubechies小波对信号进行七层分解和重构,研究了以各层信号的均方差作为信号的特征矢量的方法。第二步是调制方式分类,设计了用于实现调制信号分类的rbf神经网络,用提取的样本集的特征对rbf神经网络进行训练,用训练好的网络对测试集的信号进行分类。该方法存在的不足之处是：该方法虽然提出了一种基于神经网络的无线电特征提取方法来实现信号分类，但无法对无线电信号进行有效的特征提取，从而无法实现无线电信号调制编码方式的识别，并且该方法需要对一维信号进行小波分析才能用神经网络进行特征提取和分类识别的问题。

技术实现要素：

本发明针对上述现有技术的不足，提出一种基于注意力深度网络的无线电信号特征提取方法。

实现本发明目的的具体思路是，设计针对一维无线电信号的注意力深度网络进行无线电信号特征提取，为后续无线电信号的认知识别等处理提供有判别力的特征。该方法所提取出的特征能够在无线电信号调制编码的联合识别中达到较高的识别率，同时又能降低传统调制识别方法对人工特征提取和先验知识的高度依赖性，准确分类多种无线电信号的信道编码方式类型和调制方式类型，并简化了识别步骤，使无线电信号的特征提取方法更加简便、高效、灵活。

实现本发明目的的具体步骤包括如下：

(1)构建编码调制联合无线电信号：

(1a)将接收到的每一个无线电信号信息序列，依次进行四种信道编码，生成不同的编码信号；

(1b)将每一个编码信号依次进行六种调制，得到编码调制联合无线电信号；

(2)生成训练样本集和测试样本集：

(2a)对编码调制联合无线电信号中每一个信号样本的所有信息点以100个信息点为间隔进行采样，将每次连续采集的440个信息点组成一个信号样本，将所有的信号样本组成无线电信号样本集；

(2b)从无线电信号样本集中随机抽取80％的信号样本组成训练样本集，剩余的信号样本组成测试样本集；

(3)构建提取无线电信号特征的注意力深度网络：

(3a)搭建一个自动提取无线电信号特征的17层注意力深度网络；

(3b)设置注意力深度网络中的损失函数为交叉熵、优化算法为误差逆传播算法、激活函数设置为修正线性单元激活函数；将第一全连接层和第二全连接层的神经元个数分别设置为64和24，分类器层为多分类函数softmax；

(3c)设置注意力深度网络的卷积层和池化层设置如下：第一卷积层为64个卷积核，每个卷积核为1×3的矩阵；第二卷积层为64个卷积核，每个卷积核为1×5的矩阵；第三卷积层为128个卷积核，每个卷积核为1×3的矩阵；第四卷积层为128个卷积核，每个卷积核为1×5的矩阵；第五卷积层为256个卷积核，每个卷积核为1×3的矩阵；第六卷积层为256个卷积核，每个卷积核为1×5的矩阵；设置第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的池化方式为最大池化方式，池化步长为2；第五池化层的输出结果为256个1×16的特征向量；

(4)构建注意力深度网络的注意力机制层：

(4a)将注意力机制层的输入设置为256个神经单元，并将第五池化层输出结果中的256个特征向量依次作为256个神经单元的输入值，得到每个神经元的输入值；

(4b)利用初始化方法，将256个神经单元中每一个神经元的权重和偏置初始化，得到每个神经单元的初始化权重和初始化偏置；

(4b)对于每个神经单元，将其输入值与初始化权重相乘,再将相乘的结果与初始化偏置相加，得到每个神经单元的初始注意力权重；

(4c)利用权重处理公式，将每个神经单元的初始注意力权重处理，得到每个神经单元的权重值；

(4d)对每个神经单元的权重值分别进行以自然对数为底数的指数操作，得到每个神经单元的注意力权重；

(4e)对于每个神经单元，将其注意力权重与输入值相乘，得到每个神经单元的注意力特征值；

(4f)将所有神经单元的注意力特征值相加求和，得到注意力值，将注意力值作为注意力机制层的输出结果；

(5)用训练样本集训练注意力深度网络：

打乱训练样本集中所有样本的排列顺序，将训练样本集输入到注意力深度网络中训练18次，得到训练好的注意力深度网络；

(6)用测试样本集获得特征提取后的识别准确率：

(6a)将测试样本集输入到训练好的注意力深度网络中，得到识别结果；

(6b)将识别结果与测试样本集的真实类别进行对比，得到特征提取后的识别准确率。

本发明与现有技术相比具有以下优点：

第一，由于本发明搭建一个自动提取无线电信号特征的17层注意力深度网络，用于对信号进行自动特征提取，克服了现有技术中对信号进行特征提取时需要频域转换和复杂数学运算，并且需要大量的先验知识的问题，使得本发明可以在对无线电信号进行自动特征提取时，不依赖大量先验知识，从而使无线电信号的特征提取方法更加简便、灵活，增强了注意力深度网络的普适性。

第二，由于本发明对编码调制联合无线电信号中每一个信号样本的所有信息点以100个信息点为间隔进行采样，将每次连续采集的440个信息点组成一个信号样本，将所有的信号样本组成无线电信号样本集，克服了现有技术中需要对一维信号进行小波分析才能用神经网络进行特征提取和分类识别的问题，使得本发明可以直接对一维信号进行特征提取，简化了无线电信号特征提取的步骤，从而提高了无线信号特征提取和分类识别的效率。

第三，由于本发明构建注意力深度网络的注意力机制层，通过注意力机制对神经网络的权重赋值，将计算资源分配给更重要、更有效的特征，去除信号特征提取过程中的冗余信息，克服了现有技术无法对无线电信号进行有效的特征提取的问题，使得本发明无线电信号特征提取的过程更加高效，提高了无线电信号调制编码方式识别的准确率。

附图说明

图1为本发明的流程图；

图2是本发明仿真实验所用的24种编码调制联合信号的波形示意图；

图3是本发明仿真实验的结果图。

具体实施方式

下面结合附图对发明做进一步描述。

参照附图1，对本发明的具体步骤做进一步的描述。

步骤1，构建编码调制联合无线电信号。

将接收到的每一个无线电信号信息序列，依次进行四种信道编码，生成不同的编码信号。

所述的四种信道编码是指，汉明码信道编码、二分之一码率的216非系统卷积码信道编码、三分之二码率的216非系统卷积码信道编码、四分之三码率的432非系统卷积码信道编码。

将每一个编码信号依次进行六种调制，得到编码调制联合无线电信号。

所述六种调制是指，二进制相移键控调制、四进制相移键控调制、八进制相移键控调制、二进制数字频率调制、二进制数字频率调制与频率调制结合的二次调制、四进制相移键控与频率调制结合的二次调制。

步骤2，生成训练样本集和测试样本集。

对编码调制联合无线电信号中每一个信号样本的所有信息点以100个信息点为间隔进行采样，将每次连续采集的440个信息点组成一个信号样本，将所有的信号样本组成无线电信号样本集。

从无线电信号样本集中随机抽取80％的信号样本组成训练样本集，剩余的信号样本组成测试样本集。

步骤3，构建提取无线电信号特征的注意力深度网络。

搭建一个自动提取无线电信号特征的17层注意力深度网络。

所述的17层注意力深度网络为：输入层→第一卷积层→第二卷积层→第一池化层→第三卷积层→第二池化层→第四卷积层→第三池化层→第五卷积层→第四池化层→第六卷积层→第五池化层→注意力机制层→第一全连接层→第二全连接层→分类器层→输出层。

设置注意力深度网络中的损失函数为交叉熵、优化算法为误差逆传播算法、激活函数设置为修正线性单元激活函数；将第一全连接层和第二全连接层的神经元个数分别设置为64和24，分类器层为多分类函数softmax。

设置注意力深度网络的卷积层和池化层设置如下：第一卷积层为64个卷积核，每个卷积核为1×3的矩阵；第二卷积层为64个卷积核，每个卷积核为1×5的矩阵；第三卷积层为128个卷积核，每个卷积核为1×3的矩阵；第四卷积层为128个卷积核，每个卷积核为1×5的矩阵；第五卷积层为256个卷积核，每个卷积核为1×3的矩阵；第六卷积层为256个卷积核，每个卷积核为1×5的矩阵；设置第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的池化方式为最大池化方式，池化步长为2；第五池化层的输出结果为256个1×16的特征向量。

步骤4，构建注意力深度网络的注意力机制层。

将注意力机制层的输入设置为256个神经单元，并将第五池化层输出结果中的256个特征向量依次作为256个神经单元的输入值，得到每个神经元的输入值。

利用初始化方法，将256个神经单元中每一个神经元的权重和偏置初始化，得到每个神经单元的初始化权重和初始化偏置。

所述的初始化方法为：每一个神经单元的权重服从区间上的均匀分布，所有神经元的偏置设为零。

对于每个神经单元，将其输入值与初始化权重相乘,再将相乘的结果与初始化偏置相加，得到每个神经单元的初始注意力权重。

利用权重处理公式，将每个神经单元的初始注意力权重处理，得到每个神经单元的权重值。

所述的权重处理公式如下：

其中，ym表示第m个神经元的初始注意力权重xm经过权重处理后的权重值，e表示以自然对数为底数的指数操作。

对每个神经单元的权重值分别进行以自然对数为底数的指数操作，得到每个神经单元的注意力权重。

对于每个神经单元，将其注意力权重与输入值相乘，得到每个神经单元的注意力特征值。

将所有神经单元的注意力特征值相加求和，得到注意力值，将注意力值作为注意力机制层的输出结果。

步骤5，用训练样本集训练注意力深度网络。

打乱训练样本集中所有样本的排列顺序，将训练样本集输入到注意力深度网络中训练18次，得到训练好的注意力深度网络。

步骤6，用测试样本集获得特征提取后的识别准确率。

将测试样本集输入到训练好的注意力深度网络中，得到识别结果。

将识别结果与测试样本集的真实类别进行对比，得到特征提取后的识别准确率。

下面结合仿真实验对本发明的效果做进一步的描述。

1.仿真条件：

本发明的仿真实验是在intel(r)e5-2630cpu2ghz，gtx1080，ubuntu16.04lts系统下，tensorflow1.0.1运行平台上，完成本发明以及构建编码调制联合信号和注意力深度网络的无线电信号特征提取方法的仿真实验。

2.仿真实验内容：

本发明的仿真实验所用的24种编码调制联合信号的波形示意图如图2所示，

图2(a)为汉明码信道编码联合二进制相移键控调制的联合信号波形示意图。

图2(b)为二分之一码率的216非系统卷积码信道编码联合二进制相移键控调制的联合信号波形示意图。图2(c)为三分之二码率的216非系统卷积码信道编码联合二进制相移键控调制的联合信号波形示意图。图2(d)为四分之三码率的432非系统卷积码信道编码联合二进制相移键控调制的联合信号波形示意图。图2(e)为汉明码信道编码联合八相移相键控调制的联合信号波形示意图。

图2(f)为二分之一码率的216非系统卷积码信道编码联合八相移相键控调制的联合信号波形示意图。图2(g)为三分之二码率的216非系统卷积码信道编码联合八相移相键控调制的联合信号波形示意图。图2(h)为四分之三码率的432非系统卷积码信道编码联合八相移相键控调制的联合信号波形示意图。图2(i)为汉明码信道编码联合二进制数字频率调制的联合信号波形示意图。图2(j)为二分之一码率的216非系统卷积码信道编码联合二进制数字频率调制的联合信号波形示意图。图2(k)为三分之二码率的216非系统卷积码信道编码联合二进制数字频率调制的联合信号波形示意图。图2(l)为四分之三码率的432非系统卷积码信道编码联合二进制数字频率调制的联合信号波形示意图。图2(m)为汉明码信道编码联合二进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(n)为二分之一码率的216非系统卷积码信道编码联合二进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(o)为三分之二码率的216非系统卷积码信道编码联合二进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(p)为四分之三码率的432非系统卷积码信道编码联合二进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(q)为汉明码信道编码联合四进制数字频率调制的联合信号波形示意图。图2(r)为二分之一码率的216非系统卷积码信道编码联合四进制数字频率调制的联合信号波形示意图。图2(s)为三分之二码率的216非系统卷积码信道编码联合四进制数字频率调制的联合信号波形示意图。图2(t)为四分之三码率的432非系统卷积码信道编码联合四进制数字频率调制的联合信号波形示意图。图2(u)为汉明码信道编码联合四进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(v)为二分之一码率的216非系统卷积码信道编码联合四进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(w)为三分之二码率的216非系统卷积码信道编码联合四进制数字频率调制与频率调制的二次调制的联合信号波形示意图。图2(x)为四分之三码率的432非系统卷积码信道编码联合四进制数字频率调制与频率调制的二次调制的联合信号波形示意图。

3.仿真实验结果分析：

本发明的仿真是将训练样本集输入到注意力深度网络中训练18次，在训练18次的过程中，统计每次训练结果的损失函数值，得到本发明的仿真实验结果如图3(a)所示的曲线。图3(a)中的横轴代表训练迭代次数，纵轴对应每次迭代的损失函数值trainloss，损失函数值越小代表注意力深度网络的训练效果越好。由图3(a)可见，随着训练次数的增加损失函数值递减并最终收敛至稳定，说明本仿真实验的训练效果随着训练次数的增多而提高。

将测试样本集输入到训练好的注意力深度网络中，得到24种信号的识别结果，再将每种信号的识别结果与其真实类别进行对比，统计识别准确率，得到本发明的仿真实验结果如图3(b)所示的折线图。图3(b)中的横轴代表24种信号,纵轴代表每种信号特征提取后的识别准确率，识别准确率越高代表注意力深度网络对无线电信号进行特征提取的效果越好。由图3(b)可见，每种信号的识别准确率均在90％以上。对24种信号的识别准确率求平均值，可得本仿真实验的24种信号特征提取后的平均识别准确率为94％，说明提取的无线电信号特征对于无线电信号编码调制识别有效可行。

由以上的仿真实验可以说明，针对无线电信号编码调制联合识别，本发明可以有效地完成不同类别无线电信号的特征提取任务，方法有行。