一种基于生成式对抗网络的信号-图像翻译方法与流程

本发明属于深度学习结合无线电信号传输的安全领域，尤其是涉及一种基于生成式对抗网络的信号-图像翻译方法。

背景技术：

近年来，深度学习除了在图像、语音、文本等数据处理任务中实现了良好的性能，也逐渐被研究人员引入无线电数据处理领域。无线电信号是指在所有自由空间中传播的电磁波，属于波普中的一个有限频带，根据国际电信联盟规定，频率范围一般为3khz～300ghz。无线电信号数据处理任务包括信号调制、信号解调、信号压缩、信号编码等。其中在信号解调前需要先识别信号的调制类型。无线电信号调制技术是将信号源产生的信号转换为适宜无线传输形式的处理方法，一般的调制过程就是将调制信号加载到高频率的载波上，将其转化为适合传输的高频信号。按照信号的离散性和连续性，可以分为数字调制和模拟调制。在数字调制中，调制信号可以表示成符号或者脉冲的时间序列。常见的数字信号调制方法有：幅移键控调制(ask)、频移键控调制(fsk)、相移键控调制(psk)等。

随着硬件设备性能和软件技术的快速发展，无线电信号变得无处不在，从大型的卫星、雷达，到小型的手机、蓝牙，无线设备给人们的生活工作提供了极大的便利。但是随着无线电信号技术的发展，对于无线电信号传输过程中的安全问题也开始凸显。现有的无线电信号容易被恶意用户截获并利用，造成了极大的财产损失和严重的信息安全问题。虽然目前的无线电信号调制技术已经较为成熟，但还是容易受到其他因素的干扰。当无线电信号中含有噪声时，无线电信号的调制类型识别和调制解调就会变得比较困难。

除了信号传输的安全保密问题，无线电信号还存在信息冗余问题和噪声干扰问题。无线电信号的信息冗余体现在，信号的价值密度低，使得每天都会生成海量的数据需要处理和存储。这对有价值的信息提取、海量信号的数据库存储和快速搜索都提出了较高的要求。无线电信号的噪声干扰主要来源于信号的发生、传输和接收过程，一般用信噪比衡量信号中含有噪声的强弱，信噪比越大，信号含量越高，越容易被识别和恢复。

技术实现要素：

本发明提供了一种基于生成式对抗网络的信号-图像翻译方法，翻译得到的信号图像具有信息传输隐蔽性，信息价值密集性，抗噪鲁棒性的优势。

本发明的技术方案如下：

一种基于生成式对抗网络的信号-图像翻译方法，实现该翻译方法的装置包括：

翻译模型st，该翻译模型st的输入为无线电信号，输出为翻译得到的包含rgb三个通道的信号图像；

判别模型sd，该判别模型sd的输入为真实彩色图像和翻译模型st得到的信号图像，输出为对真实彩色图像和信号图像的判断结果；

分类模型sc，该分类模型sc的输入为翻译模型st翻译得到的信号图像，输出为信号图像对应于原始无线电信号的调制类型预测结果；

具体方法如下：

(1)使用具有不同调制类型的无线电信号数据集对翻译模型st和分类模型sc进行预训练，直到迭代次数达到设定值n1；

(2)固定翻译模型st和分类模型sc的参数，将真实彩色图像和翻译模型st得到的信号图像输入判别模型sd进行训练，训练判别模型sd的参数，使判别模型sd能够区分真实彩色图像和信号图像；

(3)固定分类模型sc和判别模型sd的参数，将翻译模型st得到的信号图像输入判别模型sd进行训练，训练翻译模型st的参数，使翻译模型st翻译得到的信号图像更加接近真实彩色图像；

(4)固定判别模型sd的参数，将无线电信号数据集输入翻译模型st后，将得到的信号图像作为分类模型sc的输入，协同训练翻译模型st和分类网络sc的参数；

(5)重复步骤(2)～(4)，直到实现st-sd的纳什均衡或者达到预设的训练迭代次数n2，结束训练；

(6)将待翻译的无线电信号输入到翻译模型st中，得到翻译后的信号图像。

所述翻译模型st在构建时，采用了适用于处理和预测时间序列中重要事件的lstm来提取无线电信号的时序特征，使用能够提取局部特征的卷积层来提取信号图像的图像特征，使用全连接层将局部特征通过权值矩阵组装成完整的特征图；所述判别模型sd和分类网络sc在构建时均包含包括卷积层和全连接层。

长短期记忆网络(lstm)是一种特殊的循环神经网络。在循环神经网络基础上通过增加输入门限、遗忘门限和输出门限，使得权重在自循环过程中得以变化，使得不同时间节点上的积分尺度可以动态地变化，巧妙地避免了循环过程中产生的梯度消失或者梯度膨胀的问题。

卷积层(convolutionallayer)由若干个卷积单元所组成，通过反向传播算法得到每个卷积单元的参数，卷积运算可以提取输入的不同特征，通过多层卷积的叠加可以提取更加复杂抽象的特征。

全连接层中的每个神经元都与前一层的所有神经元进行全连接，整合前一层中具有区分度的局部信息，通过权值矩阵计算得到完整的特征。

本发明使用长短时记忆网络提取无线电信号的时序特征，使用卷积神经网络提取图像的空间特征，最后通过生成式对抗网络将无线电信号数据翻译为彩色图像进行保存和传输，被称为信号图像。

一方面信号图像与信号的区别比较大，转化为图像后的信号可以躲过敌方侦察人员的侦测，实现安全传输。另一方面，使用lstm和cnn网络进行“信号-图像”的翻译，能够提高信号的信息密度，同时对无线电信号进行可视化，可以根据可视化结果识别无线电信号中存在的噪声，达到可视可控的目的。可视可控是指在原始信号中添加噪声后，尽管具有抗噪滤波的特性，但是翻译得到的信号图像中仍然会以白噪声的可视点体现出来，这样可以直接根据可视结果控制信号传输和接收过程中对信号质量的把控。最后通过在生成式对抗网络的基础上添加无线电分类模型sc进行协同训练，使得“信号-图像”翻译模型st对不同调制类型的无线电信号数据可以执行略有不同的翻译方法，极大地提高了该模型的鲁棒性和翻译得到的信号图像的多样性。

翻译模型st的输入是无线电信号，输出是翻译得到的包含rgb三个通道的彩色图像；所述无线电信号数据的每个样本是time_step*2的矩阵数组形式，其中time_step表示信号样本的时间点采样数，也叫样本的时间窗口长度，常用的取值有128、256、512等，其中2表示每个时间采样点的信号的特征值属性；无线电信号翻译模型st的功能是将无线电信号从信号特征域映射到图像特征域。

判别模型sd的功能是实现信号图像和真实彩色图像的区别判别，在判别时对真实彩色图像和信号图像进行二分类。在步骤(2)中，判别模型sd输入的是真实彩色图像和翻译模型st得到的信号图像，并根据判断结果反馈训练st模型和sd模型的参数，此时一般将真实彩色图像的类标被定义为1，将信号图像的类标定义0；在步骤(3)中，利用sd网络的输出反馈训练st网络参数时，仅使用翻译信号图像，此时将信号图像的类标被定义为1。

分类模型sc的输入是翻译模型st翻译得到的信号图像，其输出是对信号图像对应的原始无线电信号的调制类型类别的预测结果，即每个预测结果对应原始无线电信号的调制类型；分类模型sc的功能是分类映射后的信号图像对应的原始信号的调制类型。

步骤(1)中，对翻译模型st和分类模型sc预训练时，st的输出同时作为sc的输入，根据sc的输出与正常无线电信号的调制类标作交叉熵，以最小化交叉熵作为st和sc的优化目标，直到迭代次数达到设定值n1，停止st和sc的预训练；完成预训练后，进行模型参数的重训练，重训练过程由st和sd的对抗训练、st和sc的协同训练两部分组成。

步骤(2)中，训练判别模型sd的参数具体过程为：

将包含rgb三通道的真实彩色图片输入判别模型sd后得到的输出与1作交叉熵计算损失，将翻译模型st翻译得到的信号图像输入判别模型sd得到的输出与0作交叉熵计算损失，利用最小化两者的损失反馈训练sd的参数。

步骤(2)中，训练判别模型sd的参数时优化目标为：

其中，p^image表示真实彩色图像数据集，p^signal表示无线电信号数据集，x^image～p^image表示真实彩色图像x^image采样自真实彩色图像数据集；x^signal～p^signal表示无线电信号数据x^signal采样自无线电信号数据集。

步骤(3)中，训练翻译模型st的参数具体过程为：

将正常无线电信号输入翻译模型st得到信号图像，将得到的信号图像输入判别模型sd，将判别模型sd的输出和1作交叉熵计算损失，并利用最小化该损失反馈训练st的参数。

步骤(3)中，训练翻译模型st的参数时优化目标为：

其中，x^signal表示无线电信号数据，x^signal～p^signal表示x^signal采样自无线电信号数据集，p^signal表示无线电信号数据集，sd(st(x^signal))表示判别模型sd对翻译模型st输出的信号图像的判断结果，e(·)表示交叉熵的期望。

步骤(4)中，协同训练翻译模型st和分类网络sc的参数具体过程为：

将正常无线电信号数据集输入翻译模型st后得到的信号图像输入到分类模型sc，将分类模型sc的输出和正常无线电信号数据对应的调制类型类标做交叉熵计算损失，并利用最小化该损失反馈训练st和sc的参数。

步骤(4)中，协同训练翻译模型st和分类网络sc的参数时优化目标为：

其中，y表示原始无线电信号的调制类型类标，x^signal～p^signal表示无线电信号样本x^signal采样自无线电信号数据集，sc(·)表示分类模型sc对无线电信号调制类型的分类结果。

通过本发明提供的训练策略，翻译模型st可以作为一种无线电信号的重调制方法，但是不同于传统的信号调制方法，基于深度学习网络的翻译模型st可以将无线电信号数据翻译为彩色信号图像，既保证了信息传输的安全隐蔽性，也提高了原始信号的信息价值密度和数据的抗噪鲁棒性；而通过引入分类模型sc，对使用不同调制类型得到的无线电信号进行分类，可以保证翻译过程中的多样性，避免数据恢复过程中的二义性。

该基于生成式对抗网络的“信号-图像”翻译方法具有的效果为：

通过翻译模型st，无线电信号可以从信号特征空间映射到图像特征空间，将无线电信号翻译为彩色的信号图像，从而躲过恶意用户对无线电信号的阻截或敌方对无线电信号的侦测，并且可以将无线电信号中的噪声进行可视化，实现可视可控。

附图说明

图1为本发明实施例提供的无线电信号翻译模型训练体系的结构示意图；

图2为本发明实施例提供的以时间窗口time_step＝512为例的无线电信号翻译模型st的结构示意图；

图3为本发明实施例提供的无线电信号翻译判别模型sd的结构示意图；

图4为本发明实施例提供的针对于11种无线电信号调制类型的无线电信号分类模型sc的结构示意图；

图5为本发明实施例提供的分类方法训练过程中无线电信号翻译成信号图片的可视化结果图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本实施例提供了一种基于生成式对抗网络的信号-图像翻译方法，利用无线电信号翻译模型将原始无线电信号翻译成彩色信号图像，通过图1所示架构的训练方法，可以得到无线电信号翻译模型。该训练方法包括了三个模块：无线电信号翻译模型st、无线电信号翻译判别模型sd、以及无线电信号分类模型sc。

无线电信号翻译模型st，可以将原始无线电信号翻译为彩色信号图像。无线电信号翻译模型st主要由lstm、全连接层、卷积层及反卷积层等基本单元组成，以输入的信号样本的时间窗口time_step＝512为例，其具体结构如图2所示：输入的无线电信号样本尺寸为[512,2]，其中512表示无线电信号的采样时间节点数，2表示无线电信号对应时间节点的特征值属性，训练过程使用adam算法作为参数训练的优化器，最小批中每一批次的无线电信号数据样本个数取64个，经过lstm1后得到尺寸为[512,128]的特征层，其中512对应于原始的时间节点，128对应每个时间节点计算得到的特征向量，使用全连接fc1得到尺寸为128的特征层，使用全连接fc2得到尺寸为12288的特征层，使用reshape操作将12288尺寸的特征层变换为[64,64,3]尺寸的特征层，使用尺寸为[3,3,3]的卷积核进行卷积，得到尺寸为[64,64,3]的conv1特征层，其中卷积核“[3,3,3]”前两个“3”表示卷积核的长和宽，第三个“3”表示卷积核的深度，其中“[64,64,3]”尺寸的“64”分别是特征矩阵的长和宽，“3”对应特征矩阵的深度，使用尺寸为[5,5,32]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[32,32,32]的conv2特征层，使用[5,5,64]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[16,16,64]的conv3特征层，使用尺寸为[5,5,128]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[8,8,128]的conv4特征层，使用尺寸为[3,3,256]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[4,4,256]的conv5特征层，使用尺寸为[3,3,256]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[2,2,256]的conv6特征层，使用尺寸为[1,1,1024]的卷积模块和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[1,1,1024]的conv7特征层，使用尺寸为[3,3,256]的反卷积模块得到尺寸为[2,2,256]的deconv6特征层，使用[3,3,256]的反卷积模块得到[4,4,256]的deconv5特征层，使用[5,5,128]的反卷积模块得到[8,8,128]的deconv4特征层，使用[5,5,64]的反卷积模块得到[16,16,64]的deconv3特征层，使用[5,5,32]的反卷积模块得到[32,32,32]的deconv2特征层，使用[3,3,3]的反卷积模块得到[64,64,3]的deconv1特征层，得到的即为翻译后的信号图片，图片的尺寸为[64,64,3]，包含rgb三通道。

无线电信号翻译判别模型sd对正常彩色图像和翻译的彩色信号图像进行二分类，即判别真实彩色图像与翻译信号图像，正常彩色图像的类标被定义为真(用数字1表示)，翻译的彩色信号图像的类标被定义为假(用数字0表示)，通过sd的判别结果反馈训练无线电信号翻译模型st，让翻译产生的图像更加接近真实的彩色图像。无线电信号翻译判别模型sd包括了卷积层和全连接层等基本单元，其结构如图3所示：输入的图像尺寸为[64,64,3]，使用尺寸为[5,5,32]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[32,32,32]的conv1特征层，使用尺寸为[5,5,64]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[16,16,64]的conv2特征层，使用尺寸为[5,5,128]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[8,8,128]的conv3特征层，使用尺寸为[5,5,256]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[4,4,256]的conv4特征层，使用尺寸为[3,3,1]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[2,2,1]的conv5特征层，使用尺寸为[1,1,1]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到[1,1,1]的输出层，得到的未归一化的置信度值与尺寸相同的0或1的矩阵做交叉熵计算st输出的翻译信号图像与正常彩色图像的差距。该无线电信号翻译判别模型sd的输入为imagenet64的正常彩色图像和st翻译生成的彩色信号图像，输出为对正常彩色图像和翻译彩色信号图像的判别结果。

无线电信号分类网络sc对无线电信号进行分类，输入为无线电信号翻译模型st输出的翻译信号图像，输出为对翻译信号图像对应的原始信号的调制类型的分类结果，通过反馈微调st的参数，使对无线电信号翻译模型st翻译得更加准确。无线电信号分类网络sc的基本单元包括了卷积层和全连接层，以包含11种调制类型的无线电信号数据集翻译为例，其具体的结构如图4所示：包括输入的图片尺寸为[64,64,3]，使用尺寸为[5,5,32]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[32,32,32]的conv1特征层，使用尺寸为[5,5,64]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[16,16,64]的conv2特征层，使用尺寸为[5,5,128]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[8,8,128]的conv3特征层，使用尺寸为[5,5,256]的卷积核和尺寸为[2,2]步长为2的最大池化模块得到尺寸为[4,4,256]的conv4特征层，使用全连接得到尺寸为512的特征层，使用全连接层得到尺寸为11的输出层(针对于包含11种无线电信号调制类型的分类任务)，所得到的未归一化的置信度值与翻译信号图像对应的原始无线电信号的调制类型类标做交叉熵计算距离。

通过st自动对原始无线电信号进行翻译，输出产生的翻译彩色信号图片分别作为无线电信号翻译判别模型sd和无线电信号分类网络sc的输入。sd通过判别st翻译产生的彩色图片与真实正常图片的距离，来调整st参数；sc通过预测类标与真实类标的差别，来调整st参数。通过st与sd和sc的三方博弈，提高st翻译生成的彩色图片样本的真实性和隐蔽性，通过st输出的翻译图片对sc进行训练，可以得到对不同调制类型的无线电信号数据的翻译结果，提高st翻译结果的多样性。

上述三个模块中，无线电信号分类网络sc的网络结构与数据集的复杂程度有关；而st和sd的网络结构设计，与sc网络以及数据集的复杂程度有关。为了能够实现更好的翻译效果，并且防止在训练过程中发生模型崩溃，本发明使用了对抗-协同训练的策略对模型进行训练。

具体地，上述模型训练体系的训练主要分为预训练和再训练两个阶段，具体过程为：

预训练阶段：输入原始无线电信号对无线电信号翻译模型st和无线电信号分类模型sc进行预训练。设置训练的epochs＝n1，即对所有无线电信号数据集进行了n1次的训练使用，固定无线电信号翻译判别模型sd的参数；无线电信号翻译模型st的输入为原始无线电信号，输出为翻译后的翻译彩色信号图像，无线电信号分类网络sc的输入为无线电信号翻译模型st输出的翻译信号图像，输出为对翻译信号图像所对应的原始无线电信号的调试类型的预测类标。

其中，输入原始的信号数据集x^signal，通过无线电信号翻译st生成对应的信号图片st(x^signal)，将st(x^signal)输入到无线电信号分类模型sc中，训练n1个epochs。

再训练阶段，采用对抗-协同训练策略，具体过程为：

(1)首先进行st和sd的对抗训练；固定无线电信号翻译判别模型sd、无线电信号分类模型sc的参数，将原始无线电信号x^signal作为无线电信号翻译模型st的输入，将st输出的信号图像st(x^signal)作为无线电信号判别模型sd的输入，通过sd的输出sd(st(x^signal))反馈训练st的参数，使其输出的翻译信号图像更加接近正常彩色图像，实现“信号-图像”的翻译过程，使得无线电信号传输和接收过程更加可视可控；

该过程的优化目标表示为：

其中，x^signal表示原始无线电信号数据，x^signal～p^signal表示x^signal采样自原始无线电信号数据集，p^signal表示原始无线电信号数据集的分布，sd(st(x^signal))表示无线电信号翻译判别模型sd对无线电信号翻译模型st输出的彩色信号图的判断结果，e(·)表示交叉熵的期望；

(2)固定无线电信号翻译模型st、无线电信号分类模型sc的参数，将无线电信号翻译模型st输出的翻译信号图像st(x^signal)和正常彩色图像x^image的混合数据，作为无线电信号翻译判别模型sd的输入，训练sd的参数，使其能够区分翻译信号图像和正常彩色图像；

该过程的优化目标表示为：

其中，p^image表示原始图像数据集的分布，p^signal表示原始信号数据集的分布，x^image～p^image表示正常图像样本x^image采样自原始图像数据集；x^signal～p^signal表示正常无线电信号数据x^signal采样自原始信号数据集；

(3)然后进行st和sc的协同训练；固定无线电信号翻译判别模型sd的参数，将原始无线电信号x^signal作为无线电信号翻译模型st的输入，并将无线电信号翻译模型st输出的翻译信号图像st(x^signal)和作为无线电信号分类网络sc的输入，协同训练训练无线电信号翻译模型st和无线电信号分类网络sc的参数；

该过程的优化目标为：

其中，y表示原始无线电信号的调制类型类标，x^signal～p^signal表示正常无线电信号样本x^signal采样自无线电信号数据集，sc(·)表示无线电信号分类模型sc对无线电信号调制类型的分类结果；

通过引入了无线电信号分类网络sc对不同调制类型的无线电信号进行分类，能够使无线电信号翻译模型st在训练过程中同时学习无线电信号调制类型的特征属性，可以对不同类型的无线电信号采取有区别的翻译，增强了信号图像翻译结果的多样性。

(4)重复步骤(1)～(3)，直到无线电信号翻译模型st和无线电信号翻译判别模型sd实现纳什均衡，或者达到预设的训练代数，训练结束，训练好的无线电信号翻译模型st即为无线电信号翻译模型。

训练过程中，涉及的损失函数为：

无线电信号翻译模型st的损失函数st_loss：

其中，λ为引入参数，来控制loss与log[1-sd(st(x^signal))]在st_loss中所占权重，x^signal～p^signal表示x^signal采样自原始无线电信号数据集，loss表示正常彩色图像与翻译信号图像的均方误差，具体为：

loss＝mse(x^image,st(x^signal))

其中，x^image表示正常彩色图像，mse(·)表示均方误差函数；

无线电信号翻译判别模型sd的损失函数sd_loss：

其中，x^image表示正常彩色图像，x^signal～p^signal表示x^signal采样自原始无线电信号数据集，x^image～p^image表示x^image采样自原始图像数据集，

无线电信号分类模型sc的损失函数sc_loss为：

其中，y为x^signal所对应的调制类型，sc(·)为无线电信号分类模型分类结果，st(·)为无线电信号翻译模型翻译结果。

通过对以上3个损失函数的计算，采用adam优化器通过反向传播来更新每个网络的参数。

当实现纳什均衡时有：

以上训练方法以最小最大定理为基础，实现了st、sd、sc三方博弈关系，st的目标是快速翻译大量的无线电信号样本，能够尽可能的接近真实彩色图像分布，使得sd难以区分st生成的信号图像与真实图像；sd的目标是尽可能的区分st生成的图片样本和真实图片样本；sc的目标是正确分类st翻译的信号图像，这样就实现了无线电信号到图像的翻译过程。

通过以上训练策略，使st翻译的信号图像更加接近所对应的真实彩色图像，这样st就可以作为无线电信号的翻译器，将无线电信号翻译为彩色图像，而通过引入了分类模型sc，对使用不同调制类型得到的无线电信号进行分类，能够使无线电信号翻译模型st在训练过程中同时学习无线电信号调制类型的分类特征属性，增强了翻译结果的多样性。

以下利用本发明的翻译方法进行具体的试验，数据集基本情况包括：(a)无线电信号数据有48400个训练样本和24200个测试样本，每个样本尺寸为[512,2]的矩阵，样本取值范围是(-6,6)。验证集是随机从测试样本中抽取5％的样本数量；(b)数据集可以分为十一类，每类等分，训练集中每类有4400个样本，测试集中每类有2200个样本；(c)信噪比情况：每一种调制类型的信号都有20种信噪比(取值为-20到18的所有偶数)；(d)对所有信号数据都进行了归一化处理，以方便输入到模型中进行训练。

将上述训练集对上述构建的模型训练架构进行训练，获得训练好的无线电信号翻译模型st，并将测试集中的样本输入到无线电信号翻译模型st中，得到不同种类的信号图像。如图5所示，图中(1)～(11)为11类无线电信号所对应的翻译图像结果，在图中每类图像的可视化结果包含了64张图片，利用这些图片可以直接区分无线电信号的不同调制类型，也可以看清无线电信号样本中的噪声存在情况，而且不容易被恶意用户或者敌方截获利用，说明该方法对于无线电信号的翻译达到了预期的效果。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。