一种基于小样本训练神经网络的频谱感知方法与流程

本发明属于无线通信网络
技术领域：
，涉及一种基于小样本训练神经网络的频谱感知方法。
背景技术：
：频谱感知，即通过接收信号来判断当前频谱是否被占用，已经受到越来越广泛的关注。频谱感知技术因为其应用的广泛性，在很多通信场景下都有广泛的应用。例如，认知无线电技术以及抗干扰通信技术等。关于频谱感知技术的研究一般都是假设一定的先验信息，例如发送端通信特征或信道特征已知。但是这些先验信息在实际应用中往往较难获得，从而导致该类方法的实用性较差。随着机器学习技术的快速发展，现有研究逐渐集中于将机器学习技术与盲频谱感知技术相结合。在不需要先验信息的条件下，机器学习方法往往能够获得更准确的检测结果，但该类方法往往需要消耗感知端大量的计算资源以及需要大量的训练样本。因此，业内急需一种基于小样本训练神经网络的频谱感知方法的新型技术。技术实现要素：本发明目的在于提供一种基于小样本训练神经网络的频谱感知方法，以解决现有技术中基于神经网络的频谱感知方法中需要大量样本以及大量计算的技术问题。为实现上述目的，本发明提供了一种基于小样本训练神经网络的频谱感知方法，包括以下步骤：步骤s1、预训练阶段：对神经网络检测器进行预训练，将神经网络检测器预先在系统实际运行环境中进行部署，随机初始化神经网络检测器的初始参数，按照以下过程循环处理，直到进行规定次数的预训练为止，具体过程为：s11、在当前感知环境下抽取k个样本，通过j次梯度迭代计算出神经网络检测器的微调值，对所述微调值进行存储；其中，k和j均为大于0的整数；s12、在当前感知环境下再抽取k个新的样本，并计算所述微调值与新样本的损失值，计算出新样本的损失值对应的初始参数的梯度；s13、根据新样本的损失值对应的初始参数的梯度对初始参数进行更新；s14、检查预训练的次数，若达到规定次数的预训练，则执行步骤s2；若未达到规定次数的预训练，则检查此时神经网络检测器微调值的检测性能，若神经网络检测器微调值的检测性能恶化超过门限值，则返回至步骤s11进行下一次预训练；步骤s2、在线调整阶段：基于步骤s1预训练得到的神经网络检测器的初始参数，在当前感知环境下抽取至少k个样本，并且通过至少j次梯度迭代对神经网络检测器的初始参数进行调整；步骤s3、在线检测阶段：将当前的接收信号输入至步骤s2调整后的神经网络检测器，神经网络检测器将输出当前频谱是否被占用。进一步的，所述步骤s3中在运行过程中检查神经网络检测器的检测性能恶化是否超过门限值，若超过门限值，则返回至步骤s2对神经网络检测器重新进行调整。进一步的，所述检测性能恶化指的是不同时刻的漏检概率的差值超过门限值。进一步的，所述步骤s1中k为大于等于10小于等于100的整数。进一步的，所述步骤s1中j为大于等于1小于等于10的整数。进一步的，所述步骤s1中神经网络检测器的初始参数包括神经网络中每个神经元的初始权重与初始偏置。进一步的，所述步骤s1和步骤s2中的样本均指的是接收信号以及其对应的频谱状态的集合。进一步的，所述步骤s12中损失值指的是通过机器学习中的损失函数计算得到的值。进一步的，所述损失函数为交叉熵。本发明具有以下有益效果：1、本发明提供的一种基于小样本训练神经网络的频谱感知方法，通过提前将神经网络检测器部署在实际环境下进行预训练得到一组神经网络检测器的初始参数。一方面，该检测器初始参数能够有效地学习到在不同感知环境下的神经网络检测器参数的相似部分，从而简化神经网络检测器的调试过程。另一方面，该初始参数十分敏感，细微的改变则能使得检测器性能发生较大的正向改变。通过检查神经网络检测器微调值的检测性能恶化是否超过门限值，检查当前感知环境是否发生改变，对初始参数不断进行优化和调整。但是，预训练的目标是仅使得神经网络检测器初始参数经过微调过后的检测器具有较好的检测性能，其检测性能却不能得到保障，所以，在进行预训练之后，还需要针对当前感知环境对检测器的初始参数进行在线微调。通过预训练和在线微调相结合，同时在预训练阶段和在线检测阶段，实时检测当前感知环境是否发生变化，并不断地优化和调整，可以有效减少环境变化的干扰，降低检漏概率，提高检测性能。2、本发明提供的一种基于小样本训练神经网络的频谱感知方法，通过提前将神经网络检测器部署在实际环境下进行预训练，能够使得神经网络检测器在使用时仅通过少量样本以及进行少量梯度迭代调整就能够获得较高的检测性能，既满足了检测性能需求，又减少了检测端的计算成本以及数据量需求。而且，在神经网络检测器采用相同的神经网络结构下，本发明方法在基于少量样本以及少量梯度迭代的情况下，可以达到与基于大量样本以及大量梯度迭代的神经网络检测器相近的性能，能够有效地减少所需要的训练计算量以及所需要的数据量。本发明所需的训练计算量相对于基于大量样本以及大量梯度迭代的神经网络检测器最大可以减小1382倍。除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是本发明提供的一种基于小样本训练神经网络的频谱感知方法的流程示意图；图2是在仿真验证时所采用的神经网络架构图；图3是在无噪声不确定性情况下和在延时的情况下采用不同频谱感知方法在虚警概率为0.05时的性能对比图；图4是在无噪声不确定性情况下和在延时的情况下采用不同频谱感知方法在信噪比为-20db时的性能对比图；图5是在噪声不确定情况下采用不同频谱感知方法在虚警概率为0.05时的性能对比图；图6是在任意延时情况下采用不同频谱感知方法在虚警概率为0.05时的性能对比图；其中，1、输入层，2、卷积层一，3、池化层一，4、卷积层二，5、池化层二，6、全连接层。具体实施方式以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。如图1所示，本发明提供了一种基于小样本训练神经网络的频谱感知方法，包括以下步骤：首先对于神经网络检测器进行预训练，将检测器预先在系统实际运行环境中进行部署；接着，随机初始化神经网络检测器中网络的初始参数；然后在当前的感知环境下，检测器抽取k个样本并且进行j次梯度迭代以计算出神经网络检测器的微调值；接着，再在此环境下抽取相同数量的样本并且计算出此时检测器关于这些样本的损失值以及损失值对应的初始参数的梯度；接着，对初始参数进行更新，并且检查此时预训练次数是否满足停止条件，若不满足，则当神经网络检测器的微调值性能恶化超过门限值时，即不同时刻的漏检概率的差值超过门限值时，则说明此时环境有了一定程度的变化，神经网络检测器将在变化后的新环境中进行下一次预训练；若满足停止条件时，则神经网络检测器进入在线调整阶段。基于预训练得到的神经网络检测器的初始参数，感知端将在当前感知环境下抽取至少k个样本以及进行至少j次梯度迭代对神经网络检测器的初始参数进行微调。接着，神经网络检测器进入在线检测阶段。此时则可将接收信号输入进微调后的神经网络检测器中，检测器将输出此时频谱是否被占用的相关概率，若检测器检测性能恶化超过门限值，即不同时刻的漏检概率的差值超过门限值时，则说明此时环境有了一定程度的变化，则需要在新环境下对检测器重新进行调整。其中，在预训练中k和j均为大于0的整数，优选的，10≤k≤100，1≤j≤10。所述神经网络检测器的初始参数包括神经网络中每个神经元的初始权重与初始偏置。样本均指的是接收信号以及其对应的频谱状态的集合。损失值指的是通过机器学习中的损失函数计算得到的值，在频率感知中，所述损失函数一般为交叉熵。实施例1：为进一步理解本
发明内容，下面结合实例进行说明。本发明基于以下常用且切合实际的假设：检测器所处的感知环境h中的衰落a、噪声ε以及时延τ在一定范围内按照某种规律分布，即h～ρ(a,ε,τ)；定义如下参数：感知端天线数量m，感知时间信号抽样个数n，因此被抽样的接收信号可表示为xm×n；考虑到接收信号的相关频谱状态，在感知环境h中长度为k的训练样本可表示为y(k)∈{0,1}，y(k)＝1表示频谱被占用，反之，y(k)＝0；θ表示神经网络检测器中神经网络的参数，θ0表示检测器的初始参数，表示检测器在环境h下进行j次梯度迭代后的微调值，fθ表示神经网络检测器。具体步骤如下：第一步、预训练阶段：将神经网络检测器fθ预先在系统实际运行环境中进行部署，然后随机初始化神经网络检测器中网络的初始参数θ0，接着基于预训练目标即找到一组在分布ρ(a,ε,τ)中的任何环境下通过k个样本以及j次梯度迭代后检测性能最好的初始参数θ0，进入循环迭代，具体包括以下子步骤：子步骤1：在当前感知环境h～ρ(a,ε,τ)下，抽取k个样本然后计算出这些样本的损失值lh(fθ)，例如交叉熵，其表达式为：接着，计算出损失值对应的当前参数的梯度接着，按照循环执行j次，得到微调值其中α表示学习速率。子步骤2：在当前感知环境h～ρ(a,ε,τ)下，再抽取k个新的样本然后按照损失函数表达式计算出测试误差接着，按照计算出测试误差对应的初始参数θ0的梯度。子步骤3：基于子步骤2所计算出的此环境下神经网络微调值测试损失值对应的初始参数的梯度，按照来对初始参数进行更新，其中β为学习速率。接着，检查此时预训练是否满足停止条件，即此时预训练次数是否满足停止条件，若满足，则跳至步骤2；若不满足，则检查此时神经网络检测器的微调值检测性能恶化是否超过门限值γ，即不同时刻的漏检概率的差值是否超过门限值，若超过，则说明此时环境已发生变化，有必要进行下一次预训练，跳至子步骤1。第二步、在线微调阶段：在当前感知环境h～ρ(a,ε,τ)下，抽取k个样本然后基于预训练的初始参数θ0，计算出这些样本的损失值lh(fθ)。接着，计算出损失值对应的当前参数的梯度接着，按照循环执行j次，在当前环境下对神经网络检测器进行微调。第三步、在线检测阶段：将当前抽样过后的信号xm×n输入进微调后的神经网络检测器以预测当前频谱被占用的概率；接着，检查此时微调后的神经网络检测器检测性能恶化是否超过门限值γ，即不同时刻的漏检概率的差值是否超过门限值γ，若超过门限值，则说明此时环境已发生变化，则跳至第二步进行重新调整。对比例1：(未经过在线微调阶段)与实施例1的不同之处在于：进行预训练阶段后，未经过在线微调阶段，直接进入在线检测阶段，将当前抽样过后的信号输入预训练后的神经网络检测器以预测当前频谱是否被占用的概率。其他步骤及参数均同实施例1。将本发明实施例1方法(简称maml-ss)与现有技术中未经过预训练、采用大量训练数据以及梯度迭代的基于协方感知的深度卷积神经网络架构频谱感知方法(简称cm-cnn)、能量检测法(简称ed)、最大特征值检测法(简称med)以及对比例1的频谱感知方法(简称maml-ss-init)进行对比仿真试验。在进行仿真验证时采用的神经网络检测器为一种基于协方感知的深度卷积神经网络架构，如图2所示，所述神经网络架构依次由输入层1(规模为28×28×2)、卷积层一2(规模为5×5×32)、池化层一3(规模为2×2)、卷积层二4(规模为5×5×64)、池化层二5(规模为2×2)和全连接层6(规模为3136×512)组成。本次仿真系统所处的环境参数如表1所示，其中发送端采用正交频分复用技术(简称ofdm)，信道中的信噪比以及延时在所给范围内均匀变化。此外，本发明实施例1方法中神经网络检测器的超参数如表2所示，cm-cnn方法中神经网络检测器的超参数如表3所示。表1验证时系统的仿真环境参数blocksizendcp长度nc信道调制方式648rayleighbpsk中心频率带宽信噪比变化范围延时范围2.4ghz5mhz[-20db,0db][0,nd+nc-1]表2实施例1所采用的神经网络超参数表3cm-cnn方法所采用的神经网络超参数训练集规模earlystopping学习速率batch-size10000500.001128测试集规模epochs2000500图3和图4均为采用本发明实施例1方法(maml-ss)与现有技术中未经过预训练且采用大量训练数据以及梯度迭代的cm-cnn方法、能量检测法(ed)、最大特征值检测法(med)以及对比例1的频谱感知方法(maml-ss-init)五种不同方法在无噪声不确定和延时情况下在各个信噪比下的性能对比图。其中，图3是采用五种不同频谱感知方法在虚警概率为0.05时的性能对比图，图4是采用五种不同频谱感知方法在信噪比为-20db时的性能对比图。从图3可以看出，在五种不同的频谱感知方法中，经过大量数据以及多次梯度迭代的cm-cnn方法具有最佳性能。而对于采用对比例1的频谱感知方法(maml-ss-init)，即与本发明方法一样进行预训练阶段，但是未经过在线微调阶段直接进入在线检测阶段时，具有较差的性能，在各个信噪比下其漏检概率一直在97％左右。但是本发明实施例1相对于对比例1在经过10个样本情况下的5次梯度迭代对神经网络检测器进行微调后，能够迅速适应当前感知环境，并且本发明的性能有了较大的提升，其性能十分逼近cm-cnn，在各个信噪比下，其漏检概率与cm-cnn相比仅有0％-3％的差距，并且远远好于能量检测法(ed)以及最大特征值检测法(med)。因为本发明方法中预训练的目标是仅使得神经网络检测器初始参数经过微调过后的检测器具有较好的检测性能，而初始参数仅变得敏感并且学习到不同感知环境下的神经网络检测器参数的相似部分，其检测性能却不能得到保障，所以，在进行预训练之后，还需要对检测器的初始参数进行在线微调。通过预训练和在线微调相结合，可以有效减少环境变化的干扰，降低检漏概率，提高检测性能。另外，从图4可以看出，在各个虚警概率下，采用本发明方法(maml-ss)的检测性能十分逼近采用基于大量数据以及大量梯度迭代的cm-cnn方法的检测性能。图5是在噪声不确定情况下采用不同频谱感知方法在各个信噪比下的性能比对测试结果，其中，图5中η表示噪声不确定性。从图5可以看出，在信噪比为-14db下，当噪声不确定性由0.5db提升至1db时，采用本发明方法的漏检概率分别从2.03％提升至2.72％，采用cm-cnn方法的漏检概率从0.48％提升至0.71％。由此可知，与cm-cnn相比，本发明方法受到噪声不确定性影响更大。但是与能量检测法(ed)以及最大特征值检测法(med)相比，本发明受到较小的影响，上述两种方法的漏检概率分别从73.38％与63.28％提升至79.69与68.53％。图6是在任意延时情况下采用不同频谱感知方法在各个信噪比下的性能比对测试结果。从图6中也可得出与图5相似结论，因此可以说明本发明方法对噪声不确定性以及延时具有一定的鲁棒性。由于在验证时，本发明与现有技术中未经过预训练且采用大量训练数据以及梯度迭代的cm-cnn方法采用同一种神经网络构架，因此在分析训练计算量时，我们将所采用的神经网络框架的一次前项传播(fp)所需要的计算量cfp当做单位计算量，其细节如表4所示，其中flops表示浮点数运算。考虑到反向传播(bp)所需的计算量是前项传播的两倍，在训练时，神经网络检测器的训练计算量可表达为因此，通过在无噪声不确定性以及延时情况下进行1000次蒙特卡洛仿真，本发明与基于大量数据以及大量梯度迭代的cm-cnn方法所需要的计算量如表5所示，本发明所需的训练计算量最大减小了1382倍。结合图3与表5可以得出结论，在神经网络检测器采用相同的神经网络结构下，在达到相近的检测性能时，本发明能够有效地减少所需要的训练计算量以及所需要的数据量。表4仿真试验所采用的神经网络构架前向传播的计算损耗细节卷积层池化层全连接层总计算量11296064flops37632flops3213826flops14547522flops表5本发明方法与cm-cnn方法的计算量对比信噪比-12-14-16-18-20cm-cnn/cfp5408082940572004784040560maml-ss/cfp6060606060综上所述，本发明提供的一种基于小样本训练神经网络的频谱感知方法，通过提前将神经网络检测器部署在实际环境下进行预训练，能够使得神经网络检测器在使用时仅通过少量样本以及进行少量梯度迭代调整就能够获得较高的检测性能，既满足了检测性能需求，又减少了检测端的计算成本以及数据量需求。而且，在神经网络检测器采用相同的神经网络结构下，本发明方法在基于少量样本以及少量梯度迭代的情况下，可以达到与基于大量样本以及大量梯度迭代的神经网络检测器相近的性能，能够有效地减少所需要的训练计算量以及所需要的数据量。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12