基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统

基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统
技术领域
1.本发明涉及无线通信技术领域，具体涉及一种基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统。


背景技术：

2.d2d(device to device)通信是指两个距离较近用户节点之间直接通信的一种通信方式。在d2d通信网络中，每个用户节点都能发送和接收信号。网络的参与者共享所拥有的一部分硬件资源以及频谱资源。这些共享资源向d2d网络提供服务，能被其它用户直接访问而不需要经过中间实体。在d2d通信网络中，用户节点同时扮演服务器和客户端的角色，能够意识到彼此的存在，自组织地构成一个虚拟或者实际的群体。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统，能够通过采用深度强化学习的方法让用户进行不同通信模式的选则以及功率分配，从而最大化隐蔽传输速率。
4.为实现上述目的，本发明采用如下技术方案：
5.一种基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统，包括随机分布的m个用户和n个基站；所述n个基站中包含1个宏基站和n-1个小基站，所有用户均能被宏基站所覆盖；所述m个用户分别配备了一根发射天线和一根接收天线，在蜂窝模式或者d2d模式下通信；所述m个用户中有j个用户处于蜂窝通信，k个用户处于d2d通信；所述m个用户的位置固定不变，个数为偶数，每两个用户组成一对进行d2d通信，每对d2d链路由发射者dr和接收者dt组成；还包括一无人机，对其中一对用户进行监测，并给定一个隐蔽传输速率r；当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联。
6.进一步的，将可用频段分成两部分，一部分分配给蜂窝通信，另一部分分配给d2d通信。
7.一种基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统的通信方法，包括以下步骤：
8.步骤s1:根据用户占用的频谱资源、使用的发射功率以及隐蔽性要求，构建所需要优化的目标模型；
9.步骤s2:构造马尔可夫决策过程模型，采用深度强化学习的方法，通过动态地选择用户的通信模式，最大化隐蔽传输速率。
10.进一步的，基于有限码长隐蔽传输，具体如下：
11.考虑到被无人机所监视的用户的隐蔽性设计，设无人机只监视一个用户，且所有用户传输的信息是一样的，则无人机在一个时隙里收到的信号为：
[0012][0013]
其中i∈1，2，3...l表示占用的信道，p
sb
和p
sr
分别表示处于蜂窝通信和d2d通信时的发射功率；h
sw
和h
uw
表示用户到无人机之间的信道增益；xa(i)表示用户处发送的信息；nw(i)表示无人机接收处的噪声，和分别表示没有进行隐蔽传输和有进行隐蔽传输；式子中的第二项表示由于其他用户的通信而产生的干扰项；当处于情况下时，无人机处接收信号的信噪比表示为：
[0014][0015]
令无人机处使用能量检测来监测隐蔽信号的传输，则无人机接收处判决没有发生隐蔽传输时表示为判决有隐蔽传输时表示为
[0016]
当用户处于蜂窝通信模式而无人机处判决为d2d通信模式称为虚警概率当用户处于d2d通信模式而无人机判决为d2d通信模式成为漏警概率检测错误概率为检测错误概率为
[0017]
ξ满足ξ≥1-∈，其中∈表示一个确定隐蔽性的任意小的常数；
[0018]
通过似然比检测给出了无人机处最小化的最优检测值如下：
[0019][0020]
其中和分别表示和情况下的似然函数，和的表达式如下:
[0021][0022][0023]
其中表示当被监视的用户处于d2d通信模式时无人机处的接收功率；根据kl散度得出了最小检测错误概率的下界，如下：
[0024][0025]
其中表示到的kl散度，l表示信道个数，γw表示处于情况下时，无人机处接收信号的信噪比。
[0026]
由此得到的隐蔽约束条件表示为如下：
[0027][0028]
该条件能够确保的条件得到满足，即满足隐蔽约束条件；
[0029]
当用户处于d2d通信模式时，dr处的接收信号表示为如下：
[0030][0031]
其中h
sr
表示d2d链路的信道增益，该式的第二项表示其他用户传输时的干扰，nr(i)表示无人机接收处的噪声，则dr处的信噪比表示为：
[0032][0033]
对于一个给定的传输速率r，其有效隐蔽传输吞吐量表示为η＝lr(1-δ)。其中δ表示隐蔽传输的中断概率，l表示信道个数，表达式如下：
[0034][0035]
其中q(
·
)是q函数。
[0036]
进一步的，所述步骤s1中，构建的所需要优化的目标模型，具体如下：
[0037][0038][0039]rsb
，r
sr
≥r
min
[0040][0041]
其中，表示隐蔽传输速率，γ是一个折扣系数；第一个约束条件表示d2d用户之间是否产生了关联；第二个约束条件表示用户的发射功率不能超过p
max
；第三个约束条件表示其他用户的传输速率不能小于限定的最低速率；第四个约束条件表示被监测用户处于蜂窝通信模式时要满足传输时的隐蔽性。
[0042]
进一步的，所述马尔可夫决策过程模型通过一个4元组来描述这个问题，其中是状态空间，是动作空间，是状态转移概率，是奖励函数；
[0043]
将每个用户作为能够执行通信模式选则的智能体，定义智能体的状态、动作和奖励如下：
[0044]
(1)在一个时隙里的状态空间表示为s＝(ξ1，ξ2，
…
，ξm)，其中ξm表示如下:
[0045][0046]
式中的ξm表示第m个用户的服务质量；
[0047]
(2)在每个时隙里的动作空间表示为a＝(p1，p2，
…
，pm，β)，其中β表示在t时隙分配给蜂窝通信的频段的比例，pm表示控制用户通信模式和功率分配的变量，其表达式如下：
[0048][0049]
在该表达式中，当pm为负数时，选则d2d通信模式，并且将|pm大小的功率分配给用户作为发射功率；
[0050]
(3)在一个时隙里的奖励为表示隐蔽传输速率。
[0051]
进一步的，所述深度强化学习的方法采用td3的深度强化学习方法。
[0052]
本发明与现有技术相比具有以下有益效果：
[0053]
本发明能够通过采用深度强化学习的方法让用户进行不同通信模式的选则以及功率分配，从而最大化隐蔽传输速率
附图说明
[0054]
图1是本发明系统结构示意图；
[0055]
图2是本发明一实施例中基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信方法网络结构图。
具体实施方式
[0056]
下面结合附图及实施例对本发明做进一步说明。
[0057]
请参照图1，本发明提供一种基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统，包括在一个指定区域(1km
×
1km)内分布着的m个用户和n个基站，n个基站中包含了1个宏基站和n-1个小基站。每个用户分别配备了一根发射天线和一根接收天线，可以在蜂窝模式或者d2d模式下通信，m个用户中有j个用户处于蜂窝通信，k个用户处于d2d通信。假设用户的位置固定不变，将用户的个数设置为偶数，每两个距离较近的用户组成一对进行d2d通信，每对d2d链路由发射者dr和接收者dt组成。考虑用户在d2d模式下的通信为隐蔽通信，空中有一架无人机充当监测者，只对其中一对用户进行监测，并给定一个隐蔽传输速率r。当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联。由于蜂窝通信和d2d通信之间存在相互的干扰，在本发明中将可用频段分成两部分，一部分分配给蜂窝通信，另一部分分配给d2d通信。通过深度强化学习的方法，最大化隐蔽传输速率。当用户与宏基站进行通信时，路径损耗设置为128.1+37.6log10d，d为它们之间的距离，其单位为km。当用户与小基站进行通信时，路径损耗设置为140.7+36.7log10d。当用户采用d2d通信模式时路径损耗设置为148+40log10d。噪声功率为175dbm。限制的最低传输速率为1mbps。每个用户的静态功率为0.1w。
[0058]
具体的通信方法如下：
[0059]
步骤s1:根据用户发射信号的数学表达式以及所分配的频谱资源和能量以及确保被无人机所监视的那对用户处于d2d通信时的隐蔽性，构建所需要优化的目标如下：
[0060]
当用户处于蜂窝通信模式时，接收端在每个时隙的信干噪比由下面表达式出：
[0061][0062]
式中ρ
sb
和pu是一个二进制变量，分别表示蜂窝通信的用户和其他用户与基站是否产生关联。p
sb
和pu分别表示蜂窝通信用户和其他用户的发射功率。h
sb
和h
ub
分别表示蜂窝通信用户和其他用户的信道增益。nb表示噪声。
[0063]
当用户处于d2d通信时，接收处在一个时隙里的信干噪比由下面表达式
[0064][0065]
式中ρ
sr
和ρ
ur
是一个二进制变量，分别表示蜂窝通信的用户和其他用户与基站是否产生关联。p
sr
和pu分别表示蜂窝通信用户和其他用户占的发射功率。h
sr
和h
ur
分别表示蜂窝通信用户和其他用户的信道增益。nr表示噪声。
[0066]
当用户处于蜂窝通信时，用户到基站的传输速率由下面表达式给出：
[0067]rsb
＝βwlog2(1+γ
sb
)
[0068]
式中βw表示蜂窝通信时占用的带宽。
[0069]
当用户处于d2d通信时的传输速率由下面表达式给出：
[0070]rsr
＝(1-β)wlog2(1+γ
sr
)
[0071]
由于每个用户的功率由静态功率和动态功率组成，所以当用户处于不同通信模式时的总功率表达式如下：
[0072]
pc＝p0+ηp
sb
[0073]
pd＝p0+ηp
sr
[0074]
式中pc和pd分别表示用户处于蜂窝通信和d2d通信时的总功率。p0表示用户的静态功率。η是一个比例因子。
[0075]
优选的，本实施例采用一种基于有限码长隐蔽传输方案。考虑到被无人机所监视的用户的隐蔽性设计，假设无人机只监视一个用户，且所有用户传输的信息是一样的，则无人机在第t个时隙收到的信号为：
[0076][0077]
其中i∈1，2，3...l表示占用的信道，p
sb
和p
sr
分别表示处于蜂窝通信和d2d通信时的发射功率。h
sw
和h
uw
表示用户到无人机之间的信道增益。xa(i)表示用户处发送的信息。nw(i)表示无人机接收处的噪声，和分别表示没有进行隐蔽传
输和有进行隐蔽传输。式子中的第二项表示由于其他用户的通信而产生的干扰项。当处于情况下时，无人机处接收信号的信噪比表示为：
[0078][0079]
令无人机处使用能量检测来监测隐蔽信号的传输，则无人机接收处判决没有发生隐蔽传输时表示为判决有隐蔽传输时表示为当用户处于蜂窝通信模式而无人机处判决为d2d通信模式称为虚警概率当用户处于d2d通信模式而无人机判决为d2d通信模式成为漏警概率检测错误概率为为了确保用户处于d2d通信时的隐蔽性，ξ必须满足ξ≥1-∈，其中∈表示一个确定隐蔽性的任意小的常数。
[0080]
在一般情况下总是以最小检测错误概率ξ
*
来监测隐蔽传输的存在，即满足ξ
*
≥1-∈。通过似然比检测给出了无人机处最小化的最优检测值如下：
[0081][0082]
其中和分别表示和情况下的似然函数，和的表达式如下:
[0083][0084][0085]
其中表示当被监视的用户处于d2d通信模式时无人机处的接收功率。根据kl散度得出了最小检测错误概率的下界，如下：
[0086][0087]
其中表示到的kl散度，l表示信道个数，γw表示处于情况下时，无人机处接收信号的信噪比。
[0088]
由此得到的隐蔽约束条件表示为如下：
[0089][0090]
该条件能够确保的条件得到满足，即满足隐蔽约束条件。
[0091]
当用户处于d2d通信模式时，dr处的接收信号表示为如下：
[0092]
[0093]
其中h
sr
表示d2d链路的信道增益，该式的第二项表示其他用户传输时的干扰，nr(i)表示无人机接收处的噪声，则dr处的信噪比表示为：
[0094][0095]
对于一个给定的传输速率r，其有效隐蔽传输吞吐量表示为η＝lr(1-δ)。其中δ表示隐蔽传输的中断概率，l表示信道个数，表达式如下：
[0096][0097]
其中q(
·
)是q函数。
[0098]
最终的优化问题的模型如下：
[0099][0100][0101][0102]rsb
，r
sr
≥r
min
[0103][0104]
其中，表示隐蔽传输速率，γ是一个折扣系数，用于减小未来时隙对当前时隙的影响。第一个约束条件表示d2d用户之间是否产生了关联。第二个约束条件表示用户的发射功率不能超过p
max
。第三个约束条件表示其他用户的传输速率不能小于限定的最低速率。第四个约束条件表示被监测用户处于蜂窝通信模式时要满足传输时的隐蔽性。
[0105]
步骤s2:构造所需要解决的优化问题的马尔可夫决策过程(mdp)模型如下：
[0106]
(1)在一个时隙里的状态空间表示为s＝(ξ1，ξ2，
…
，ξm)，其中ξm表示如下:
[0107][0108]
式中的ξm表示第m个用户的服务质量，它的大小由用户的传输速率和限制的最低传输速率决定。
[0109]
(2)在一个时隙里的动作空间表示为a＝(p1，p2，
…
，pm，β)，其中β表示在t时隙分配给蜂窝通信的频段的比例，pm表示控制用户通信模式和功率分配的变量，其表达式如下：
[0110][0111]
在该表达式中，当pm为负数时，选则d2d通信模式，并且将|pm大小的功率分配给用户作为发射功率。
[0112]
(3)在每一个时隙里的奖励为表示隐蔽传输速率。
[0113]
优选的，每个用户选则通信模式的过程如下：
[0114]
在当前时隙每个用户将得到一个基于服务质量(ξm)的状态，并且由深度强化学习的方法选则动作(pm，β)，进入下一个时隙，如此反复。通过多次的迭代,当神经网络训练好之后，就能在每个用户的的当前状态下选则最佳的动作以获得最佳的奖励回报来最大化隐蔽传输速率。
[0115]
优选的，在本实施例中采用td3的深度强化学习方法来处理mdp模型，如图2所示，td3深度强化学习方法如下：
[0116]
td3的深度强化学习方法，是在深度确定性策略梯度(ddpg)的基础上提出，用于解决ddpg算法的高估问题。td3拥有两个q网络，通过选择最小目标q来解决高估问题。在每次更新中，选择q值较小的q目标网络作为q目标。td3更新动作网络和目标网络的频率低于当前评论网络。这中频率较低的更新方式能使得值估计的方差较低，从而使当前评论网络变得更稳定。此外，还采用了目标策略平滑正则化。
[0117]
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。