基于Q学习的无线通信防窃听干扰功率控制算法的制作方法

技术特征：

1.一种基于Q学习的无线通信防窃听干扰功率控制算法，其特征在于，包括以下步骤：

S1.初始化发射功率Ps、安全评估系数ρ、干扰功率xi和工作时间的等级ts，将边缘服务器的工作时间ts平均分割为k个部分，记作一个时隙

S2.计算第k个时隙工作状态的相关量；

S3.友好干扰机使用Q学习算法学习，在每个时隙根据系统状态S^(k)做出决策，选择相应的动作xi^(k)；

S4.边缘服务器完成Q学习训练后，友好干扰机根据Q值表中当前状态S^(k)对应的方程调度动作发送友好干扰信号。

2.根据权利要求1所述的基于Q学习的无线通信防窃听干扰功率控制算法，其特征在于，所述的S1步骤包括：

S101.将发射功率Ps平均分割为n档，记发射功率集为L，令L＝[P1,P2,…,Pn]；

S102.确定合法发送方与接收方协同做出的安全评估系数ρ，ρ∈[0,1]；

S103.将合法发送者发射功率Ps、安全评估系数ρ合并得到状态集合，记为S，S＝[Ps，ρ]；

S104.将友好干扰机的干扰功率平均分割为n档，记友好干扰机的干扰功率动作集为A，令A＝[x1,x2,…,xn]；

S105.将边缘服务器的工作时间ts平均分割为k个部分，记作一个时隙

3.根据权利要求2所述的基于Q学习的无线通信防窃听干扰功率控制算法，其特征在于，所述的S2步骤包括：

S201.确定信道衰落系数为λ，λ∈[0,1]、测量合法发送者到接受者的距离dsr、合法发送者到窃听者的距离dse、友好干扰机到窃听者的距离为dje；

计算窃听者窃听渠道所得信息：

S202.计算合法接收者所得信息：其中θ∈[0,1]为在加密技术帮助下，合法接受者对干扰的免疫程度；

S203.计算测量信息保密容量

C(Ps^(k),xi^(k))＝log(γr(Ps^(k),xi^(k)))-log(γe(Ps^(k),xi^(k)))

S204.计算保密信息量I(S^(k),xi^(k))：

I(S^(k),xi^(k))＝ρ^(k)C(Ps^(k),xi^(k))

S205.计算测量系统能量损耗Es(xi^(k))：

Es(xi^(k))＝xi^(k)Ei+xi^(k)Ev+ηEn

其中，Ei为测量友好干扰机单位能量损耗，Ev为边缘服务器计算能量损耗，En为常规信息传输能量损耗，记η为常规系数，η∈[0,1]；

S206.根据上述测量得到的保密容量和能量损耗，计算无线通信防窃听干扰功率控制算法的即时效益函数：

U(S^(k)，xi^(k))＝I(S^(k)，xi^(k))-Es(xi^(k))。

4.根据权利要求3所述的基于Q学习的无线通信防窃听干扰功率控制算法，其特征在于，所述的S3步骤具体包括：

S301.根据合法发送者的发射功率组成的状态集和干扰机干扰功率动作集初始化Q矩阵；令矩阵V＝mn，m≥0,n≥0，并列出Q值表；预设Q学习的学习率和未来重视程度的衰减系数分别为α∈(0，1]、δ∈(0，1]，调节α、δ至合适的取值；

S302.测得第k个时隙合法发送者的发射功率Ps^(k)，安全评估系数ρ^(k)，得到状态值S^(k)；查询Q值表中S^(k)对应的最优干扰功率记最优调度概率为(1-ε)，ε∈(0,1]；通过策略选择此时的调动动作，调节ε至合适取值；

S303.当k＝1，在初始时隙由于无法测量状态S¹随机选择一个干扰功率动作当k≥2，在k时隙测量测量状态为S^(k)，友好干扰机干扰功率为此时边缘服务器通过S206步骤的公式计算本次训练获得的即时效益U(S^(k),xi^(k))；

S304.在时隙k结束时，依据步骤S101至S104测量第(k+1)个时隙发送者的发射功率Ps^(k+1)和安全评估系数ρ^(k+1)，从而确定下一时隙的状态值S^(k+1)；

S305.更新友好干扰机在状态S^(k)下采取动作的Q方程和通过最优动作得到的V方程；边缘服务器根据公式为：

S306.重复步骤S302至步骤S305，直至得到一个收敛的理想Q值表。