高密度AP分布场景GCN-DDPG无线局域网络参数调优方法和系统

文档序号:25993458发布日期:2021-07-23 21:06阅读:来源:国知局

技术特征:

1.一种高密度ap分布场景gcn-ddpg无线局域网络参数调优方法,其特征在于,包括如下步骤:

(1)通过数学建模的方式构建出无线局域网络的参数方案评估模型,参数方案评估模型的输入是所有ap的信号发射功率p和空闲信道评估阈值c;输出是所有ap的信号发射功率p、空闲信道评估阈值c以及对无线局域网络的饱和吞吐量的估计值r;

(2)通过gcn图卷积神经网络将参数方案评估模型的输出作为输入,进行特征的提取,处理成特征向量;

(3)构建深度强化学习ddpg算法模型,使其与构建的无线局域网络的参数方案评估模型交互,通过试错的方式提高算法性能使其收敛,深度强化学习ddpg算法模型收敛后的无线局域网络参数配置就是最优的无线局网络参数配置方案;深度强化学习ddpg算法模型的输入是gcn图卷积神经网络的输出特征向量,输出是所有ap的信号发射功率p和空闲信道评估阈值c,也就是参数配置方案。

2.根据权利要求1所述的方法,其特征在于:步骤(1)的具体步骤包括:

(1.1)收集要仿真的真实的无线局域网络的参数信息,包括每个ap的信号发射功率、空闲信道评估阈值、所处信道以及整个无线局域网络的固有参数信息,固有参数信息包括网络中最大包长l,mac帧头长度、phy帧头长度、ack、rts、cts、sifs、dcf帧长度、最大随机退避窗口cwmax和最小随机退避窗口cwmin;将要仿真区域的三维坐标系,标出每个ap的位置;

(1.2)利用无线信号自由空间路径损耗公式计算出api发射的信号到apj位置时的信号强度,计算出每一对ap强度,构成ap到ap信号强度矩阵;用同样的方法,计算出ap到ue的信号强度矩阵;

(1.3)利用上述两个信号强度矩阵,计算ap对于ue的信噪比以及信干噪比,根据信噪比选择连接的ap,根据信干噪比选择信号传输速率,然后计算ap对ue的一阶干扰和二阶干扰;

(1.4)利用参数方案评估模型,根据输入的ap的信号发射功率和空闲评估阈值,计算出无线局域网络的饱和吞吐量估计结果r,然后将ap的信号发射功率p和空闲评估阈值c和r,作为环境状态一起输出。

3.根据权利要求1所述的方法,其特征在于:步骤(2)的具体步骤包括:

(2.1)将ap到ap的信号强度矩阵中,假设其中一行为api,空闲信道评估阈值为ci,将该行每一个值与ci做比较,大于ci该位置被赋值为1,小于为0,矩阵对角线元素置0;便可得到ap的邻接矩阵a,为1表示该位置的两个ap相互干扰;

(2.2)利用邻接矩阵a,计算度矩阵d;度矩阵只有对角线有值,且为邻接矩阵a相应行的所有值的累加;假设参数矩阵为x,然后利用公式便可得到该特征参数的拉普拉斯矩阵变换;这个公式里面都是矩阵的乘法公式,因此h为一个矩阵,维度是ap的数量n*n。

4.根据权利要求1所述的方法,其特征在于:步骤(3)的具体步骤包括:

(3.1)利用深度强化学习ddpg算法模型中的策略网络随机生成一个参数配置方案,即每一个ap的信号发射功率和空闲信道评估阈值,然后向配置中加入一定的随机数后,送入参数方案评估模型,获得这个配置的饱和吞吐量;将配置和饱和吞吐量一起存到记忆库中,重复n次这个操作;

(3.2)重复n次后,继续利用策略网络成参数配置,加入的噪声值,要随训练次数增多,逐渐减小;并且要从记忆库随机提取一批数据,利用策略梯度算法,更新深度强化学习ddpg算法模型中的策略网络和价值网络;

(3.3)不断重复训练的过程,直到策略网络收敛,交互环境给与的饱和吞吐量值趋于稳定。

5.根据权利要求4所述的方法,其特征在于:步骤(3.1)的具体步骤包括:

(3.1.1)将所有的ap的信号发射功率以及空闲信道评估阈值和空闲信道评估阈值进行归一化,然后同其余参数一起送入参数方案评估模型;

(3.1.2)利用ap路损信息表计算ap之间的干扰关系;建立ap到ap信号强度矩阵,建立ap到ue的信号强度矩阵;

(3.1.3)因此根据上面两步计算出的信号强度矩阵,计算出每一个ap,在ue所处的位置的信噪比;ue根据信噪比排序,选择信噪比最大的ap进行连接;然后利用两个信号强度矩阵计算出该ap在当前位置的信干噪比,并根据信干噪比选择信号传输速率;

(3.1.4)根据ap与ap之间的信号强度矩阵,假设ap1的空闲信道评估阈值是c1,那么将其他ap对ap1的干扰与这个值比较,如果大于c1,则认为是该ap是ap1的一阶干扰;用同样的方法计算出其他ap的一阶干扰ap;从ap组中删除ap1的一阶干扰ap,然后将剩下的ap两两组合,将它们的信号强度相加如果大于c1,则认为改组是ap1的二阶干扰ap;用同样的方法计算其他ap的二阶干扰ap;

(3.1.5)根据以上计算出来的参数,通过参数方案评估模型,计算出无线局域网在该参数下的饱和吞吐量估计值。

6.一种高密度ap分布场景gcn-ddpg无线局域网络参数调优系统,其特征在于,包括:

环境交互模块:所述环境交互模块中配置有参数方案评估模型,将ddpg模块生成的无线局域网络参数配置送入环境交互模块,模块输出该参数配置下,无线局域网络的饱和吞吐量估计值;

gcn模块:将交互环境模块输出的,无线局域网络的参数信息和结构信息,通过矩阵的拉普拉斯变换,将二者结合在一起,生成特征矩阵送入ddpg模块;

ddpg模块:策略网络评估当前无线局域网络参数状态下,应该配置的ap参数,价值网络评估该参数的好坏;然后利用策略梯度算法,更新两个网络的参数。


技术总结
本发明公开了一种高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法和系统。方法包括:构建一个强化学习算法可以与之交互产生反馈的环境模型,这个反馈就是无线局域网络的饱和吞吐量估计;利用GCN图卷积神经网络,提取无线局域网络环境的参数信息和结构信息,作为输入提供给深度强化学习DDPG算法策略网络和价值网络的输入;利用构建深度强化学习算法模型,使其与无线局域网络仿真交互环境互动,优化深度强化学习算法的网络参数,使其收敛到一个稳定状态。系统包括环境交互模块、GCN模块以及DDPG模块。本发明可以在有限的计算资源和人工成本下,对无线局域网络参数进行优化,使其可以自我调节,到一个较好的工作状态,不用人工配置调整无线局域网络的参数。

技术研发人员:李春国;李成祥;杨绿溪
受保护的技术使用者:东南大学
技术研发日:2021.04.25
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1