一种均衡长期能效和网络稳定性的双工模式优化方法

本发明涉及无蜂窝大规模mimo通信，特别是涉及一种均衡长期能效和网络稳定性的双工模式优化方法。

背景技术：

1、随着双工模式的演进，nafd系统可以通过动态调整每个时隙上下行rau的数量实现同时的上下行传输，不存在rau内自干扰，大大提高了系统的频谱效率和能量效率。rau双工模式优化算法对提高nafd无蜂窝大规模mimo系统的性能起着至关重要的作用。然而，目前有关nafd系统的性能优化研究都针对单个时隙进行。由于固定信道条件和无限积压的假设，当单一时隙的解决方案扩展到长期问题时，将忽视不同用户数据队列积压带来的服务公平性问题。由于数据到达的随机性，数据队列的时变特性将影响网络的稳定性，实际的网络控制决策必须在时变信道条件和随机业务到达的情况下进行。因此需要设计有效方案，同时考虑网络稳定性和各种长期和瞬时约束，进行rau双工模式优化，实现nafd无蜂窝大规模mimo系统中长期能效和网络稳定性的折衷均衡。

技术实现思路

1、技术问题：有鉴于此，本发明的目的在于提供一种均衡长期能效和网络稳定性的双工模式优化方案，结合nafd无蜂窝大规模mimo系统的特点和李雅普诺夫框架，可以在保持队列稳定性的前提下获得显著的能效增益。本发明设计了一种先用李雅普诺夫加罚漂移方法将系统长期能效优化问题转化为单时隙等价优化问题，再采用基于强化学习的联合双工模式优化算法求解转化后的单时隙优化问题的方案。

2、技术方案：本发明的一种均衡长期能效和网络稳定性的双工模式优化方法具体包括以下几个步骤：

3、一种均衡长期能效和网络稳定性的双工模式优化方法，具体包括以下几个步骤：

4、步骤1、建立nafd无蜂窝大规模mimo系统数学模型；

5、步骤2、建立长期能效优化问题的目标函数和约束条件；

6、步骤3、基于李雅普诺夫优化和漂移加罚方法，将系统长期能效优化问题转化为单时隙等价优化问题；

7、步骤4、采用基于强化学习的联合双工模式优化算法求解转化后的单时隙优化问题。

8、优选的，所述步骤1具体包括：

9、步骤101：在一个nafd无蜂窝大规模mimo系统中，建立由一个中央处理器cpu管理的区域场景模型：

10、所述区域场景模型中均匀分布有m个远程天线单元rau，共同服务k个用户，其中kul数目的用户进行上行通信，kdl数目的用户进行下行通信，kul+kdl＝k，用表示所有上行用户的索引集、表示所有下行用户的索引集；在每个时隙调用节点模式选择算法后，分配进行上行接收的远程天线单元rau数量，用mul表示，分配进行下行发送的远程天线单元rau数量，用mdl表示，其中mul+mdl＝m；每个远程天线单元rau配备n个天线，并通过前传链路与中央处理器cpu相连，每个用户配置一个天线，远程天线单元rau和用户的天线都以半双工模式工作；

11、步骤102：建立数据传输模型：

12、在下行传输阶段，mdl个进行下行发送的远程天线单元rau共同向kdl个进行下行通信的用户发送信号，设l为集合中的任意一个整数，则第l个进行下行通信的用户的信干噪比表示为：

13、

14、其中是估计得到的第l个进行下行通信的用户和所有进行下行发送的远程天线单元rau之间的下行信道向量，是信道估计误差，(·)h表示矩阵的共轭转置，∑·表示求和运算，其中wi是第i个进行下行通信的用户的预编码向量，vi是第i个进行下行通信的用户的归一化预编码向量的方向，pdl,i是第i个进行下行通信的用户的下行发送功率；wl是第l个进行下行通信的用户的预编码向量；设l'为集合中的任意一个整数且l'≠l，wl'是第l'个进行下行通信的用户的预编码向量；pul,k是第k个进行上行通信的用户的上行发送功率，fl,k是第k个进行上行通信的用户和第l个进行下行通信的用户之间的干扰信道向量，是下行信道噪声的方差值，|·|表示绝对值运算；

15、将第l个进行下行通信的用户的传输速率表示为

16、在上行传输阶段，mul个进行上行接收的远程天线单元rau共同从kul个进行上行通信的用户接收信号，设k为集合中的任意一个整数，则第k个进行上行通信的用户的信干噪比表示为：

17、

18、其中rk表示第k个进行上行通信的用户的接收机向量，是估计得到的第k个进行上行通信的用户和所有进行上行接收的远程天线单元rau之间的上行信道向量，是信道估计误差；设k'为集合中的任意一个整数且k'≠k，pul,k'是第k'个进行上行通信的用户的上行发送功率，是估计得到的第k'个进行上行通信的用户和所有进行上行接收的远程天线单元rau之间的上行信道向量；是由于进行上行接收的远程天线单元rau之间干扰消除不完善导致的剩余干扰功率；是上行信道噪声的方差值；

19、则第k个进行上行通信的用户的传输速率表示为

20、步骤103：建立nafd无蜂窝大规模mimo系统的功耗模型：

21、功耗模型包括传输功率pt、电路能耗pm、远程天线单元双工模式切换能耗、回程能耗pbh和nafd无蜂窝大规模mimo系统中远程天线单元间干扰消除能耗pic，表示为：

22、psum＝pt+pm+ps+pbh+pic，

23、其中tu表示用于上行传输的符号数，td表示用于下行传输的符号数，τu表示用于上行传输的导频长度，τd表示用于下行传输的导频长度，ξ是放大器效率；

24、ps＝m'psw，m'表示这一时隙进行双工模式切换的远程天线单元的数量，psw表示进行双工模式切换的能量消耗；p0表示每个回程链路上固定的能量消耗，pbt表示与上行传输、下行传输相关的能量消耗，b是nafd无蜂窝大规模mimo系统的系统带宽，为nafd无蜂窝大规模mimo系统中所有用户的上下行和速率；

25、采用波束成形训练机制用于远程天线单元rau间干扰消除，pup是上行导频发送功率，pdp是下行导频发送功率，t是相干时间长度，lrau代表单位能量的复数值运算操作的计算效率；

26、步骤104：构造动态数据队列：

27、在第t+1时隙，第k个进行上行通信的用户的数据队列更新方程为：

28、

29、第l个进行下行通信的用户的数据队列更新方程为：

30、

31、其中表示到达该上行用户的数据速率，表示到达该下行用户的数据速率，在不同时隙满足均值分别为和的独立同分布，表示当前该上行用户端的数据队列积压，表示下行用户端的数据队列积压，表示t时隙第k个进行上行通信的用户的传输速率，表示t时隙第l个进行下行通信的用户的传输速率，max[·]表示取几者的最大值。

32、优选的，所述步骤2具体包括：

33、步骤201：建立长期能效的目标函数和约束条件：

34、为了确定远程天线单元rau的双工模式，用qu表示上行模式选择向量，qd表示下行模式选择向量，qu和qu均在集合{0,1}中取值，qu+qd＝1，表示每个远程天线单元rau在每个时隙只能在上行或下行模式工作；

35、将nafd无蜂窝大规模mimo系统的长期能效定义为：

36、

37、其中t表示长期时间长度，rsum表示所有上下行用户和速率，psum表示nafd无蜂窝大规模mimo系统总能耗，∞表示无穷大，表示数学期望运算，表示求取平均值运算；

38、则长期能效的目标函数建立为：

39、

40、其中表示优化上行和下行模式选择向量使得其后函数值最大；

41、步骤202：建立既包括时间平均意义上的约束条件，又包括单时隙的约束条件如下：

42、

43、

44、

45、

46、

47、其中pavg为nafd无蜂窝大规模mimo系统平均功耗阈值，rmin为nafd无蜂窝大规模mimo系统最小传输功率要求。

48、优选的，所述步骤3具体包括：

49、步骤301：构造关于nafd无蜂窝大规模mimo系统能耗的虚拟队列g(t+1)：

50、g(t+1)＝max[g(t)+psum(t)-pavg,0]；

51、步骤302：构建单个时隙内最小化李雅普诺夫加罚漂移函数：

52、

53、s.t.c4～c5

54、其中表示优化上行和下行模式选择向量使得其后函数值最小，s.t.表示使其满足后述条件，其中τ为时间常数；v为控制参数，用于调整nafd无蜂窝大规模mimo系统在长期能效和稳定性之间的均衡。

55、优选的，所述步骤4具体包括：

56、步骤401：初始化区域场景模型的各项参数，包括设定控制参数v和总时隙数tmax，设定上下行数据队列、虚拟队列以及能效初始值均为0；

57、步骤402：在第t个时隙，观察当前队列状态g(t),和ηee(t)。

58、步骤403：求解所述步骤302中内最小化李雅普诺夫加罚漂移函数，得到节点模式选择方案qu和qd：

59、采用q-learning框架设计基于强化学习的节点模式优化算法，所述节点模式优化算法包括环境、智能体、状态、动作和奖励五个要素，在节点模式优化算法的每次迭代中，智能体观察当前状态st，选择一个动作at，并获得一个即时奖励rt，用来更新一个状态-动作对的价值估计，即q值，用来表示执行动作的有效性，同时切换到状态st+1；最终建立一个以“状态”为行、“动作”为列的q表格，q值按照式子：

60、q(st,at)←q(st,at)+α[rt+γmaxaq(st+1,a)-q(st,at)]更新，其中α是学习率，γ是折扣因子，在本区域场景模型中，将中央处理器cpu视作智能体，负责所有远程天线单元rau的双工模式选择；

61、设m为集合[1,m]中的任意一个整数，用一个一维数组st＝[x1,x2,x3…xm…]表示状态，其中xm在集合{0,1}中取值，表示第m个远程天线单元rau的工作状态，xm＝1表示执行上行接收，xm＝0表示执行下行发送；

62、由于每个远程天线单元rau只能在两个工作状态中选择，因此定义每个远程天线单元rau的动作为在上下行模式中进行切换，在q-learning中，采用ε-贪婪策略作为动作选择方法；

63、步骤404：根据上述步骤403中求解得到的qu和qd，按照上述步骤104和步骤301中构造的队列公式，动态更新nafd无蜂窝大规模mimo系统中各数据队列和关于nafd无蜂窝大规模mimo系统能耗的虚拟队列；

64、步骤405：进入下一时隙t+1，重复步骤402至步骤404，直到遍历tmax个时隙。

65、有益效果：本发明提供了一种均衡长期能效和网络稳定性的双工模式优化方法。针对nafd无蜂窝大规模mimo通信系统中业务数据到达随机性和时变信道特性影响网络稳定性的问题，充分利用nafd系统解耦上下行降低干扰的优势，通过rau双工模式选择，突破nafd系统的优化瓶颈。本发明首先对nafd无蜂窝大规模mimo系统中的上下行传输、能量消耗和动态数据队列进行建模，并利用虚拟队列将长期功耗约束转化为虚拟队列稳定性问题。接着本发明采用李雅普诺夫加罚漂移方法将系统长期能效优化问题转化为单时隙等价优化问题，并提出一种基于强化学习的联合双工模式优化算法求解转化后的单时隙优化问题。与传统的双工模式优化方法相比，本发明提出的方法能够在保持网络和数据队列稳定性的前提下获得显著的能效增益，对处理存在随机数据到达和时变信道特性的长期能效优化问题具有非常重要的意义。