无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法

本发明涉及一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，属于移动通信。

背景技术：

1、创新应用和设备驱动的对高数据速率无线通信的需求不断增长，是无线网络演进的关键推动因素。微波波段(如sub-6ghz以下)有限的频谱资源已无法满足流量需求。毫米波通信具有丰富的频谱资源(在30-300ghz范围内)，有望成为第五代无线通信中最突出的技术，实现超高速和超低延迟传输。

2、对于毫米波波段的无线通信来说，严重的路径损耗和低穿透率是主要的挑战，阻碍了毫米波通信从理论概念向实际应用的发展。为了解决从基础设施层面的所有路径损耗问题，基站(base station，bs)采用了多输入多输出(multiple-input multiple-output，mimo)技术，通过波束成形使能量聚焦，从而对抗毫米波的大衰减。对于毫米波大规模mimo通信的实际实现，采用了高效模拟/数字混合波束形成体系结构，显著减少了射频链的数量，以提供足够的信道增益，同时保持可承受的硬件成本和能源消耗。另一个能提高毫米波大规模通信的可行方法是基站密集化，即使用更小的小区尺寸，缩短用户的访问距离，提高基站的覆盖。此外，由于毫米波波束容易被阻塞，在小区边缘的用户仍然可能遭受通信质量差和中断。无蜂窝网络打破了传统小区边界的限制，成为进一步提高系统吞吐量的一种有前途的解决方案。无蜂窝网络不仅提高了空间自由度，而且通过相干传输和接收实现协调传输，从而提供高质量的毫米波通信。

3、波束成形可以使能量聚焦，对抗一部分的毫米波衰减。在毫米波大规模mimo中，常用的波束对准方法是穷举法和分层搜索法，但在无蜂窝毫米波网络中，存在多个接入点(access points，aps)以及移动用户(mobile users，mus)，全局最优的模拟波束的复杂度与ap的数量成指数关系，性能最优的同时会带来过大的访问延迟。且基于中央处理器(central processing unit，cpu)的数字预编码也会因为矩阵维度过大导致计算开销大。毫米波通信容易堵塞，且用户在移动，多ap需要重新进行波束对准，因此需要为无蜂窝毫米波网络中设计一种快速有效的波束对准与追踪方案，降低波束对准与追踪的开销，提高系统的整体性能。

4、同时在无线通信中，主要依靠信道状态信息(chanel state information，csi)来设计模拟预编码和数字预编码。但是在无蜂窝毫米波网络中通常难以准确获得。因此可以使用波束扫描获得的等效信道来替代csi。深度q-网络(deep q-network，dqn)通过衡量状态-动作对的好坏，为深度强化学习(deep reinforcement learning，drl)构建了一个价值函数模型，有效地解决了q值表大小对q-learning网络的限制问题。但在多用户移动的网络时，若只有当前的状态输入网络，则无法判断移动的速度和方向，这使得系统成为一个部分可观察马尔科夫决策过程(partially observation markov decision process，pomdp)，dqn不能很好的解决该类问题。并且在进行波束追踪的时候，下一个时刻的波束也与之前的状态有关，之前的状态有利于智能体提取出有用的历史信息。因此，需要将波束扫描的等效信道构建成波束图像，并堆叠波束图像，增加时间维度，以提高dqn智能体的学习以及感知能力，从而降低系统的波束分配开销和提高系统的用户频谱效率。

技术实现思路

1、技术问题：本发明针对无蜂窝毫米波多用户移动网络中的波束分配与追踪的复杂度高，传统常规的波束对齐方案难以感知环境变化，且一般的dqn状态定义方法难以较好解决多用户移动网络等问题，提出一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法，以解决常规方法学习速度慢以及无法进行有效最优波束的预测等问题。

2、技术方案：本发明的一种无蜂窝毫米波下基于波束图像堆叠的智能波束追踪方法应用于无蜂窝毫米波网络中，包括以下步骤：

3、步骤1：在无蜂窝毫米波下构建多用户移动网络，网络中包含多个毫米波接入点ap和多个移动用户mu。ap与mu进行无线通信前，需要通过波束对准。在用户移动场景下进行的波束对准叫做波束追踪。在进行波束追踪前，需要构建信道以及获取一些必须的信息；

4、步骤2：基于已有的信息，定义波束图像、深度q-网络dqn中的状态、动作和回报函数，以及初始化智能体；

5、步骤3：智能体初始化之后，开始进行训练，主要包括：执行动作并与环境交互，获得观测值计算回报值以及将一次交互的数据存储；

6、步骤4：基于已有的信息，智能体开始进行智能决策，主要工作是基于dqn算法动态智能求解波束子空间：

7、步骤4.1，获取最优指向波束：每个智能体进行波束扫描以获得初始的最优指向波束；

8、步骤4.2，实时交互训练dqn网络：包括采用动态贪心算法决策出最大q值的动作，进行步骤3.1-3.3，不断交互训练，同时使用经验重放更新记忆池。

9、所述步骤1具体包括：

10、步骤1.1，构建信道模型：在无蜂窝毫米波用户移动网络中，一共有l个随机分布的毫米波接入点ap连接到中央处理器cpu，每个ap有nap根天线，nrf个射频链；同时有k个单天线移动用户mu随机分布在覆盖区域内，mu和ap通信前，需要通过波束对准与毫米波ap执行波束分配，假设第k个mu与第l个ap之间的信道为：采用毫米波窄带e_sv模型；同时每个ap端为均匀线性天线的天线阵列ula，为了降低无蜂窝毫米波网络中的干扰，模拟预编码码本采用正交的离散傅里叶变化dft码本,即其中n,q分别表示行和列元素；

11、步骤1.2，确定ap与mu的服务状态：表示第k个mu的服务ap集合，表示第l个ap的服务用户集合，这两个集合为已知；每个ap只需为其服务的mu设计数字预编码向量，每一条服务关系都对应一个智能体，因此每个ap有nrf个智能体，其中活跃的智能体数量不大于nrf；

12、步骤1.3，构建接收信号模型：依据系统架构和信道模型给出mu的接收信号表达式。

13、所述步骤2具体包括：

14、步骤2.1，定义波束图像：每个ap从预定义的模拟码本中发送全向的训练信号，mu测量接收到的所有等效信道为其中的每一列表示第k个mu与第l个ap之间的信道的共轭转置与dft码本中的一个码本相乘；波束图像定义为为实际波束扫描获取到的等效信道的矩阵拼接，若某一个码本模式未被选用来进行波束扫描，则该数据为0；

15、步骤2.2，定义状态：将波束图像进行堆叠，构造成时间维度上的波束图像；

16、步骤2.3，定义动作：由(a,b)表示，a代表智能体对用户移动之后的下一个波束搜索中心的预测，b代表在预测的波束中心附近搜索的范围大小；

17、步骤2.4，定义回报函数：将t时刻第k个mu与第l个ap之间的回报函数设计为其中ts,tp,tc分别是扫单个波束的时间，计算数字预编码的时间，以及一个时隙的时间，表示在下行t时刻第k个mu与第l个ap之间的信号与干扰加噪声比；

18、步骤2.5，初始化dqn网络的关键参数：关键参数包括记忆池容量大小d，训练池容量主网络以及目标网络权重θ,θ'，贪心算法概率ε。

19、所述步骤3具体包括：

20、步骤3.1，智能体执行动作：每个智能体依次发送码本子空间的波束进行波束扫描，与环境进行交互；

21、步骤3.2，获得波束图像：智能体执行完动作之后，获得波束图像矩阵，同时智能体之间进行信息交互并计算得出回报值；

22、步骤3.3，智能体堆叠波束图像成为新状态，将动作，状态，新状态，回报值存储到记忆池。

23、所述dqn网络，通过堆叠基于波束扫描获得的波束图像构建dqn智能体的状态，并设计基于差分技术的动作空间和有效的回报函数来评判dqn智能体的决策优劣，主要包括以下步骤：

24、步骤1，状态state：

25、将波束图像进行堆叠，构造成时间维度上的波束图像：skl,t＝[ikl,t-t+1,ikl,t-t+2…ikl,t]，表示将第k个mu与第l个ap之间的当前t时刻之前的t个时刻的波束图像进行矩阵拼接；

26、步骤2，动作action：

27、下一个时刻的动作由(a,b)表示，因此，下一个时刻的用于波束扫描的波束子集为{wopt+wa-(b//2),…wopt+wa,…wopt+wa+(x-b//2)}，其中wopt是上个时刻的最优波束；其主要思想是差分波束，第k个mu的动作空间可以定义为其中a∈(-n,n),b∈(0,n)，其中n为dft码本中的波束模式数，假设n＝nap，a,b分别表示波束搜索中心的最大预测值和波束搜索范围的可选区间，根据环境设置a,b为不同的数值，可以有效的降低波束扫描带来的开销；

28、步骤3，回报函数reward：

29、设计回报函数的时候需要考虑两个原则：一是诱导智能体往性能最优的方向；二是回报函数应当与搜索码本的大小以及所用时间相关，诱导智能体决策出更小且适当的动作空间，缩小波束扫描的时间；将回报函数设计为该回报函数的设计既反映出性能指标，也反应出所选动作的质量。

30、有益效果：本发明利用波束图像堆叠以及设计基于差分波束的动作空间和有效的回报函数，提升了智能体的学习能力，降低波束扫描开销的同时提升系统性能，对于实现无蜂窝毫米波多用户移动网络中的低开销通信具有非常重要的意义，因此本发明具有一定的实际价值。