一种大规模MIMO中波束赋形的方法和系统与流程

本发明涉及通信领域，特别是涉及一种大规模mimo中波束赋形的方法和系统。

背景技术：

1、波束赋形(beamforming)又叫波束成型、空域滤波，是一种使用传感器阵列定向发送和接收信号的信号处理技术。波束赋形技术通过调整相位阵列的基本单元的参数，使得某些角度的信号获得相长干涉，而另一些角度的信号获得相消干涉。波束赋形既可以用于信号发射端，又可以用于信号接收端，以提高移动通信系统中相对位置不断变化的基站和通信终端间通信信号的质量。

2、在复杂的空间拓扑中存在多径效应，给信道估计带来很大的不确定性。因此，波束赋形的权重计算也不准确。致使用户设备(user equipment，简写为ue)和小区的吞吐量没有最大化。所以，随着网络用户的日益递增，网络环境将变得越来越复杂，如何能根据真实的网络状态而动态的进行波束赋形成为未来技术的一个挑战。

3、鉴于此，如何克服现有技术所存在的缺陷，解决真实网络中动态波束赋形的现象，是本技术领域待解决的问题。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明解决了真实网络中动态波束赋形的问题。

2、本发明实施例采用如下技术方案：

3、第一方面，本发明提供了一种()的方法，具体为：

4、优选的，获取现网的真实数据生成至少一个样本，将所有样本的集合作为训练数据集对强化学习模型进行训练，其中，所述样本包括：信道特征、动作集合、平均吞吐量和下一时刻的信道特征，所述强化学习模型的动作为波束赋形权重调节因子，强化学习模型的reward为网络的信干噪比；获取当前网络的信道特征，将当前网络的信道特征输入强化学习模型，强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子；根据波束赋形权重调节因子计算波束赋形权重矩阵，对数据进行波束赋形，并计算下一时刻的信道特征，将下一时刻的信道特征对应的样本加入训练数据集中再次对强化学习模型进行训练。

5、优选的：所述信道特征为信道矩阵或信道冲击响应。

6、优选的，获取现网的真实数据生成至少一个样本，具体包括：通过交互消息获得ue的信道特征，根据信道矩阵生成所有可用的波束赋形权重调节因子作为动作集合；计算新的波束赋形权重，并计算出网络的平均吞吐量；根据新的波束赋形计算下一时刻的信道特征。

7、优选的，通过交互消息获得ue的信道特征，具体包括：为上行波束赋形时，信道矩阵为当前ue的上行信道矩阵；为下行波束赋形时，信道矩阵为当前ue的下行信道矩阵。

8、优选的，根据信道矩阵生成动作集合，具体包括：将波束赋形权重调节因子以复数表示，复数的实部和虚部进行水平方向连接或进行垂直方向连接，以所有实部和虚部的合集作为动作集合。

9、优选的，将状态矩阵作为训练数据集对强化学习模型进行训练，还包括：使用训练数据集对gan模型进行训练，使用训练好的gan模型生成更多的样本加入训练数据集中。

10、优选的，强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，具体包括：所述强化学习模型采用actor-critic算法，智能体actor及q-function均是神经网络模型。

11、优选的，强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，还包括：强化学习模型的智能体actor与q-function为卷积神经网络，actor和q是一个整体的网络，actor的输出为动作合集中的波束赋形权重调节因子，q的输出为使用当前波束赋形权重调节因子后卷积神经网络的评分。

12、优选的，根据波束赋形权重调节因子计算波束赋形权重矩阵，具体包括：根据波束赋形权重调节因子计算每个波束的波束赋形权重，将各波束的波束赋形权重整合为波束赋形权重矩阵。

13、另一方面，本发明提供了一种大规模mimo中波束赋形的系统，具体为：基站和至少一个ue，具体的：ue将信道矩阵发送至每个基站，每个基站将信道矩阵输入本基站上训练后的强化学习模型中，根据权利要求1-9中任一项提供的大规模mimo中波束赋形的方法获取最优的波束赋形权重调节因子；每个基站根据波束赋形权重调节因子计算新的波束赋形权重矩阵，并发送波束赋形后的数据给ue；基站获取下一时刻状态数据，对训练数据集进行迭代更新，并使用更新后的训练数据集重新训练模型

14、与现有技术相比，本发明实施例的有益效果在于：依托网络自身产生的大数据，采用深度强化学习算法学习网络环境中包含的信道特征，从而动态计算波束赋形权重的调节因子，可以有效提高频谱利用率、提高网络的吞吐量。

技术特征：

1.一种大规模mimo中波束赋形的方法，其特征在于，具体包括：

2.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，具体的：

3.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，所述获取现网的真实数据生成至少一个样本，具体包括：

4.根据权利要求3所述的大规模mimo中波束赋形的方法，其特征在于，所述通过交互消息获得ue的信道特征，具体包括：

5.根据权利要求2所述的大规模mimo中波束赋形的方法，其特征在于，所述根据信道矩阵生成动作集合，具体包括：

6.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，所述将状态矩阵作为训练数据集对强化学习模型进行训练，还包括：

7.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，所述强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，具体包括：

8.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，所述强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，还包括：

9.根据权利要求1所述的大规模mimo中波束赋形的方法，其特征在于，所述根据波束赋形权重调节因子计算波束赋形权重矩阵，具体包括：

10.一种大规模mimo中波束赋形的系统，其特征在于，包括基站和至少一个ue，具体的：

技术总结
本发明涉及通信领域，特别是涉及一种大规模MIMO中波束赋形的方法和系统。主要包括：获取现网的真实数据生成至少一个样本，将所有样本的集合作为训练数据集对强化学习模型进行训练；获取当前网络的信道特征，将当前网络的信道特征输入强化学习模型，强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子；根据波束赋形权重调节因子计算波束赋形权重矩阵，对数据进行波束赋形，并计算下一时刻的信道特征，将下一时刻的信道特征对应的样本加入训练数据集中再次对强化学习模型进行训练。本发明可以动态计算波束赋形权重的调节因子，有效提高频谱利用率、提高网络的吞吐量。

技术研发人员：黄东东,王建,毛斐,强小应
受保护的技术使用者：南京第三代通信科技有限公司
技术研发日：
技术公布日：2024/1/11