一种无线资源分配优化装置及方法与流程

本发明属于移动通信，具体涉及一种无线资源分配优化装置及方法。

背景技术：

1、无线资源管理是指在有限带宽的条件下，为无线用户设备(ue)提供业务质量保障，灵活分配和动态调整无线传输部分和网络的可用资源，最大程度地提高无线频谱利用率。常规的资源分配问题的信道建模中，往往考虑有用信号和噪声信号的信道模型，但对于干扰的建模较少。

2、中国发明专利，公开号为cn112566253a，专利名称为一种无线资源分配联合优化方法及装置，公开了：对待资源分配优化的mimo网络架构的应用场景进行建模，得到对应的mimo网络架构的信道模型；其中，用户对之间采用noma通信技术，在发射端采用迫零波束赋形技术对发射信号进行编码；基于信道模型，采用深度强化学习网络进行学习，实现mimo网络架构中的簇间干扰和簇内干扰的分配；其中，深度强化学习的目标是在保证网络架构内第一组用户的最低目标数据速率时，最大化第二组用户的和速率。但是该专利存在以下问题：1)该专利考虑的干扰为不同天线之间的干扰，可以理解为系统内部的干扰，但是并未考虑其他小区对服务小区的干扰即小区间干扰。小区间干扰会对系统吞吐量产生影响；2)速率的选择。该专利对于速率的选择为连续的，但在实际情况中，速率的选择往往是离散的，即有多个速率备选方案，从中选择合适的速率进行传输。

3、中国发明专利，公开号为cn114666900a，专利名称为一种无线资源分配方法及装置，公开了：应用于区块链节点，所述方法包括：接收终端发送的业务名称及业务特征；根据所述业务名称及业务特征对所述业务进行需求映射，得到需求映射信息；将所述需求映射信息发送给基站，以使得所述基站根据所述需求映射信息进行无线资源分配。但是该专利存在以下问题：1)未提及速率选择的方法，因此其在资源分配后是如何选择速率是不清晰的；2)需要在ue侧上报业务信息，当基站侧接收到相关信息后进行对应的下行资源分配，要求终端具有相应的上传属性，因此对终端的种类和能力具有要求，无法在现有的终端、网络和协议中直接使用，其应用具有一定的局限性。

4、中国发明专利，公开号为cn115052244a，专利名称为基站的无线资源分配方法及装置，公开了：基站获取用户终端的动态位置信息；

5、基站处理所述动态位置信息，生成用户终端在第一时刻的位置因子、速度因子、用户终端与基站之间进行数据传输的信道质量因子和数据传输时的时延因子；基站根据用户终端在第一时刻的位置因子、速度因子、用户终端与基站之间进行数据传输的信道质量因子和数据传输时的时延因子，判断是否满足无线资源调整策略的触发条件；当满足无线资源调整策略的触发条件时，更新资源调整策略；基站根据更新的资源调整策略，为用户终端分配无线资源。但是该专利存在以下问题：1)信道和位置的信息中没有考虑到干扰因素对信道和时延等参数的影响，因此对于干扰较强的位置或小区可能不适用；2)未考虑测量信道和真实传输数据之间的时间差。由于对信道的测量时刻与传输数据时刻之间存在时间差，在这一时间差内信道容量会有差别，进而导致资源分配出现继续调优的可能性。

6、对于数字通信系统，吞吐量是衡量其通信能力的指标之一，其是指对网络、设备、端口、虚电路或其他设施，单位时间内成功地传送数据的数量。在蜂窝网络的传输过程中，当发送数据的速率小于传输信道允许传输的最大速率时，认为传输成功，吞吐量增加，反之传输失败。所以根据信道状态选择合理的数据传输速率是一种增大吞吐量的方法。

7、数据的传输速率往往是动态变化的，同时由于通信协议要求，数据的传输速率是离散的。因此，需要根据信道的变化选择满足信道条件的最大速率作为传输速率。

8、在下行资源分配方案中，下行信道的测量方法为：基站发送参考信号到终端；终端接收参考信号求解得到信道状态；终端将信道状态回传给基站。从上述信道的测量过程可以得知，由于信号求解与状态回传需要时间，导致回传的信道状态是测量时刻而非到达时刻的信道状态，因此需要预测当前时刻的信道状态。信道状态往往指的是信道的容量(c)，即有用信号(s)、干扰信号(i)和噪声(n)以及传输信道的带宽(b)，利用以下香农定理求解得到：

9、

10、小区间干扰是指在蜂窝网络中由于同频邻区的功率较大导致的小区边缘用户通信受到干扰的情况。影响其大小的主要因素为同频邻区的负载和功率。

技术实现思路

1、为解决现有技术中存在的技术问题，本发明的目的在于提供一种无线资源分配优化装置及方法。

2、为实现上述目的，达到上述技术效果，本发明采用的技术方案为：

3、一种无线资源分配优化装置，包括：

4、数据采集模块，用于采集ue上传的信道数据并实现ue的定位；

5、数据预测模块，用于实现对神经网络模型的训练和采集数据的预测；

6、策略优化模块，用于实现子载波资源的分配和传输速率的选择。

7、进一步的，所述数据采集模块包括ue位置定位模块、干扰数据采集模块和信道数据采集模块，所述ue位置定位模块通过ue上报的服务小区参考信号接收功率(rsrp_s)和邻小区的参考信号接收功率(rsrp_n)的差值得到ue所属的位置(小区边缘/小区中心)，这一结果决定之后是否需要采集小区间干扰数据，所述干扰数据采集模块负责采集小区间干扰的强度，即统计ue接收邻区信号的平均功率作为干扰值，并将干扰数据记录在干扰数据库中，所述信道数据采集模块负责采集服务小区信号的平均功率值，作为有用信号的功率值，并记录在信道数据库中。

8、进一步的，所述数据预测模块包括干扰数据预测模块、信道数据预测模块和神经网络模型，所述干扰数据预测模块负责将数据库和实时采集的干扰数据利用卡尔曼滤波在时间维度进行干扰预测，利用滤波后的数据作为预测数据输出，所述信道数据预测模块用于将数据库中的信道数据利用滑窗法在时间维度进行数据集的生成，所述神经网络模型负责利用数据集中的训练集进行模型训练，再利用数据集中的测试集进行预测准确率检验，其误差小于标定阈值时认为模型训练成功。

9、进一步的，所述神经网络模型为三层结构，第一层为全连接层作为输入层，第二层为长短期记忆层，第三层为一个神经元作为输出层，第一层和第二层中每层拥有64个神经元，激活函数为线性整流函数。

10、进一步的，所述策略优化模块通过深度强化学习的方法实现子载波资源的分配和传输速率的选择，实现强化学习模型的训练和使用，所述策略优化模块包括传输速率备选集合模块和传输速率选择模块。

11、进一步的，所述策略优化模块通过深度强化学习的方法实现子载波资源的分配和传输速率的选择，实现强化学习模型的训练和使用的步骤包括：

12、1)初始化模型的状态空间、动作空间及深度强化学习网络参数，所述状态空间为待分配的各个子载波的信道状态、干扰状态和已分配的平均子载波数量，所述动作空间为当前时刻分配的子载波数量和传输速率；

13、2)根据当前状态计算信道容量并选取动作；

14、3)获取奖励函数、下一状态并存储经验；

15、4)根据经验数量判断是否进入深度强化学习；若训练学习次数不满足要求则进入步骤2)。

16、进一步的，所述奖励函数为：

17、

18、其中，r(t)为传输速率，c(t)为信道容量，i(*)为指示函数，i(r(t)≤c(t))表示当发送速率小于传输容量时指示函数为1，传输速率算入吞吐量中，反之不算入。为惩罚项，其中ωsc(τ)为t时刻分配的子载波数量，σsc为允许传输的最大子载波数量。

19、本发明还公开了一种无线资源分配优化方法，包括以下步骤：

20、离线数据采集和在线资源分配；

21、所述离线数据采集的步骤包括：

22、步骤1、根据ue上报的rsrp_s和rsrp_n参数信息，计算差值后获取其与基站间的相对位置关系，与阈值比较后得到ue所属位置，是属于小区边缘ue或小区中心ue，实现ue定位；

23、步骤2、由上一步获得ue的位置，若定位为小区边缘ue，则通过干扰数据采集模块进行干扰数据采集，若定位为小区中心ue，则通过信道数据采集模块进行信道数据采集；

24、步骤3、若步骤2中进行了干扰数据采集，则本步骤进入信道数据采集；若步骤2进行了信道数据采集，本步骤跳过；

25、步骤4、将步骤2和步骤3中采集的数据进行数据存储，以备后续模型训练；

26、步骤5、神经网络模型提取存储的数据，利用滑窗法在时间维度进行数据集的生成，数据集划分为训练集和测试集，将划分好的数据集输入神经网络模型中进行模型训练；

27、步骤6、策略优化模块提取储存的数据，利用深度强化学习方法进行强化学习模型训练；

28、步骤7、将步骤5和步骤6中训练的模型储存，以备调用；

29、所述在线资源分配的步骤包括：

30、步骤1、根据ue上报的rsrp_s和rsrp_n参数信息，计算差值后获取其与基站间的相对位置关系，与阈值比较后得到ue所属位置，是属于小区边缘ue或小区中心ue，实现ue定位；

31、步骤2、由上一步获得ue的位置，若定位为小区边缘ue，则通过干扰数据采集模块进行干扰数据采集，若定位为小区中心ue，则通过信道数据采集模块进行信道数据采集；

32、步骤3、若步骤2中进行了干扰数据采集，则本步骤进入信道数据采集；若步骤2进行了信道数据采集，本步骤跳过；

33、步骤4、将步骤2和步骤3中采集的数据进行数据存储，以备后续模型训练；

34、步骤5、将采集的干扰数据和信道数据分别输入卡尔曼滤波器和神经网络模型中，得到预测的干扰数据和预测数据，利用预测数据和香农定理进行信道容量的计算，得到预测的信道容量；

35、步骤6、将初始信道容量输入强化学习模型中，利用模型进行子载波的分配和发送速率的选择，实现无线资源分配。

36、与现有技术相比，本发明的有益效果为：

37、1、本发明引入小区间干扰，将小区间干扰信息考虑到容量的计算中，引入小区间干扰实现对小区边缘ue和小区中心ue使用不同的方案计算信道容量，更符合真实系统；对干扰信息和信道信息使用了预测技术，可获得更加准确的信道和干扰信息，解决了反馈的信道状态同数据传输时刻的信道状态存在变化的问题，而现有技术中使用ue反馈的信道和干扰信息直接作为数据发送时刻的信道和干扰，与真实信息存在上报时间差。

38、3、本发明采用了深度强化学习方法实现子载波分配和传输速率的选择，能够实现在整个传输时间段内获得更大的吞吐量。