功率控制和频谱分配方法、装置、设备、存储介质和产品

本技术涉及车内异构网络，特别是涉及一种功率控制和频谱分配方法、装置、设备、存储介质和产品。

背景技术：

1、随着车辆的智能化发展，产生了对多样化车载应用与服务的巨大需求。为满足这种巨大的需求，有必要建立一个高速、可靠的网络环境为车辆内的网络设备与乘客提供优质的网络服务。

2、传统技术中，通常根据信道质量、干扰情况等参数，对车内异构网络进行功率控制和频谱分配，存在功率控制和频谱分配不够精确的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高功率控制和频谱分配的精确度的功率控制和频谱分配方法、装置、设备、存储介质和计算机程序产品。

2、第一方面，本技术提供了一种功率控制和频谱分配方法。所述方法包括：

3、获取车内异构网络系统的状态空间参数；所述车内异构网络系统包括基站、wifi接入点设备、目标用户设备；所述目标用户设备包括双链路用户设备和wifi用户设备；

4、将所述状态空间参数输入至目标动作模型，得到所述状态空间参数对应的目标动作空间参数；所述目标动作模型为根据第一约束条件、第二约束条件及第三约束条件对初始模型进行训练得到的；所述第一约束条件包括所述目标用户设备的频谱和功率的约束条件，以及所述wifi接入点设备的功率的约束条件，所述第二约束条件包括所述双链路用户设备的能量效率与服务成功率的约束条件，所述第三约束条件包括所述目标用户设备的电池续航时间的约束条件；

5、根据所述目标动作空间参数对所述wifi接入点设备和所述目标用户设备、进行功率控制，以及对所述目标用户设备进行频谱分配。

6、在其中一个实施例中，所述方法还包括：

7、获取所述车内异构网络系统的初始状态空间参数样本；

8、在满足所述第一约束条件的情况下，将所述初始状态空间参数样本输入到所述初始模型，得到初始动作空间参数样本；

9、根据所述初始动作空间参数样本对所述初始模型进行训练，得到所述目标动作模型。

10、在其中一个实施例中，所述根据所述初始动作空间参数样本对所述初始模型进行训练，得到所述目标动作模型，包括：

11、在满足所述第二约束条件的情况下，执行所述初始动作空间参数样本得到所述初始动作空间参数样本对应的初始奖励，以及第一状态空间参数样本；

12、根据所述初始状态空间参数样本、所述初始动作空间参数样本、所述初始奖励及所述第一状态空间参数样本，更新经验回放池；

13、对当前的经验回放池采样得到第一集合；

14、根据初始相对优势函数、初始重要性采样修正项，得到初始目标函数；所述初始相对优势函数根据初始状态空间参数样本、所述初始动作空间参数样本、所述初始奖励、所述第一状态空间参数样本、初始状态价值函数值和初始状态动作价值函数值确定；

15、根据所述初始目标函数和所述第一集合，对所述初始模型进行训练，得到所述第一集合对应的第一模型；

16、根据所述第一模型和第一预设迭代次数，得到所述目标动作模型。

17、在其中一个实施例中，所述根据所述第一模型和第一预设迭代次数，得到所述目标动作模型，包括：

18、若当前已迭代次数小于所述第一预设迭代次数，则在满足所述第二约束条件的情况下，返回执行所述第一动作空间参数样本得到所述第一动作空间参数样本对应的第一奖励以及第二状态空间参数样本，并根据所述第一状态空间参数样本、所述第一动作空间参数样本、所述第一奖励以及所述第二状态空间参数样本，更新经验回放池，对当前的经验回放池采样得到第二集合，根据第一相对优势函数、第一重要性采样修正项，得到第一目标函数；所述第一相对优势函数根据第一状态空间参数样本、所述第一动作空间参数样本、所述第一奖励、所述第二状态空间参数样本、第一状态价值函数值和第一状态动作价值函数值确定；

19、根据所述第一目标函数和所述第二集合，对所述第一模型进行训练，得到所述第二集合对应的第二模型，将当前已迭代次数加一，直至当前已迭代次数等于所述第一预设迭代次数，并将最后一次迭代得到的模型作为所述目标动作模型。

20、在其中一个实施例中，所述方法还包括：

21、将最后一次迭代得到的模型作为中间模型；

22、根据所述中间模型和第二预设迭代次数，得到所述目标动作模型。

23、在其中一个实施例中，所述根据所述中间模型和第二预设迭代次数，得到所述目标动作模型，包括：

24、将所述中间模型作为新初始模型，返回执行在满足所述第一约束条件的情况下，将所述新初始模型对应的状态空间参数样本输入到所述新初始模型，得到所述新初始模型对应的动作空间参数样本，并根据所述新初始模型对应的动作空间参数样本和所述第二预设迭代次数对所述新初始模型进行训练，得到所述目标动作模型。

25、第二方面，本技术还提供了一种功率控制和频谱分配装置。所述装置包括：

26、状态空间参数获取模块，用于获取车内异构网络系统的状态空间参数；所述车内异构网络系统包括基站、wifi接入点设备、目标用户设备；所述目标用户设备包括双链路用户设备和wifi用户设备；

27、动作空间参数获取模块，用于将所述状态空间参数输入至目标动作模型，得到所述状态空间参数对应的目标动作空间参数；所述目标动作模型为根据第一约束条件、第二约束条件及第三约束条件对初始模型进行训练得到的；所述第一约束条件包括所述目标用户设备的频谱和功率的约束条件，以及所述wifi接入点设备的功率的约束条件，所述第二约束条件包括所述双链路用户设备的能量效率与服务成功率的约束条件，所述第三约束条件包括所述目标用户设备的电池续航时间的约束条件；

28、功率控制和频谱分配模块，用于根据所述目标动作空间参数对所述wifi接入点设备和所述目标用户设备、进行功率控制，以及对所述目标用户设备进行频谱分配。

29、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

30、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法的步骤。

31、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项所述的方法的步骤。

32、上述功率控制和频谱分配方法、装置、设备、存储介质和产品，目标动作模型为根据第一约束条件、第二约束条件及第三约束条件对初始模型进行训练得到的，将状态空间输入至目标动作模型得到的目标动作空间参数，能较好地平衡目标用户设备的能量效率与服务成功率，即在目标用户设备在流量需求被满足的前提下尽可能提高目标用户设备的平均能量效率，提高了功率控制和频谱分配的精确度。