强化学习模型的训练方法、电子设备及存储介质与流程

本申请属于无线通信，具体涉及一种强化学习模型的训练方法、电子设备及存储介质。

背景技术：

1、强化学习算法在互联网技术领域被广泛使用，但在移动通信网络中的应用效果却并不理想。在相关技术中为了获取性能优秀的强化学习模型进行策略寻优，需要大量“试错”对模型进行优化，从而应用优化后的强化学习模型在应用场景下决策出预设范围内的最优策略。但在移动通信网络中试错的成本过高，并且优化模型过程所带来的模型性能的波动以及风险难以控制。

技术实现思路

1、本申请实施例提供一种强化学习模型的训练方法、电子设备及存储介质，能够解决移动通信网络实施成本过高的问题，并且减小了优化模型过程中的性能风险。

2、第一方面，提供了一种强化学习模型的训练方法，该方法包括：获取物理通信网络在多个目标时间的画像信息，其中，所述目标时间包括时间点或时间段，所述画像信息包括所述物理通信网络的描述信息；基于各个所述画像信息，分别获取在各个所述目标时间的数字孪生网络，其中，所述数字孪生网络采用数字的方式描述所述物理通信网络；基于预设的至少一个候选策略，通过各个所述数字孪生网络，对目标强化学习模型进行第一训练，其中，所述目标强化学习模型用于输出与输入的网络状态信息对应的目标业务动作；使用所述物理通信网络当前的网络状态，对经过第一训练后的所述目标强化学习模型进行第二训练。

3、第二方面，提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的强化学习模型的训练方法的步骤。

4、第三方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的强化学习模型的训练方法的步骤。

5、第四方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的强化学习模型的训练方法的步骤。

6、在本申请实施例中，首先获取物理通信网络在多个目标时间的画像信息，基于各个所述画像信息，分别获取与上述各个目标时间的画像信息相对应的数字孪生网络，该数字孪生网络采用数字化的方式逐一复刻上述物理通信网络，将预设的至少一个候选策略通过各个数字孪生网络进行目标强化学习模型的第一训练；其次数字孪生网络将上述完成第一训练的目标强化学习模型传输给物理通信网络，物理通信网络对上述目标强化学习模型进行第二训练；通过物理通信网络与数字孪生网络之间的交互映射，将目标强化学习模型经过数字孪生网络的第一训练再经过物理通信网络的第二训练，得到优化后的目标强化学习模型，利用数字孪生技术的低成本试错的特点，通过定量的候选策略以及物理通信网络与数字孪生网络之间的交互进行模型的训练，有效降低了移动通信网络优化模型的成本，并且减小了优化模型过程中的性能风险。

技术特征：

1.一种强化学习模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于预设的至少一个候选策略，通过各个所述数字孪生网络，对目标强化学习模型进行第一训练，包括：

3.根据权利要求2所述的方法，其特征在于，将所述第一业务动作应用于数字孪生网络，根据所述数字孪生网络的变化情况，确定第一收益标签值，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述目标指标包括以下至少之一：小区无线资源控制rrc连接建立的成功率、演进的无线接入承载erab建立的成功率、无线接通率、切换成功率、无线掉线率、erab掉线率。

6.根据权利要求1至4任一项所述的方法，其特征在于，

7.根据权利要求1所述的方法，其特征在于，在使用所述物理通信网络当前的网络状态，对经过第一训练后的所述目标强化学习模型进行第二训练之后，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述目标强化学习模型收敛，包括以下至少之一：

9.根据权利要求7所述的方法，其特征在于，在所述目标强化学习模型收敛之后，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述画像信息包括以下至少之一：所述物理通信网络的配置信息、所述物理通信网络的状态信息、所述物理通信网络的属性信息、所述物理通信网络中的用户终端的属性信息、所述用户终端的业务信息、所述用户终端的移动信道环境信息。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至10任一项所述的强化学习模型的训练方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至10任一项所述的强化学习模型的训练方法的步骤。

技术总结
本申请公开了一种强化学习模型的训练方法、电子设备及存储介质，属于无线通信技术领域，该方法包括：获取物理通信网络在多个目标时间的画像信息，其中，所述目标时间包括时间点或时间段，所述画像信息包括所述物理通信网络的描述信息；基于各个所述画像信息，分别获取在各个所述目标时间的数字孪生网络，其中，所述数字孪生网络采用数字的方式描述所述物理通信网络；基于预设的至少一个候选策略，通过各个所述数字孪生网络，对目标强化学习模型进行第一训练，其中，所述目标强化学习模型用于输出与输入的网络状态信息对应的目标业务动作；使用所述物理通信网络当前的网络状态，对经过第一训练后的所述目标强化学习模型进行第二训练。

技术研发人员：曾召华,詹勇
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：
技术公布日：2024/5/10