模型的准确度确定方法、装置及网络侧设备与流程

本申请属于移动通信，具体涉及一种模型的准确度确定方法、装置及网络侧设备。

背景技术：

1、在通信网络中，引入了一些网元用于进行智能化数据分析，并生成一些任务的数据分析结果(analytics)(或称之为推理数据结果)，该数据分析结果可以辅助网内外设备进行策略决策，目的在于利用人工智能(artificial intelligence，ai)方法提升设备策略决策的智能化程度。

2、网络数据分析功能(network data analytics function，nwdaf)可以基于训练数据进行ai或机器学习(machine learning，ml)模型训练,获取适用于某ai任务对应的模型。基于ai/ml模型对某ai任务的推理输入数据进行推理，获得某具体ai任务对应的推理结果数据。策略控制功能实体(policy control function，pcf)基于推理结果数据执行智能的策略控制和计费(policy control and charging，pcc)，例如根据用户业务行为的推理结果数据制定智能的用户驻留策略，提升用户的业务体验；或者，接入和移动管理功能(access and mobility management function，amf)基于某ai任务的推理结果数据执行智能化的移动性管理操作，例如根据用户的移动轨迹的推理结果数据智能寻呼用户，提升寻呼可达率。

3、网内外设备根据ai数据分析结果做成正确的、优化的策略决策，前提是需要基于正确的数据分析结果的。倘若，数据分析结果的准确率比较低，其作为错误信息被提供给网内外设备参考，则最终会做成的错误的策略决策或执行不合适的操作。因此保证数据分析结果的准确度是必须的。

4、虽然模型在训练阶段的准确度(accuracy in training，ait)满足了该模型的准确度需求，无法确定该模型在投入实际使用推理的准确度(accuracy in use，aiu)同样能达到的准确度需求，可能因为数据分布不同、模型泛化能力不足等原因而存在差距，导致该模型得到的推理结果数据的准确度比较低，在被提供给网内外设备参考时，容易做出错误的策略决策或执行不合适的操作。

技术实现思路

1、本申请实施例提供一种模型的准确度确定方法、装置及网络侧设备，能够解决模型得到的推理结果数据的准确率比较低的问题。

2、第一方面，提供了一种模型的准确度确定方法，应用于第一网元，该方法包括：

3、第一网元基于第一模型对任务进行推理；

4、所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；

5、在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；

6、其中，所述第二网元为触发所述任务的网元。

7、第二方面，提供了一种模型的准确度确定装置，包括：

8、推理模块，用于基于第一模型对任务进行推理；

9、计算模块，用于确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；

10、传输模块，用于在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；

11、其中，所述第二网元为触发所述任务的网元。

12、第三方面，提供了一种模型的准确度确定方法，应用于第二网元，该方法包括：

13、第二网元向第一网元发送任务请求消息，所述任务请求消息用于请求对任务进行推理；

14、所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；

15、其中，所述第一模型为用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。

16、第四方面，提供了一种模型的准确度确定装置，包括：

17、发送模块，用于向第一网元发送任务请求消息，所述任务请求消息用于请求对任务进行推理；

18、接收模块，用于从所述第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；

19、其中，所述第一模型为用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。

20、第五方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法，或者实现如第三方面所述的方法的步骤。

21、第六方面，提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络设备包括第一网元和第二网元，所述第一网元可用于执行如第一方面所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如第三方面所述的模型的准确度确定方法的步骤。

22、第七方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。

23、第八方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第三方面所述的方法。

24、第九方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的模型的准确度确定方法，或者实现如第三方面所述的模型的准确度确定方法的步骤。

25、在本申请实施例中，通过第一网元基于第一模型对任务进行推理，确定所述第一模型对应的第一准确度，并在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。

技术特征：

1.一种模型的准确度确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一网元确定所述第一模型对应的第一准确度，方法包括：

3.根据权利要求1所述的方法，其特征在于，所述第一信息包括以下至少一项：

4.根据权利要求3所述的方法，其特征在于，所述推荐操作信息包括以下至少一种操作：

5.根据权利要求1所述的方法，其特征在于，在基于第一模型对任务进行推理之前，所述方法还包括：

6.根据权利要求2所述的方法，其特征在于，所述第一网元获取所述推理结果数据对应的标签数据包括：

7.根据权利要求2所述的方法，其特征在于，在基于所述第一模型获取所述任务的推理结果数据之后，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述预设条件包括以下条件至少之一：

9.根据权利要求1或8所述的方法，其特征在于，在基于第一模型对任务进行推理之前，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，在所述第一准确度达到预设条件的情况下，所述方法还包括：

11.根据权利要求1所述的方法，其特征在于，在所述第一准确度不满足准确度需求的情况下，所述方法还包括：

12.根据权利要求11所述的方法，其特征在于，所述第二信息包括以下至少一项：

13.根据权利要求12所述的方法，其特征在于，所述第一数据包括以下至少一项：

14.根据权利要求11所述的方法，其特征在于，所述向第三网元发送第二信息之后，所述方法还包括：

15.根据权利要求14所述的方法，其特征在于，所述第三信息还包括以下至少一项：

16.根据权利要求1所述的方法，其特征在于，所述第一网元包括模型推理功能网元。

17.根据权利要求1所述的方法，其特征在于，所述第二网元包括消费者网元。

18.根据权利要求11所述的方法，其特征在于，所述第三网元包括模型训练功能网元。

19.根据权利要求10所述的方法，其特征在于，所述第四网元包括模型训练功能网元。

20.一种模型的准确度确定装置，其特征在于，包括：

21.一种模型的准确度确定方法，其特征在于，包括：

22.根据权利要求21所述的方法，其特征在于，在从所述第一网元接收第一信息之后，所述方法还包括：

23.根据权利要求21所述的方法，其特征在于，所述第一信息包括以下至少一项：

24.根据权利要求23所述的方法，其特征在于，所述推荐操作信息包括以下至少一种操作：

25.根据权利要求21所述的方法，其特征在于，在向第一网元发送任务请求消息之后，所述方法还包括：

26.根据权利要求21所述的方法，其特征在于，所述第一网元包括模型推理功能网元。

27.根据权利要求21所述的方法，其特征在于，所述第二网元包括消费者网元。

28.根据权利要求22所述的方法，其特征在于，所述第五网元包括模型推理功能网元。

29.一种模型的准确度确定装置，其特征在于，包括：

30.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至19任一项所述的模型的准确度确定方法，或者实现如权利要求21至28任一项所述的模型的准确度确定方法的步骤。

31.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至19任一项所述的模型的准确度确定方法，或者实现如权利要求21至28任一项所述的模型的准确度确定方法的步骤。

技术总结
本申请公开了一种模型的准确度确定方法、装置及网络侧设备，属于移动通信领域，本申请实施例的模型的准确度确定方法包括：第一网元基于第一模型对任务进行推理；所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；其中，所述第二网元为触发所述任务的网元。

技术研发人员：崇卫微,程思涵,吴晓波
受保护的技术使用者：维沃移动通信有限公司
技术研发日：
技术公布日：2024/1/15