数据收集性能评估方法、装置和系统、存储介质与流程

本公开涉及无线通信领域，特别涉及一种数据收集性能评估方法、装置和系统、存储介质。

背景技术：

1、nwdaf(network data analytics function，网络数据分析功能网元)是5gc(5g核心网)中的网元，支持从nfs(network function，网络功能网元)、afs(applicationfunction，应用功能网元)以及oam(operations,administration,maintenance，操作维护管理网元)收集数据用于分析。

技术实现思路

1、发明人通过研究发现：从运营商的角度来看，nwdaf网元作为一个提供网络数据分析功能的网络功能，数据收集的性能直接影响其分析性能，因此，如何监测nwdaf网元在数据收集方面的性能是一个关键问题。

2、鉴于以上技术问题中的至少一项，本公开提供了一种数据收集性能评估方法、装置和系统、存储介质，能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。

3、根据本公开的一个方面，提供一种数据收集性能评估方法，包括：

4、测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；

5、根据所述测量数据确定收集到数据的质量值；

6、根据收集到数据的质量值，评估所述功能网元的数据收集性能。

7、在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：

8、根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。

9、在本公开的一些实施例中，根据所述测量数据确定收集到数据的质量值包括：

10、根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。

11、在本公开的一些实施例中，所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。

12、在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：

13、测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器；

14、测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器。

15、在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：

16、在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数。

17、在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：

18、在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数。

19、在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：

20、在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数。

21、在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：

22、基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。

23、在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：

24、在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数。

25、在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：

26、在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数。

27、在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：

28、在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数。

29、在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：

30、基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。

31、在本公开的一些实施例中，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一子累计计数器记录的次数和第三子累计计数器记录的次数，确定所述测量数据的第一质量值，其中，所述第一质量值用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。

32、在本公开的一些实施例中，所述根据所述功能网元触发的数据收集请求的次数和所述功能网元收到的数据收集响应的次数，确定所述测量数据的第一质量值包括：

33、确定第一差值，其中，第一差值为第一子累计计数器记录的次数和第三子累计计数器记录的次数的差值；

34、将第一差值和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值。

35、在本公开的一些实施例中，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一请求次数和第一响应次数，确定所述测量数据的第二质量值，其中，所述第二质量值用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。

36、在本公开的一些实施例中，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。

37、在本公开的一些实施例中，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。

38、在本公开的一些实施例中，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第五子累计计数器记录的次数和第六子累计计数器记录的次数，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。

39、在本公开的一些实施例中，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第三请求次数和第三响应次数，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。

40、在本公开的一些实施例中，所述方法还包括：

41、接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；

42、根据所述性能评估指令，按照如上述任一实施例所述的方法对所述功能网元的数据收集性能进行评估；

43、发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。

44、在本公开的一些实施例中，过滤信息包括分析标识列表、模型标识列表和数据管理标识列表中的至少一项，其中，分析标识列表用于支持测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量，数据管理标识列表用于支持测量所述功能网元为执行目标数据管理标识所指示的数据管理任务而收集的数据的质量。

45、在本公开的一些实施例中，订阅或请求的行为包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量；测量所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。

46、在本公开的一些实施例中，对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行数据管理任务而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量；提供所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。

47、根据本公开的另一方面，提供一种数据收集性能评估装置，包括：

48、数据测量模块，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；

49、质量值确定模块，被配置根据所述测量数据确定收集到数据的质量值；

50、性能评估模块，被配置根据收集到数据的质量值，评估所述功能网元的数据收集性能。

51、在本公开的一些实施例中，所述数据收集性能评估装置被配置为执行实现如上述任一实施例所述方法的操作。

52、根据本公开的另一方面，提供一种数据收集性能评估装置，包括：

53、存储器，被配置为存储指令；

54、处理器，被配置为执行所述指令，使得所述数据收集性能评估装置执行实现如上述任一实施例所述方法的操作。

55、根据本公开的另一方面，提供一种数据收集性能评估系统，包括如上述任一实施例所述的数据收集性能评估装置。

56、根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的方法。

57、本公开能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。