数据处理方法、装置、电子设备和存储介质与流程

本技术涉及通信领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术：

1、随着通信技术的不断进步，网络规模的复杂度越来越高，所承载的业务也在不断地进行扩展和升级，例如第五代移动通信技术(5g)业务的全面开展以及网络功能虚拟化(nfv，networl functions virtualization)的升级改造。这个过程中，存在网元升级、割接、变更的操作，可能会导致各网元向操作维护中心(omc，operation and maintenancecenter)所传输的网元数据与omc向业务平台所传输的网元数据存在数据不一致、时延大、数据缺失等问题。在这种情况下，需要对omc待传输至业务平台的数据进行质量检测，以便于相关人员能够及时发现数据问题并执行相应处理，从而保障网络数据的质量，以支持上层业务平台的稳定运行。

2、相关技术中，通常采用人工或者人工结合信息技术(it，informationtechnology)的方式来采集和检测网络数据的质量，然而，上述技术方案存在检测效率低、准确度低的问题，使得运维人员无法基于检测结果及时和准确地定位数据存在的问题，即无法保障数据的质量。由于数据的质量无法得到保障，上层业务平台利用接收的数据进行分析和决策时，可能会影响相关业务的正常运行。

3、综上所述，相关技术中缺乏能够高效和准确地检测omc数据质量的检测方法。

技术实现思路

1、为解决相关技术问题，本技术实施例提供一种数据处理方法、装置、电子设备和存储介质。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种数据处理方法，包括：

4、从omc获取南向数据、对应的待分析的北向数据；

5、利用获取的南向数据和待分析的北向数据，执行以下至少之一操作：

6、基于第一模型确定所述南向数据对应的北向数据，基于所述对应的北向数据对所述待分析的北向数据进行一致率检测，得到第一检测结果；所述第一模型表征北向数据与南向数据的映射关系；

7、针对至少一个性能指标中的每个性能指标，利用动态确定的第一阈值，对所述待分析的北向数据中的性能数据进行波动率检测，得到第二检测结果；

8、输出得到的检测结果。

9、上述方案中，所述基于第一模型确定所述南向数据对应的北向数据，包括：

10、基于第一子模型确定所述南向数据中字段对应的北向数据中的字段；

11、基于第二子模型确定所述南向数据中计数对应的南计算公式；一个字段对应一个计数；

12、利用确定的北向数据中的字段和对应的计算公式，确定所述南向数据对应的北向数据。

13、上述方案中，所述方法还包括：

14、生成具有树状结构的第一子模型；和/或生成具有树状结构的第二子模型；

15、以json文件形式保存生成的子模型。

16、上述方案中，所述基于第一子模型确定所述南向数据中字段对应的北向数据中的字段，包括：

17、基于所述第一子模型和正则表达式确定所述南向数据中字段对应的北向数据中的字段。

18、上述方案中，所述方法还包括：

19、针对每个性能指标，从当前获取的待分析的北向数据中选取n个采样数据，得到第一数据集合；并从历史的北向数据中选取n个采样数据，得到第二数据集合；n的取值为大于或等于1的整数；

20、对所述第一数据集合和所述第二数据集合进行线性拟合，得到拟合结果；

21、基于历史的北向数据中第n+1个采样数据和所述拟合结果，得到第一参数；

22、基于所述第一参数和当前获取的待分析的北向数据中第n+1个采样数据，确定第一阈值。

23、上述方案中，所述从omc获取南向数据、对应的待分析的北向数据，包括：

24、基于db从所述omc获取所述南向数据；

25、基于ftp从所述omc获取所述待分析的北向数据中的资源和性能数据；

26、基于socket从所述omc获取待分析的北向数据中的告警数据。

27、上述方案中，基于db周期性从所述omc获取所述南向数据；

28、和/或，

29、基于ftp周期性从所述omc获取所述待分析的北向数据中的资源和性能数据。

30、上述方案中，所述方法还包括：

31、利用获取的南向数据和待分析的北向数据，还执行以下至少之一操作：

32、利用所述南向数据，对所述待分析的北向数据中的资源和性能数据进行资源和性能完整率检测，并对所述待分析的北向数据中的告警数据进行完整率检测，得到第四检测结果；

33、利用所述南向数据，对所述待分析的北向数据中的资源和性能数据进行合规率检测，并对所述待分析的北向数据中的告警数据进行合规率检测，得到第五检测结果；

34、利用所述南向数据，对所述待分析的北向数据中的资源和性能数据进行及时率检测，并对所述待分析的北向数据中的告警数据进行及时率检测，得到第六检测结果。

35、本技术实施例还提供一种数据处理装置，包括：

36、获取单元，从omc获取南向数据、对应的待分析的北向数据；

37、执行单元，利用获取的南向数据和待分析的北向数据，执行以下至少之一操作：

38、基于第一模型确定所述南向数据对应的北向数据，基于所述对应的北向数据对所述待分析的北向数据进行一致率检测，得到第一检测结果；所述第一模型表征北向数据与南向数据的映射关系；

39、针对至少一个性能指标中的每个性能指标，利用动态确定的第一阈值，判断所述待分析分析的北向数据中的性能数据进行波动率检测，得到第二检测结果；

40、结果单元，用于输出得到的检测结果。

41、本技术实施例还提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

42、其中，所述处理器用于运行所述计算机程序时，执行时实现任一所述数据处理方法的步骤。

43、本技术实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一所述数据处理方法的步骤。

44、本技术实施例提供的数据处理方法、装置、电子设备和存储介质，从omc获取南向数据、对应的待分析的北向数据后，利用获取的南向数据和待分析的北向数据，执行以下至少之一操作：基于第一模型确定所述南向数据对应的北向数据，基于所述对应的北向数据对所述待分析的北向数据进行一致率检测，得到第一检测结果；所述第一模型表征北向数据与南向数据的映射关系；针对至少一个性能指标中的每个性能指标，利用动态确定的第一阈值，对所述待分析的北向数据中的性能数据进行波动率检测，得到第二检测结果；输出得到的检测结果。本技术实施例提供的技术方案，基于从omc获取的南向数据和待分析的北向数据，对待分析的北向数据进行一致率和/或波动率的自动检测，并输出检测结果。通过对北向数据一致率和/或波动率指标的自动检测，能够快速反映出当前北向数据中存在的问题，使得维护人员能够根据输出的检测结果快速定位并解决问题。另外，通过对北向数据一致率和/或波动率的自动检测，还能够减少人工操作而导致的人为误差，提高了北向数据的检测准确率，进而提高了北向数据的质量。