基于量子贝叶斯网络的智能数据质量预测方法、装置、设备及存储介质与流程

本发明涉及网络数据处理领域，尤其涉及一种基于量子贝叶斯网络的智能数据质量预测方法、装置、设备及存储介质。

背景技术：

1、在智能运维领域中的数据,多以结构化和半结构化数据为主,在特定场景中也会渉及一些图片、语音、视频等非结构化化数据。

2、针对运维领域数据监控存在的问题，每天通过北向接口传输10tb以上的海量数据由于采集设备的不稳定性、存储设备故障等问题，经常出现数据缺失。由于每天的数据表更新频次、更新文件数及数据量各异，数据缺失后无法快速进行问题定位，导致综合网管系统可用性下降。

技术实现思路

1、发明目的：提出一种基于量子贝叶斯网络的智能数据质量预测方法、装置、设备及存储介质，以解决现有技术存在的上述问题。

2、第一方面，提出一种基于量子贝叶斯网络的智能数据质量预测方法，步骤如下：

3、s1、捕获经过网络节点的传输数据；

4、s2、通过日志分层方式对所述传输数据进行标记，得到由多个子矩阵组成节点矩阵集合；

5、s3、构建一台算力服务器接收北向数据并计算当前算力能耗，将所述当前算力能耗与上一个周期计算的能耗比对得到能耗差值，基于所述能耗差值预测本次接口的数据增减情况；

6、s4、基于步骤s2得到的所述节点矩阵集合构建量子贝叶斯网络，利用所述量子贝叶斯网络预测本次接口的数据质量。

7、在第一方面进一步的实施例中，所述通过日志分层方式对所述传输数据进行标记，包括：

8、将收到的数据分为二层分析：

9、第一层，利用日志服务应用数据库中的关联关系来挖掘应用服务拓扑；

10、第二层，从每个服务的日志中挖掘一个基于第一层应用服务拓扑关系的数据集合，称为拓扑数据集合；所述拓扑数据集合记录不同时间维度，服务器与数据库、中间件、服务器cpu、内存、磁盘、进程之间的监测数据及运行健康状况。

11、在第一方面进一步的实施例中，所述日志服务应用数据库包括数据库、中间件、服务器基础监控指标。

12、在第一方面进一步的实施例中，所述节点矩阵集合包括：将当前节点和第一层有关联的节点组成子矩阵，多个子矩阵组成节点矩阵集合。

13、在第一方面进一步的实施例中，步骤s3还包括：通过ai算力消耗模型计算获得的空闲算力，给每个子矩阵进行从大到小排序。

14、在第一方面进一步的实施例中，步骤s3中所述当前算力能耗包括传输通信链路产生的能耗和边缘节占服务器端和云服务器处理计算任务产生的计算能耗。

15、在第一方面进一步的实施例中，所述传输通信链路产生的能耗包括预接入传输能耗和广域网上的数据传输能耗；

16、所述边缘节占服务器端和云服务器处理计算任务产生的计算能耗，与处理的计算任务量及算力资源分配有关。

17、在第一方面进一步的实施例中，所述ai算力消耗模型的表达式如下：

18、

19、式中，cbr为总的算力需求；f(x)是映射函数；α、β、γ为映射比例系数；q为冗余算力；以并行计算能力为例，假设有b1、b2、b3，3种不同类型的并行计算芯片资源，则f(bj)表示第j个并行计算芯片b可提供的并行计算能力的映射函数，q2表示并行计算的冗余算力。

20、在第一方面进一步的实施例中，步骤s4中所述量子贝叶斯网络包括带标签的图和所述节点矩阵集合；

21、所述量子贝叶斯网络的所有节点必须是内部节点或外部节点；量子贝叶斯网络的每个节点代表一个数值，整个网络代表所有节点的乘积；

22、量子贝叶斯网络为每个节点分配一个随机变量，假设分配给n个节点的随机变量分别为：

23、x1,x2,…,xn；

24、定义zn＝{1,2,…,n}对任何有限集合s，令|s|表示s中的元素数，如果s＝定义(x.)s＝(xk,xk,…,xk)和(x)s＝(xk,xk2,…,xkn)；

25、对于j∈zn，如果节点不处于状态xj，所有离开节点xj的箭头也处于状态x，则将所有箭头标记为节点xj，设定节点矩阵a[xj|(x0)s]，所述节点矩阵是复数知阵，xj是这个矩阵的行索引，(x.)s是列索引。

26、在第一方面进一步的实施例中，利用所述量子贝叶斯网络，使用监控数据结合日志分层后数据的标记测量技术，修正贝叶斯概率预测的主观概率，对量子贝叶斯网络各节点作出判定；

27、同时，所述量子贝叶斯网络从客观的角度对同样的网络节点不同经过的传输数据得出全然不同的结论；量子贝叶斯模型者彼此交流，修正各自的波函数来解释新获得的分析结果。

28、本发明的第二个方面，提出一种智能数据质量预测装置，该预测装置包括采集单元、数据处理单元、算力服务器、预测单元四个部分。

29、采集单元用于捕获经过网络节点的传输数据。

30、数据处理单元通过日志分层方式对所述传输数据进行标记，得到由多个子矩阵组成节点矩阵集合。

31、算力服务器用于接收北向数据并计算当前算力能耗，将所述当前算力能耗与上一个周期计算的能耗比对得到能耗差值，基于所述能耗差值预测本次接口的数据增减情况。

32、预测单元基于所述节点矩阵集合构建量子贝叶斯网络，利用所述量子贝叶斯网络预测本次接口的数据质量。

33、本发明的第三个方面，提出一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如第一方面所述的智能数据质量预测方法。

34、本发明的第四个方面，提出一种计算机可读存储介质，所述存储介质中存储有至少一个可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如第一方面所述的智能数据质量预测方法。

35、本发明具备如下有益效果：本发明引入量子贝叶斯网络的大数据分析技术对性能数据、资源数据进行计算，提高了数据质量分析效率和速度。性能数据分省、分小时、分omc存储在资源池内、资源数据分省分天进行上报。量子计算帮助大数据分析技术将资源数据、性能数据处理成比特进行计算，比传统人工通过sql查询再计算的效率有了明显提升。

技术特征：

1.一种基于量子贝叶斯网络的智能数据质量预测方法，其特征在于，包括：

2.根据权利要求1所述的智能数据质量预测方法，其特征在于，所述通过日志分层方式对所述传输数据进行标记，包括：

3.根据权利要求2所述的智能数据质量预测方法，其特征在于：所述日志服务应用数据库包括数据库、中间件、服务器基础监控指标。

4.根据权利要求1所述的智能数据质量预测方法，其特征在于，所述节点矩阵集合包括：将当前节点和第一层有关联的节点组成子矩阵，多个子矩阵组成节点矩阵集合。

5.根据权利要求1所述的智能数据质量预测方法，其特征在于，步骤s3还包括：通过ai算力消耗模型计算获得的空闲算力，给每个子矩阵进行从大到小排序。

6.根据权利要求5所述的智能数据质量预测方法，其特征在于，步骤s3中所述当前算力能耗包括传输通信链路产生的能耗和边缘节占服务器端和云服务器处理计算任务产生的计算能耗。

7.根据权利要求6所述的智能数据质量预测方法，其特征在于，所述传输通信链路产生的能耗包括预接入传输能耗和广域网上的数据传输能耗；

8.根据权利要求5所述的智能数据质量预测方法，其特征在于，所述ai算力消耗模型的表达式如下：

9.根据权利要求1所述的智能数据质量预测方法，其特征在于，步骤s4中所述量子贝叶斯网络包括带标签的图和所述节点矩阵集合；

10.根据权利要求9所述的智能数据质量预测方法，其特征在于，利用所述量子贝叶斯网络，使用监控数据结合日志分层后数据的标记测量技术，修正贝叶斯概率预测的主观概率，对量子贝叶斯网络各节点做出判定；

11.一种智能数据质量预测装置，其特征在于，包括：

12.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1至10中任一项所述的智能数据质量预测方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一个可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1至10中任一项所述的智能数据质量预测方法。

技术总结
本发明提供了一种基于量子贝叶斯网络的智能数据质量预测方法、装置、设备及存储介质，预测方法步骤包括：S1、捕获经过网络节点的传输数据；S2、通过日志分层方式对所述传输数据进行标记，得到由多个子矩阵组成节点矩阵集合；S3、构建一台算力服务器接收北向数据并计算当前算力能耗，将所述当前算力能耗与上一个周期计算的能耗比对得到能耗差值，基于所述能耗差值预测本次接口的数据增减情况；S4、基于步骤S2得到的所述节点矩阵集合构建量子贝叶斯网络，利用所述量子贝叶斯网络预测本次接口的数据质量。本发明引入量子贝叶斯网络的大数据分析技术对性能数据、资源数据进行计算，提高了数据质量分析效率和速度。

技术研发人员：张远,胡升跃,裴珂,王欣,王猛,窦慧娟,朱国召
受保护的技术使用者：中电信数智科技有限公司
技术研发日：
技术公布日：2024/4/7