基于数据中台的实时流式数据采集与处理的可视化方法与流程

本发明属于数据可视化系统，具体涉及一种基于数据中台的实时流式数据采集与处理的可视化方法。

背景技术：

1、数据中台是在公司数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系，实现数据赋能。数据中台，是新型信息化应用框架体系中的核心，目前，随着数字化转型和数据中台建设的快速推进，国网公司已基本建成企业级统一云服务平台和数据中台，初步实现平台资源和跨专业数据汇聚，海量级数据资源逐渐沉淀于数据中台之上，为数据的分析挖掘与价值变现提供有效来源与强大支撑。然而，电力系统作为一个复杂的实时系统，如何对这些贯穿发电、输电、变电、配电、用电各个环节的实时数据进行可视化分析，发现潜在的优化空间和问题，并基于数据驱动的决策进行运营调整和优化，提升能源利用效率和电力系统的稳定性，是一个迫在眉睫的问题。

2、实时流式数据可视化过程中，存在一些亟需面对的困难，包括：1、数据复杂性，即实时流式数据具有高维度、高速度和大规模的特征，处理和可视化这些复杂数据需要有效的算法和技术，以确保高性能和可扩展性；2、可视化效果和用户体验，即实时流式数据的可视化需要确保有效传达数据的含义，同时提供良好的易用性；3、实时性能和延迟：实时流式数据的处理和可视化需要在毫秒级的延迟范围内完成，因此需要优化算法和系统架构，以提供快速的响应和实时性能。

技术实现思路

1、为了解决上述问题，本发明的目的是提供一种基于数据中台的实时流式数据采集与处理的可视化方法，可以轻松处理大规模的数据流，既可以有效地存储和展示数据流的主要数据，也可以识别和显示异常数据。

2、本发明的目的通过以下技术方案实现：

3、一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：包括以下三个部分，即主频及重要子信号可视化部分、时域采样可视化部分和异常数据可视化部分，具体步骤如下：

4、数据中心对实时流式数据的可视化通过主频及重要子信号可视化部分来呈现实时流式数据的主频信号和重要子信号；

5、s1：主频及重要子信号可视化部分通过离散傅里叶变换(fft变换)算法将实时流式数据转换到频域获得主频数据；

6、fft变换公式为：

7、f(x)＝a0+a1x+a2x2+...+an-1xn-1；

8、令为f(x)点表示方式的其中一个点；

9、其中，表示n个单位根，

10、则原多项式的系数

11、s2：主频及重要子信号可视化部分通过小波变换算法将实时流式数据分解成不同频率的子信号来获得重要的子信号数据；

12、离散小波公式为：

13、小波基函数

14、尺度离散：

15、位移离散：

16、s3：主频及重要子信号可视化部分通过聚类算法(k-means算法)将实时流式数据压缩为代表性数据点获得实时流式数据的代表性数据；

17、k-means算法，余弦距离公式：

18、其中xi和yi为样本点。

19、数据中心对实时流式数据的可视化通过时域采样可视化部分来呈现时域下实时流式数据的间隔信号；

20、s4：时域采样可视化部分通过随机采样从实时流式数据流中随机选择样本进行可视化展示，表示与实时流式数据服从同一数据分布的降维部分；

21、s5：时域采样可视化部分通过权重采样根据实时流式数据的重要性或优先级信息分配采样权重，并根据权重进行采样进行可视化展示流式数据的重要部分；

22、数据中心对实时流式数据的可视化通过异常数据可视化部分来呈现异常信息；

23、s6：异常数据可视化部分计算数据的z-score值，标准化数据并检测落在指定范围外的异常数据；

24、z-score公式：其中xi为样本，为样本均值，s为标准差。

25、s7：异常数据可视化部分针对实时流式数据的高维情况，利用孤立森林算法，基于样本数据的密度来检测孤立数据点；

26、孤立森林算法：

27、1、对于给定的数据集，随机选择一个特征，并在该特征的最小值和最大值之间随机选择一个分割值。

28、2、根据这个分割值将数据集划分为左子树和右子树。

29、3、递归地重复步骤1和步骤2，直到达到终止条件(如达到最大树深度或每个叶节点只包含一个样本)。

30、4、通过构建多棵随机树来形成孤立森林。

31、5、根据样本在森林中的平均路径长度来评估样本的异常程度，路径长度越短，样本越可能是异常值。

32、本发明的技术效果和优点：

33、本发明可以轻松处理大规模的数据流，既可以有效地存储和展示数据流的主要数据，也可以识别和显示异常数据。其中主频及重要子信号可视化部分可以降低系统的资源消耗，减少数据存储的成本，使得实时流式数据的处理更加高效，并且能够更轻松地实现大规模数据流核心数据的可视化展示；在面对大规模数据流时，时域采样可视化部分可以解决数据处理和可视化的困难。传统的处理方式无法有效地处理来自大规模数据流的所有数据点，而时域采样可视化部分可以从数据流中选择一小部分代表性的样本进行分析和展示。这些样本可以准确地反映整个数据流的特征和情况，从而实现有效的数据处理和可视化。时域采样可视化部分能够显著降低处理大规模数据流的计算和存储需求，提高系统的处理速度和性能；大规模实时数据流中可能存在各种异常情况，例如异常数据点、异常模式或者突发事件等。在实时流式数据的可视化中，异常数据可视化部分可以在可视化界面中标识出异常点或者提供相应的警告信息，帮助运维人员及时发现潜在问题或风险，有助于快速采取相应的措施，提高系统的稳定性和安全性。

技术特征：

1.一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：在所述s1中fft变换公式为：

3.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：在s2中离散小波公式为：

4.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：在s3中k-means算法，余弦距离公式：

5.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：数据中心对实时流式数据的可视化通过时域采样可视化部分来呈现时域下实时流式数据的间隔信号。

6.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：在s6中z-score公式：其中xi为样本，为样本均值，s为标准差。

7.根据权利要求1所述的一种基于数据中台的实时流式数据采集与处理的可视化方法，其特征在于：在s7中所述孤立森林算法如下：

技术总结
本发明公开了一种基于数据中台的实时流式数据采集与处理的可视化方法，包括三个部分，即主频及重要子信号可视化部分、时域采样可视化部分和异常数据可视化部分，数据中心对实时流式数据的可视化通过主频及重要子信号可视化部分来呈现实时流式数据的主频信号和重要子信号，主频及重要子信号可视化部分通过离散傅里叶变换算法将实时流式数据转换到频域获得主频数据。本发明可以轻松处理大规模的数据流，既可以有效地存储和展示数据流的主要数据，也可以识别和显示异常数据。

技术研发人员：杜森,仇红剑,陆康,李阳春
受保护的技术使用者：江苏电力信息技术有限公司
技术研发日：
技术公布日：2024/2/19