一种智能园区数据可视化方法及系统与流程

本发明涉及园区管理领域，具体来说，涉及一种智能园区数据可视化方法及系统。

背景技术：

1、智能园区数据是指在园区内部采集、处理、分析和利用的各种数据，这些数据可以包括环境监测、人流监控、物联网设备信息、能源消耗情况、生产运营数据等多种类型。通过对这些数据进行深度挖掘和分析，可以实现对园区运营情况的全面了解和精细化管理，进而提升园区的效率、安全、舒适性和可持续性。智能园区数据的应用可以涉及到智慧园区建设、智慧城市建设、产业发展规划等领域。

2、随着5g普及和虚拟技术的发展，为智慧园区的落地提供基础支持，智能园区数据可视化的目的是将大量的数据以图形、表格或其他形式呈现出来，让人们更容易理解和分析。通过数据可视化，可以快速地发现关键信息和趋势，从而帮助企业管理者做出更加准确的决策。

3、但是，现有技术中的可视化技术中通常针对是园区内人员的管理，而人员通常是园区中看得到的，而园区内的数据还存在许多不易看到的数据，如能耗数据、环境监测数据、物联网设备数据等，这些数据如果不能及时有效的挖掘，将无法适应现在的园区管理，不利于推广使用。此外，只有在数据出现明显异常时，才会将该异常数据发送给管理人员进行判断和报警，导致园区管理中的异常检测不够准确化、智能化和全局化。

4、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、针对相关技术中的问题，本发明提出一种智能园区数据可视化方法及系统，以克服现有相关技术所存在的上述技术问题。

2、为此，本发明采用的具体技术方案如下：

3、根据本发明的一个方面，提供了一种智能园区数据可视化方法，该可视化方法包括以下步骤：

4、s1、实时采集智能园区内设备、网络和基础设施的多源数据；

5、s2、对多源数据进行预处理，整合为实时园区数据，并存储至消息队列；

6、s3、利用spark streaming流处理服务对实时园区数据进行分析，并基于时间序列预测模型对实时园区数据进行异常检测；

7、s4、基于关联规则挖掘模型挖掘历史园区数据之间的潜在关系；

8、s5、根据实时数据的异常检测结果和历史数据潜在关系挖掘结果，设计智能园区的可视化界面，并提供交互界面；并基于历史数据潜在关系挖掘结果，获取与异常检测结果存在潜在关系的相关数据信息，并选择上述相关数据信息中的关键信息与异常检测结果在可视化界面中进行重点联动展示。

9、进一步的实施例中，所述对多源数据进行预处理，整合为实时园区数据，并存储至消息队列包括以下步骤：

10、s21、对实时采集的多源数据进行数据清洗，删除无效数据和异常值；

11、s22、将多源数据的格式转换为统一格式，并进行整合，得到实时园区数据；

12、s23、将实时园区数据存储至kafka消息队列。

13、进一步的实施例中，所述利用spark streaming流处理服务对实时园区数据进行分析，并基于时间序列预测模型对实时园区数据进行异常检测包括以下步骤：

14、s31、从kafka消息队列中读取实时园区数据；

15、s32、使用spark streaming对读取到的实时园区数据进行窗口化处理，并划分为一定时间间隔的小批次数据；

16、s33、将小批次数据按照时间顺序排列，形成一个时间序列数据；

17、s34、从spark streaming处理得到的小批次数据集中，遍历每一条数据，提取需要进行统计分析的数值特征；

18、s35、在遍历过程中，计算各数值特征的累计值及平方累计值，并记录当前小批次数据集中已处理的数据条数；

19、s36、在遍历完成后，利用各数值特征的累计值除以数据条数，得到各特征的平均值；

20、s37、使用各数值特征的平方累计值减去平均值的平方，再除以数据条数，得到方差，并计算方差的平方根，得到标准差；

21、s38、根据标准差和时间序列预测模型，利用滑动窗口法对每个小批次数据进行异常检测，并识别异常数据。

22、进一步的实施例中，所述根据标准差和时间序列预测模型，利用滑动窗口法对每个小批次数据进行异常检测，并识别异常数据包括以下步骤：

23、s381、设定一个系数，将标准差与系数相乘得到阈值；

24、s382、滑动窗口法将整个时间序列数据分割成若干子窗口；

25、s383、在每个子窗口内，利用时间序列预测模型计算预测值，并计算实际值与预测值之间的误差；

26、s384、将计算得到的误差与阈值进行比较；

27、s385、若误差大于阈值，则判断该实际值是异常值；

28、s386、将所有被判断为异常值的数据点进行标记，并采取处理措施。

29、进一步的实施例中，所述在每个子窗口内，利用时间序列预测模型计算预测值，并计算实际值与预测值之间的误差包括以下步骤：

30、s3831、选定时间序列预测模型，并根据时间序列数据的属性和特征进行参数调整；

31、s3832、使用子窗口内的连续数据点作为训练数据，并将训练数据输入时间序列预测模型；

32、s3833、利用训练好的时间序列预测模型预测子窗口后第一个数据点的实际值；

33、s3834、利用平方误差计算预测值与实际值之间的误差。

34、进一步的实施例中，所述基于关联规则挖掘模型挖掘历史园区数据之间的潜在关系包括以下步骤：

35、s41、对收集到的历史园区数据进行数据处理，并提取与关联规则挖掘相关的特征；

36、s42、根据特征设定关联规则挖掘所需参数，并运用apriori算法对数据处理后的历史园区数据进行频繁项集挖掘；

37、s43、根据挖掘得到的频繁项集，生成关联规则，并通过设定的阈值筛选出满足条件的强关联规则；

38、s44、对挖掘得到的关联规则进行分析，结合历史园区的实际情况，从中提取有价值的信息，将有价值的信息运用到历史园区的管理与运营决策中，并据此制定相应的优化策略，以实现园区的持续改进。

39、进一步的实施例中，所述根据特征设定关联规则挖掘所需参数，并运用apriori算法对数据处理后的历史园区数据进行频繁项集挖掘包括以下步骤：

40、s421、从收集到的历史园区数据中提取与关联规则挖掘相关的特征，并设定最小支持度阈值和最小置信度阈值；

41、s422、将处理好的历史园区数据转换为apriori算法的输入格式，同时确定最小支持度阈值和最小置信度阈值；

42、s423、将单个特征视为候选频繁项集，计算其支持度，根据最小支持度阈值筛选出满足条件的频繁项集；

43、s424、将筛选出的频繁项集两两组合，计算新生成的候选频繁项集的支持度；

44、s425、根据最小支持度阈值筛选出满足条件的频繁项集，并进行迭代，直至无法生成新的频繁项集，得到满足最小支持度阈值条件的所有频繁项集；

45、s426、基于频繁项集生成关联规则，计算每条关联规则的置信度，根据最小置信度阈值筛选出满足条件的强关联规则。

46、进一步的实施例中，所述基于频繁项集生成关联规则，计算每条关联规则的置信度，根据最小置信度阈值筛选出满足条件的强关联规则包括以下步骤：

47、s4261、遍历所有的频繁项集，将每一个频繁项集拆分为前件和后件；

48、s4262、对于每一个前件和后件的组合，计算关联规则的置信度；

49、s4263、根据最小置信度阈值筛选出满足条件的强关联规则，删除置信度小于最小置信度阈值的关联规则；

50、s4264、基于频繁项集生成关联规则后，通过计算置信度并根据最小置信度阈值筛选出强关联规则；

51、s4265、针对筛选出的强关联规则，计算提升度、全置信度和kulc指标的评估指标，并按照评估指标的高低进行排序，为园区管理者提供参考信息。

52、进一步的实施例中，所述根据实时数据的异常检测结果和历史数据潜在关系挖掘结果，设计智能园区的可视化界面，并提供交互界面包括以下步骤：

53、s51、分析智能园区内设备、网络和基础设施的运行状态、异常情况及潜在关系，明确需要展示的关键信息；

54、s52、选择展示实时数据和历史数据分析结果的可视化工具，并设计可视化界面布局；

55、s53、针对不同的数据类型和需求选择合适的图表类型；

56、s54、将实时数据异常检测结果和历史数据潜在关系挖掘结果与相应的图表进行对应，确保数据准确地反映在图表上，并实时更新图表中的数据；

57、s55、将设计好的可视化界面集成到智能园区的管理系统中，并进行展示。

58、根据本发明的另一个方面，还提供了一种智能园区数据可视化系统，该系统包括：数据采集模块、数据整合模块、实时异常检测模块、潜在关系挖掘模块及可视化与交互界面模块；

59、所述数据采集模块，用于实时采集智能园区内设备、网络和基础设施的多源数据；

60、所述数据整合模块，用于对多源数据进行预处理，整合为实时园区数据，并存储至消息队列；

61、所述实时异常检测模块，用于利用spark streaming流处理服务对实时园区数据进行分析，并基于时间序列预测模型对实时园区数据进行异常检测；

62、所述潜在关系挖掘模块，用于基于关联规则挖掘模型挖掘历史园区数据之间的潜在关系；

63、所述可视化与交互界面模块，用于根据实时数据的异常检测结果和历史数据潜在关系挖掘结果，设计智能园区的可视化界面，并提供交互界面；并基于历史数据潜在关系挖掘结果，获取与异常检测结果存在潜在关系的相关数据信息，并选择上述相关数据信息中的关键信息与异常检测结果在可视化界面中进行重点联动展示。

64、本发明的有益效果为：

65、1、本发明spark streaming能够实时处理来自kafka消息队列的数据，这意味着异常检测可以在数据产生的同时进行，提高了系统的响应速度，通过增加资源来应对大量数据的实时处理需求，采用时间序列预测模型进行异常检测有效地识别出异常数据，提高了异常检测的准确性，根据不同的数据特征和业务需求，灵活选择合适的时间序列预测模型以及参数调整方法，实现更为精准的异常检测，基于spark的分布式计算框架易于维护和升级，有利于实现智能园区长期稳定的运行。

66、2、本发明关联规则挖掘能够发现数据中存在的潜在关系和模式，帮助分析师了解历史园区数据背后的规律，通过挖掘出有价值的关联规则，为园区管理者提供针对性的参考信息，辅助制定更有效的管理与运营决策，根据关联规则挖掘结果，园区管理者可以不断调整合优化管理策略，实现园区的持续改进，并计算提升度、全置信度和kulc指标等多个评估指标，从多个角度衡量关联规则的有效性和可靠性。

67、3、本发明通过可视化界面，可以直观地展示智能园区内设备、网络和基础设施的运行状态及异常情况，便于管理者迅速了解各项数据，针对不同的数据类型和需求选择合适的图表类型，并根据需要设计可视化界面布局，满足园区管理者的个性化需求，通过实时数据异常检测及历史数据潜在关系挖掘结果的可视化展示，有助于提高园区管理者对智能园区的整体把握和管理水平。

68、4、本发明基于异常检测结果和历史数据潜在关系挖掘结果，获取与异常检测结果存在潜在关系的相关数据信息，并选择上述相关数据信息中的关键信息与异常检测结果在可视化界面中进行重点联动展示，可以让管理者站在全局化的角度更好的评估异常情况的影响因素和影响趋势，更好的进行园区的维护管理。