一种能耗数据的处理方法及系统与流程

本技术涉及数据处理领域，特别是涉及一种能耗数据的处理方法及系统。

背景技术：

1、目前能耗(电、水、气)表计数据的处理，主要针对以下几种情形：周期性跳变：一直不稳定，始终处理跳变状态，跳变幅度范围大，往往是实际值的数十倍以上；尖峰跳变：大部分时间运行稳定，但偶尔出现向上或向下的尖峰跳变；液位变化时输出不变，液位显示逐渐从正常值降低至非常低液位等；倒走现象：由于计量器具安装不规范，阀门联动时出现回水和涡流，造成表计倒走；数据缺失：通讯异常，长时间未有轮询数据上传；负值：表计异常或协议规约读取异常；一些水、气表利用震动来获取数据，受环境影响可能存在短时间数值激增的情况等。现有的异常数据处理方式中基于大数据分析的方法需要大量的历史数据，而且计算过程复杂、花费时间比较长、实时性差，不适应使用实时数据的应用场景。现有的异常数据处理方法中基于时序的处理方式又无法体现数据点的特征，不能快速排除异常。

2、因此，如何提高实时能耗数据的异常数据处理效率，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、为解决上述技术问题，本技术提供一种能耗数据的处理方法，能够提高实时能耗数据的异常数据处理效率。本技术还提供一种能耗数据的处理系统，具有相同的技术效果。

2、本技术的第一个目的为提供一种能耗数据的处理方法。

3、本技术的上述申请目的一是通过以下技术方案得以实现的：

4、一种能耗数据的处理方法，包括：

5、获取实时能耗数据；

6、对所述实时能耗数据进行处理，得到测量能耗量和测量能耗变化量；

7、对所述测量能耗量和所述测量能耗变化量进行处理，得到预测能耗量和预测能耗变化量；

8、根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，确认所述实时能耗数据是否为异常数据；

9、若所述实时能耗数据为异常数据，则对所述实时能耗数据进行清洗处理；

10、其中，所述预设特征数据库包括预设最大能耗量和预设最大能耗变化量。

11、优选地，所述能耗数据的处理方法中，所述对所述实时能耗数据进行处理，得到测量能耗量和测量能耗变化量，包括：

12、利用一阶差分算法，对所述实时能耗数据进行处理，得到测量能耗量；

13、利用二阶差分算法，对所述实时能耗数据进行处理，得到测量能耗变化量。

14、优选地，所述能耗数据的处理方法中，所述对所述测量能耗量和所述测量能耗变化量进行处理，得到预测能耗量和预测能耗变化量，包括：

15、利用一阶差分指数平滑法，对所述测量能耗量和所述测量能耗变化量进行处理，得到第一预测能耗量和第一预测能耗变化量；

16、利用二阶差分指数平滑法，对所述测量能耗量和所述测量能耗变化量进行处理，得到第二预测能耗量和第二预测能耗变化量；

17、利用最小二乘法，对所述测量能耗量和所述测量能耗变化量进行处理，得到第三预测能耗量和第三预测能耗变化量；

18、从所述第一预测能耗量、所述第二预测能耗量和所述第三预测能耗量中，选取绝对值最大的数值，得到预测能耗量；

19、从所述第一预测能耗变化量、所述第二预测能耗变化量和所述第三预测能耗变化量中，选取绝对值最大的数值，得到预测能耗变化量。

20、优选地，所述能耗数据的处理方法中，所述根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，确认所述实时能耗数据是否为异常数据，包括：

21、根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，判断所述实时能耗数据是否满足预设判断条件，其中，所述预设判断条件具体为：

22、

23、式中，mt表示所述测量能耗量，lt表示所述测量能耗变化量，表示所述预测能耗量，表示所述预测能耗变化量，mmax表示所述预设最大能耗量，lmax表示所述预设最大能耗变化量，γ、δ、θ、μ表示加权系数；

24、若是，则确认所述实时能耗数据为非异常数据；

25、若否，则确认所述实时能耗数据为异常数据。

26、优选地，所述能耗数据的处理方法中，所述获取实时能耗数据，包括：

27、选取数据起始点；

28、根据所述数据起始点和预设采样周期，获取实时能耗数据。

29、优选地，所述能耗数据的处理方法中，若所述实时能耗数据为异常数据时，还包括：

30、判断所述实时能耗数据中是否存在连续预设数的异常数据，

31、若是，返回执行所述选取数据起始点的步骤。

32、优选地，所述能耗数据的处理方法中，所述根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，确认所述实时能耗数据是否为异常数据之后，还包括：

33、若所述实时能耗数据为非异常数据，则根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量和所述预测能耗变化量，对所述预设特征数据库进行更新。

34、优选地，所述能耗数据的处理方法中，所述获取实时能耗数据之后，还包括：

35、对所述实时能耗数据进行预处理，得到预处理后的能耗数据；

36、相应地，所述对所述实时能耗数据进行处理，得到测量能耗量和测量能耗变化量，包括：

37、对所述预处理后的能耗数据进行处理，得到测量能耗量和测量能耗变化量。

38、优选地，所述能耗数据的处理方法中，所述一阶差分指数平滑法的计算公式如下：

39、

40、式中，为差分记号，为参数，yt表示在t时刻的所述测量能耗量，表示在t时刻的所述第一预测能耗量，或者，yt表示在t时刻的所述测量能耗变化量，表示在t时刻的所述第一预测能耗变化量；

41、所述二阶差分指数平滑法的计算公式如下：

42、

43、式中，为差分记号，β为参数，yt表示在t时刻的所述测量能耗量，表示在t时刻的所述第二预测能耗量，或者，yt表示在t时刻的所述测量能耗变化量，表示在t时刻的所述第二预测能耗变化量；

44、其中，所述能耗数据的处理方法还包括：

45、获取历史能耗数据，利用所述历史能耗数据对所述参数和所述参数β进行率定。

46、优选地，所述能耗数据的处理方法中，所述获取历史能耗数据，利用所述历史能耗数据对所述参数进行率定，包括：

47、获取n组历史能耗数据，其中，n为正整数；

48、对n组所述历史能耗数据进行处理，得到n组历史测量能耗量，或者，对n组所述历史能耗数据进行处理，得到n组历史测量能耗变化量；

49、将所述参数的预设取值范围，分割成k+1个均匀区间，，得到k个第一分割点，其中，k为正整数；

50、基于k个所述第一分割点，利用一阶差分指数平滑法，分别对n组所述历史测量能耗量进行处理，得到k×n组第一预测历史能耗量，或者，基于k个所述第一分割点，利用一阶差分指数平滑法，分别对n组所述历史测量能耗变化量进行处理，得到k×n组第一预测历史能耗变化量；

51、计算每组所述第一预测历史能耗量与每组所述第一预测历史能耗量所对应的所述历史测量能耗量的差值绝对值，得到k×n个第一差值，或者，计算每组所述第一预测历史能耗变化量与每组所述第一预测历史能耗变化量所对应的所述历史测量能耗变化量的差值绝对值，得到k×n个第一差值；

52、基于k个所述第一分割点，将k×n个第一差值均分成k个第一数据组，其中，每个所述第一数据组中的所述第一差值所对应的所述第一预测历史能耗量或所述第一预测历史能耗变化量，均基于相同的一个所述第一分割点得到；

53、将k个所述第一数据组中的所述第一差值，按数据组分别进行求和，得到k个第二差值；

54、选取m个连续的所述第一分割点作为区间，得到k-m+1个第一区间，其中，m为正整数，m<k；

55、基于每个所述第一区间内所对应的所述第一分割点，对所述第二差值进行求和，得到k-m+1个第三差值；

56、从k-m+1个所述第三差值中选择数值最小的差值所对应的所述第一区间作为第一目标区间；

57、将所述第一目标区间所对应的m个所述第一分割点的中值作为所述参数的最终值；

58、相应地，所述获取历史能耗数据，利用所述历史能耗数据对所述参数β进行率定，包括：

59、获取n组历史能耗数据，其中，n为正整数；

60、对n组所述历史能耗数据进行处理，得到n组历史测量能耗量，或者，对n组所述历史能耗数据进行处理，得到n组历史测量能耗变化量；

61、将所述参数β的预设取值范围，分割成k+1个均匀区间，得到k个第二分割点，其中，k为正整数；

62、基于k个所述第二分割点，利用二阶差分指数平滑法，分别对n组所述历史测量能耗量进行处理，得到k×n组第二预测历史能耗量，或者，基于k个所述第二分割点，利用二阶差分指数平滑法，分别对n组所述历史测量能耗变化量进行处理，得到k×n组第二预测历史能耗变化量；

63、计算每组所述第二预测历史能耗量与每组所述第二预测历史能耗量所对应的所述历史测量能耗量的差值绝对值，得到k×n个第四差值，或者，计算每组所述第二预测历史能耗变化量与每组所述第二预测历史能耗变化量所对应的所述历史测量能耗变化量的差值绝对值，得到k×n个第四差值；

64、基于k个所述第二分割点，将k×n个第四差值均分成k个第二数据组，其中，每个所述第二数据组中的所述第四差值所对应的所述第二预测历史能耗量或所述第二预测历史能耗变化量，均基于相同的一个所述第二分割点得到；

65、将k个所述第二数据组中的所述第一差值，按数据组分别进行求和，得到k个第五差值；

66、选取m个连续的所述第二分割点作为区间，得到k-m+1个第二区间，其中，m为正整数，m<k；

67、基于每个所述第二区间内所对应的所述第二分割点，对所述第五差值进行求和，得到k-m+1个第六差值；

68、从k-m+1个所述第六差值中选择数值最小的差值所对应的所述第二区间作为第二目标区间；

69、将所述第二目标区间所对应的m个所述第二分割点的中值作为所述参数β的最终值。

70、本技术的第二个目的为提供一种能耗数据的处理系统。

71、本技术的上述申请目的二是通过以下技术方案得以实现的：

72、一种能耗数据的处理系统，包括：

73、数据获取单元，用于获取实时能耗数据；

74、第一处理单元，用于对所述实时能耗数据进行处理，得到测量能耗量和测量能耗变化量；

75、第二处理单元，用于对所述测量能耗量和所述测量能耗变化量进行处理，得到预测能耗量和预测能耗变化量；

76、异常识别单元，用于根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，确认所述实时能耗数据是否为异常数据；

77、数据清洗单元，用于当所述实时能耗数据为异常数据时，对所述实时能耗数据进行清洗处理；

78、其中，所述预设特征数据库包括预设最大能耗量和预设最大能耗变化量。

79、上述技术方案，通过获取实时能耗数据，对所述实时能耗数据进行处理，得到测量能耗量和测量能耗变化量；其中，实时能耗数据大多都是以累积值的形式存在，通过计算得到的测量能耗量和测量能耗变化量能够体现实时能耗数据的物理特性，利用这些特征属性可以加快异常数据的发现和处理；对所述测量能耗量和所述测量能耗变化量进行处理，得到预测能耗量和预测能耗变化量；根据所述测量能耗量、所述测量能耗变化量、所述预测能耗量、所述预测能耗变化量和预设特征数据库，确认所述实时能耗数据是否为异常数据；其中，所述预设特征数据库包括预设最大能耗量和预设最大能耗变化量，基于预设最大能耗量和预设最大能耗变化量进行特征值比较，符合能耗数据的物理特性，同时可以加快运算速度；若所述实时能耗数据为异常数据，则对所述实时能耗数据进行清洗处理。本技术方案相较于现有的异常数据处理方式而言，不需要进行大量的数据计算，能够利用实时能耗数据的特征快速排除异常。综上所述，上述技术方案能够提高实时能耗数据的异常数据处理效率。