异常数据识别方法、处理方法、系统、处理器及存储介质与流程

本发明涉及电力，具体地涉及一种异常数据识别方法、处理方法、系统、处理器及存储介质。

背景技术：

1、用户的光伏、储能等用电数据可以为电网的负荷预测、负荷管理以及电网规划提供数据支撑，由于通信或传感设备故障等原因，导致采集的用电数据中通常存在虚假数据，即异常数据。

2、目前的异常数据识别方法通过比较用电数据与参考用电范围的大小来筛选、消除异常数据。在实际应用中，存在异常数据判断识别有误，造成大量有价值的用电数据作为异常数据被消除，破坏了原始用电数据的有效信息。

技术实现思路

1、本发明实施例的目的是提供一种异常数据识别方法、处理方法、系统、处理器及存储介质，通过本发明实施例可以解决或部分解决现有技术中存在的问题。

2、本技术的发明人发现现有的异常数据识别方法存在异常数据判断识别有误，造成大量有价值的用电数据作为异常数据被消除的原因在于：现有技术未考虑大气温度、节假日等因素对用户用电行为的影响，将在温度较高/低以及节假日的影响下产生的高于参考用电范围或低于参考用电范围的有效用电数据作为异常数据消除，造成数据丢失。

3、为了实现上述目的，本发明实施例提供一种异常数据识别方法，该方法包括：

4、获取用户的用电数据序列，当所述用电数据序列中的用电数据不属于参考用电范围时，将该用电数据划分为疑似异常数据；

5、判断所述疑似异常数据是否受到大气温度和/或非工作日的影响，当所述疑似异常数据未受到大气温度和/或非工作日的影响时，确定所述疑似异常数据为异常数据；

6、其中所述参考用电范围根据用户的历史用电数据设定；

7、所述疑似异常数据是否受到大气温度的影响，根据采集所述疑似异常数据时的大气温度以及相邻时间段的大气温度确定；所述疑似异常数据是否受到非工作日的影响，根据采集所述疑似异常数据时对应的日期以及相邻的日期是否为非工作日确定。

8、可选的，所述疑似异常数据包括：奇异数据和/或默认数据，所述奇异数据包括上限数据和下限数据；

9、所述上限数据为用电数据序列中高于所述参考用电范围的用电数据；

10、所述下限数据为用电数据序列中小于0的用电数据；

11、所述默认数据为数值为0或为空的用电数据。

12、可选的，在判断所述疑似异常数据是否受到大气温度和/或非工作日的影响之前，所述方法还包括：

13、计算所述疑似异常数据在用电数据序列中出现的频率；

14、当所述疑似异常数据为上限数据时，若所述疑似异常数据出现的频率不高于参考频率值，则判断所述疑似异常数据是否受到大气温度和/或非工作日的影响，确定所述疑似异常数据是否为异常数据；若所述疑似异常数据出现的频率高于参考频率值，则直接确定所述疑似异常数据为异常数据；

15、当所述疑似异常数据为下限数据或默认数据时，直接确定所述疑似异常数据为异常数据；

16、其中将所述疑似异常数据出现的频率高于参考频率值的异常数据划分为一类异常数据，其余异常数据划分为二类异常数据；

17、所述参考频率值根据用户的历史用电数据设定。

18、可选的，所述判断所述疑似异常数据是否受到大气温度和/或非工作日的影响，当所述疑似异常数据未受到大气温度和/或非工作日的影响时，确定所述疑似异常数据为异常数据，包括：

19、根据所述用电数据序列中疑似异常数据出现的频率，确定第一标志位；

20、根据采集所述疑似异常数据时的大气温度以及相邻时间段的大气温度，确定第二标志位；

21、根据采集所述疑似异常数据时对应的日期为工作日还是非工作日，确定第三标志位；

22、根据所述第一标志位、第二标志位和第三标志位，判断所述疑似异常数据是否为异常数据；

23、其中所述第一标志位用于指示用电数据序列中异常数据出现的频率是否在可接受范围，所述第二标志位用于指示所述用电数据是否受大气温度影响，所述第三标志位用于指示所述用电数据是否受非工作日影响。

24、可选的，根据所述用电数据序列中疑似异常数据出现的频率，确定第一标志位，包括：

25、当所述用电数据序列中疑似异常数据属于以下任意一种情况时，将所述疑似异常数据的第一标志位设定为异常数据出现的频率在不可接受范围，否则，设定为在可接受范围：

26、情形一：上限数据出现的频率不小于上限数据的设定阈值；

27、情形二：下限数据出现的频率不小于下限数据的设定阈值；

28、情形三：默认数据出现的频率不小于默认数据的设定阈值；

29、其中，所述上限数据、下限数据、默认数据的设定阈值根据用户对异常数据出现的频率的接受程度设定。

30、可选的，所述根据采集所述疑似异常数据时的大气温度以及相邻时间段的大气温度，确定第二标志位，包括：

31、将采集所述疑似异常数据时的大气温度与相邻时间段的最高/低温进行比较；

32、若所述采集疑似异常数据时的大气温度高于所述相邻时间段的最高温，或者低于所述相邻时间段的最低温，则将所述第二标志位设定为受到大气温度影响，否则，设定为未受大气温度影响。

33、可选的，所述非工作日包括法定节假日和/或周末，

34、所述根据采集所述疑似异常数据时对应的日期以及相邻的日期是否为非工作日，确定第三标志位，包括：

35、根据节假日、周末和工作日对用户用电行为的影响，分别授予节假日、周末和工作日对应的用电影响因子；

36、将采集所述疑似异常数据时对应的日期以及相邻日期的用电影响因子相加，若相加之和大于受非工作日影响的设定阈值，则将所述第三标志位设定为受到非工作日影响，否则，设定为未受到非工作日影响。

37、可选的，所述根据第一标志位、第二标志位和第三标志位，判断疑似异常数据是否为异常数据，包括：

38、当第一标志位的状态为异常数据出现的频率在不可接受范围时，将其设定为逻辑0，在可接受范围时设定为逻辑1；

39、当第二标志位的状态为未受大气温度影响时，将其设定为逻辑0，受大气温度影响时设定为逻辑1；

40、当第三标志位的状态为未受到非工作日影响时，将其设定为逻辑0，受到非工作日影响时，设定为逻辑1；

41、当所述第二标志位和第三标志位相或的结果与所述第一标志位相与为逻辑1时，判定所述疑似异常数据不是异常数据。

42、相应的，本发明实施例还提供一种异常数据处理方法，所述异常数据处理方法包括：

43、利用所述的异常数据识别方法，判断所述用电数据序列中的用电数据是否为异常数据，并将疑似异常数据出现的频率高于参考频率值的异常数据划分为一类异常数据，其余异常数据划分为二类异常数据；以及

44、将所述一类异常数据从所述用电数据序列中消除，将所述二类异常数据进行校正。

45、可选的，所述将二类异常数据进行校正，包括：

46、当所述二类异常数据不连续地出现在所述用电数据序列内部时，选取与所述二类异常数据相邻的m1个用电数据作为样本进行插值校正；

47、当所述二类异常数据连续两个出现在所述用电数据序列内部时，选取与所述二类异常数据相邻的m2个用电数据作为样本进行插值校正，其中m2大于m1，m2和m1的大小根据校正精度设定；

48、当所述二类异常数据至少三个连续地出现在所述用电数据序列内部时，对所述二类异常数据出现之前和出现之后相邻的两个用电数据求平均，利用平均值代替所述二类异常数据；

49、当所述二类异常数据出现在所述用电数据序列的终点时，将与所述二类异常数据相邻的用电数据调整为所述二类异常数据的大小。

50、相应的，本发明实施例还提供一种异常数据识别系统，所述异常数据识别系统包括：获取模块和判断模块；

51、所述获取模块，用于获取用户的用电数据序列，当所述用电数据序列中的用电数据不属于参考用电范围时，将该用电数据划分为疑似异常数据；

52、所述判断模块，用于判断所述疑似异常数据是否受到大气温度和/或非工作日的影响，当所述疑似异常数据未受到大气温度和/或非工作日的影响时，确定所述疑似异常数据为异常数据；

53、其中所述参考用电范围根据用户的历史用电数据设定；

54、所述疑似异常数据是否受到大气温度的影响，根据采集所述疑似异常数据时的大气温度以及相邻时间段的大气温度确定；所述疑似异常数据是否受到非工作日的影响，根据采集所述疑似异常数据时对应的日期以及相邻的日期是否为非工作日确定。

55、可选的，所述判断所述疑似异常数据是否受到大气温度和/或非工作日的影响，当所述疑似异常数据未受到大气温度和/或非工作日的影响时，确定所述疑似异常数据为异常数据，包括：

56、根据所述用电数据序列中疑似异常数据出现的频率，确定第一标志位；

57、根据采集所述疑似异常数据时的大气温度以及相邻时间段的大气温度，确定第二标志位；

58、根据采集所述疑似异常数据时对应的日期为工作日还是非工作日，确定第三标志位；

59、根据所述第一标志位、第二标志位和第三标志位，判断所述疑似异常数据是否为异常数据；

60、其中所述第一标志位用于指示用电数据序列中异常数据出现的频率是否在可接受范围，所述第二标志位用于指示所述用电数据是否受大气温度影响，所述第三标志位用于指示所述用电数据是否受非工作日影响。

61、相应的，本发明实施例还提供一种异常数据处理系统，所述异常数据处理系统包括：第一数据处理模块和第二数据处理模块；

62、所述第一数据处理模块，用于利用所述的异常数据识别方法，判断所述用电数据序列中的用电数据是否为异常数据，并将疑似异常数据出现的频率高于参考频率值的异常数据划分为一类异常数据，其余异常数据划分为二类异常数据；

63、所述第二数据处理模块，用于将所述一类异常数据从所述用电数据序列中消除，将所述二类异常数据进行校正。

64、可选的，所述将二类异常数据进行校正，包括：

65、当所述二类异常数据不连续地出现在所述用电数据序列内部时，选取与所述二类异常数据相邻的m1个用电数据作为样本进行插值校正；

66、当所述二类异常数据连续两个出现在所述用电数据序列内部时，选取与所述二类异常数据相邻的m2个用电数据作为样本进行插值校正，其中m2大于m1，m2和m1的大小根据校正精度设定；

67、当所述二类异常数据至少三个连续地出现在所述用电数据序列内部时，对所述二类异常数据出现之前和出现之后相邻的两个用电数据求平均，利用平均值代替所述二类异常数据；

68、当所述二类异常数据出现在所述用电数据序列的终点时，将与所述二类异常数据相邻的用电数据调整为所述二类异常数据的大小。

69、相应的，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行所述异常数据识别方法和/或所述的异常数据处理方法。

70、相应的，本发明还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行所述异常数据识别方法和/或所述异常数据处理方法。

71、本发明实施例，首先根据用电数据序列中各用电数据与参考用电范围的大小关系，确定疑似异常数据，然后根据疑似异常数据是否受到大气温度和/或非工作日的影响，判断所述疑似异常数据是否为异常数据，在筛选和消除异常数据之前充分考虑大气温度、节假日等因素对用电数据的影响，可以避免有价值的用电数据被舍弃，从而提高了异常数据识别的准确性。

72、本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。