数据监测方法及装置与流程

本说明书一个或多个实施例涉及数据处理，尤其涉及一种数据监测方法及装置。

背景技术：

1、随着计算机及互联网技术的发展，生产和生活活动的数字化程度越来越高，短时间内可以产生大量数据，而这些数据中往往存在很多完全相同或相似程度很高的数据。例如，告警监测系统在监测系统或设备的运行情况时，会对运行过程中的异常或故障生成告警信息，以提示相关人员进行故障排除；但在异常或故障排除前，该告警信息可能会每间隔一段时间就重复生成一次，从而产生大量的重复告警信息，使得相关人员工作任务加重。

2、因此，需要提供一种数据监测方法，以有效识别系统或设备中产生的相同或相似数据，提高系统作业效率，提升相关人员的体验。

技术实现思路

1、为了有效识别系统或设备中产生的相同或相似数据，提高系统作业效率，提升相关人员的体验，本说明书一个或多个实施例提供了一种数据监测方法及装置。

2、第一方面，本说明书一个或多个实施例提供了一种数据监测方法，该方法包括：

3、获取待识别数据和至少两条样本数据；

4、根据时间规整算法计算得到第一距离序列和第二距离序列；其中，所述第一距离序列为所述待识别数据和每条所述样本数据之间的距离，所述第二距离序列为所述至少两条样本数据两两之间的距离；

5、根据t检验算法对所述第一距离序列和第二距离序列进行检验，得到检验结果；

6、根据所述检验结果判断所述待识别数据和所述样本数据是否相似。

7、一种可能的实现方式中，所述获取待识别数据和至少两条样本数据，包括：

8、获取所述待识别数据，并根据所述待识别数据，按照预设筛选规则，筛选得到至少两条历史数据，作为所述样本数据。

9、一种可能的实现方式中，所述获取待识别数据和至少两条样本数据，包括：

10、获取所述待识别数据，并根据所述待识别数据，按照预设筛选规则，筛选得到历史数据；

11、按照预设移动规则，将所述历史数据进行移动，将移动前后的历史数据作为所述样本数据。

12、一种可能的实现方式中，所述预设移动规则包括以下至少一项：预设移动次数n、预设单次移动幅度△t、预设移动方向；

13、其中，所述预设移动方向包括以下至少一项：朝向所述历史数据的起点的第一方向、朝向所述历史数据的终点的第二方向；

14、所述按照预设移动规则，将所述历史数据进行移动，包括以下至少一项：

15、按照所述第一方向和所述预设单次移动幅度△t，将所述历史数据移动n次，得到n个第一样本数据；

16、按照所述第二方向和所述预设单次移动幅度△t，将所述历史数据移动n次，得到n个第二样本数据。

17、一种可能的实现方式中，在所述根据时间规整算法计算得到第一距离序列和第二距离序列之前，所述方法还包括：对所述待识别数据和所述样本数据进行归一化处理；或者，对所述待识别数据和所述样本数据进行去中值化处理。

18、一种可能的实现方式中，所述根据t检验算法对所述第一距离序列和第二距离序列进行检验，得到检验结果，包括：

19、根据所述t检验算法对所述第一距离序列和所述第二距离序列进行检验，得到所述t检验算法的原假设的置信度水平；

20、所述根据所述检验结果判断所述待识别数据和所述样本数据是否相似，包括：

21、若所述置信度水平为所述原假设的置信度大于预设阈值，判定所述待识别数据和所述样本数据相似。

22、一种可能的实现方式中，所述原假设包括：所述第一距离序列的第一距离均值和所述第二距离序列的第二距离均值相等。

23、一种可能的实现方式中，在所述根据所述t检验算法对所述第一距离序列和所述第二距离序列进行检验之前，所述方法还包括：检验所述第一距离序列和所述第二距离序列的方差齐性，并在所述第一距离序列和所述第二距离序列满足方差齐性时，执行所述根据所述t检验算法对所述第一距离序列和所述第二距离序列进行检验。

24、一种可能的实现方式中，所述还包括以下至少一项：

25、在所述待识别数据和所述样本数据相似时，将所述待识别数据与所述样本数据合并；

26、在所述待识别数据和所述样本数据不相似时，将所述待识别数据发送至数据需求端；

27、将所述待识别数据和所述样本数据的相似性判断结果发送至所述数据需求端；

28、将所述待识别数据和所述样本数据的相似性判断结果存储至预设样本数据库。

29、一种可能的实现方式中，所述待识别数据包括：待识别告警数据；所述样本数据包括：历史告警数据。

30、第二方面，本说明书一个或多个实施例还提供了一种数据监测装置，该装置包括：

31、数据获取模块，用于获取待识别数据和至少两条样本数据；

32、距离计算模块，用于根据时间规整算法计算得到第一距离序列和第二距离序列；其中，所述第一距离序列为所述待识别数据和每条所述样本数据之间的距离，所述第二距离序列为所述至少两条样本数据两两之间的距离；

33、t检验模块，用于根据t检验算法对所述第一距离序列和第二距离序列进行检验，得到检验结果；

34、相似判断模块，用于根据所述检验结果判断所述待识别数据和所述样本数据是否相似。

35、一种可能的实现方式中，所述数据获取模块包括：

36、第一获取模块，用于获取所述待识别数据，并根据所述待识别数据，按照预设筛选规则，筛选得到至少两条历史数据，作为所述样本数据。

37、一种可能的实现方式中，所述数据获取模块包括：

38、第二获取模块，用于获取所述待识别数据，并根据所述待识别数据，按照预设筛选规则，筛选得到历史数据，并按照预设移动规则，将所述历史数据进行移动，将移动前后的历史数据作为所述样本数据。

39、一种可能的实现方式中，所述预设移动规则包括以下至少一项：预设移动次数n、预设单次移动幅度△t、预设移动方向；

40、其中，所述预设移动方向包括以下至少一项：朝向所述历史数据的起点的第一方向、朝向所述历史数据的终点的第二方向；

41、所述第二获取模块用于按照预设移动规则，将所述历史数据进行移动，将移动前后的历史数据作为所述样本数据，包括以下至少一项：

42、所述第二获取模块用于按照所述第一方向和所述预设单次移动幅度△t，将所述历史数据移动n次，得到n个第一样本数据；

43、所述第二获取模块用于按照所述第二方向和所述预设单次移动幅度△t，将所述历史数据移动n次，得到n个第二样本数据。

44、一种可能的实现方式中，所述装置还包括：

45、第一预处理模块，用于对所述待识别数据和所述样本数据进行归一化处理或者去中值化处理，并将处理后的数据输入所述距离计算模块。

46、一种可能的实现方式中，所述t检验模块用于根据t检验算法对所述第一距离序列和第二距离序列进行检验，得到检验结果，包括：

47、所述t检验模块用于根据所述t检验算法对所述第一距离序列和所述第二距离序列进行检验，得到所述t检验算法的原假设的置信度水平；

48、所述相似判断模块用于根据所述检验结果判断所述待识别数据和所述样本数据是否相似，包括：

49、所述相似判断模块用于若所述置信度水平为所述原假设的置信度大于预设阈值，判定所述待识别数据和所述样本数据相似。

50、一种可能的实现方式中，所述原假设包括：所述第一距离序列的第一距离均值和所述第二距离序列的第二距离均值相等。

51、一种可能的实现方式中，所述装置还包括：

52、第二预处理模块，用于检验所述第一距离序列和所述第二距离序列的方差齐性，并在所述第一距离序列和所述第二距离序列满足方差齐性时，触发所述t检验模块。

53、一种可能的实现方式中，所述装置还包括以下至少一项：

54、响应模块，用于在所述待识别数据和所述样本数据相似时，将所述待识别数据与所述样本数据合并；或者，在所述待识别数据和所述样本数据不相似时，将所述待识别数据发送至数据需求端；

55、传输模块，用于将所述待识别数据和所述样本数据的相似性判断结果发送至所述数据需求端；

56、存储模块，用于将所述待识别数据和所述样本数据的相似性判断结果存储至预设样本数据库。

57、一种可能的实现方式中，所述数据获取模块获取的所述待识别数据包括：待识别告警数据；所述数据获取模块获取的所述样本数据包括：历史告警数据。

58、第三方面，本说明书一个或多个实施例还提供了一种电子设备，该电子设备包括存储器和处理器；所述存储器用于存储计算机程序产品；所述处理器用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述第一方面的数据监测方法。

59、第四方面，本说明书一个或多个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，该计算机程序指令被执行时，实现上述第一方面的数据监测方法。

60、第五方面，本说明书一个或多个实施例还提供了一种数据监测系统，包括：监测终端和中心控制系统；所述监测终端用于向所述中心控制系统发送相似判断请求；所述中心控制系统用于在接收到所述相似判断请求时，执行上述第一方面的数据监测方法，得到相似判断结果，并将所述相似判断结果发送至所述监测终端。

61、综上，为了有效识别系统或设备中产生的相同或相似数据，提高系统作业效率，提升相关人员的体验，本说明书一个或多个实施例提供了一种数据监测方法及装置。该方法中，通过获取待识别数据和至少两条样本数据；然后，根据时间规整算法计算得到第一距离序列和第二距离序列；其中，所述第一距离序列为所述待识别数据和每条所述样本数据之间的距离，所述第二距离序列为所述至少两条样本数据两两之间的距离；然后，根据t检验算法对所述第一距离序列和第二距离序列进行检验，得到检验结果；进而，根据所述检验结果判断所述待识别数据和所述样本数据是否相似。

62、这样的话，通过将时间规整算法与t检验算法相融合的方式，利用t检验算法判断根据时间规整算法得到的待识别数据与样本数据的相关距离序列的相似性，进而判定待识别数据与样本数据是否相似，不需要动态设置时间规整算法的距离阈值，可以广泛应用于多种场景或系统，自动且有效识别系统或设备中产生的相同或相似数据，提高系统作业效率，提升相关人员的体验。