一种数据异常监测方法、装置、电子设备及存储介质与流程

本技术涉及通信，尤其涉及一种数据异常监测方法、装置、电子设备及存储介质。

背景技术：

1、在数字全球化的背景下，数据已成为经济活动的重要因素，一方面，数据经济的全球化加强了国际间的沟通合作，促进了电子商务、物流、金融和供应链等行业的快速发展，另一方面，随着各国对信息安全重视程度的提升，数据流动的安全性问题逐渐成为关注焦点，其不仅关乎个人隐私，还影响着经济发展和国家利益。

2、目前，传统的网络流量监测手段面临诸多挑战，尤其在应对大规模数据流动时，其风险发现和处置能力比较滞后，对风险事件检测的准确性不高。

技术实现思路

1、为了解决传统的网络流量监测手段在应对大规模数据流动时，风险发现和处置能力滞后，对风险事件检测的准确性不高解决的问题，本技术实施例提供了一种数据异常监测方法、装置、电子设备及存储介质。

2、第一方面，本技术实施例提供了一种数据异常监测方法，应用于大数据分析处理平台，所述方法，包括：

3、获取当前时间周期内当前时间窗口的指定源ip与目的ip对应的网络流量日志；

4、根据所述网络流量日志统计在所述当前时间窗口所述源ip向所述目的ip发送的流量大小值，以及所述源ip接收的所述目的ip发送的流量大小值；

5、根据所述源ip向所述目的ip发送的流量大小值、所述源ip接收的所述目的ip发送的流量大小值、流量基线与流量告警阈值，判断所述源ip与所述目的ip之间传输的流量是否异常，所述流量基线表征正常网络流量的基准值；

6、若确定所述源ip与所述目的ip之间传输的流量异常，则生成所述源ip与所述目的ip在当前时间窗口对应的异常告警日志；

7、对所述源ip与所述目的ip产生的异常告警日志进行联合分析，得到分析结果。

8、在一种实施方式中，当所述流量基线为静态流量基线时，所述流量基线包括静态上行流量基线和静态下行流量基线，所述流量告警阈值包括静态上行流量告警阈值和静态下行流量告警阈值；

9、根据所述源ip向所述目的ip发送的流量大小值、所述源ip接收的所述目的ip发送的流量大小值、流量基线与流量告警阈值，判断所述源ip与所述目的ip之间传输的流量是否异常，具体包括：

10、计算所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值，以及计算所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值；

11、若确定所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值大于所述静态上行流量告警阈值，和/或，所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值大于所述静态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量异常；

12、若确定所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值小于或者等于所述静态上行流量告警阈值，以及，所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值小于或者等于所述静态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量无异常。

13、在一种实施方式中，当所述流量基线为动态流量基线时，所述流量基线包括动态上行流量基线和动态下行流量基线，所述流量告警阈值包括动态上行流量告警阈值和动态下行流量告警阈值；

14、根据所述源ip向所述目的ip发送的流量大小值、所述源ip接收的所述目的ip发送的流量大小值、流量基线与流量告警阈值，判断所述源ip与所述目的ip之间传输的流量是否异常，具体包括：

15、根据所述源ip向所述目的ip发送的流量大小值相对于所述动态上行流量告警阈值的波动量，以及所述源ip接收的所述目的ip发送的流量大小值相对于所述动态下行流量告警阈值的波动量，判断所述源ip与所述目的ip之间传输的流量是否异常。

16、在一种实施方式中，根据所述源ip向所述目的ip发送的流量大小值相对于所述动态上行流量告警阈值的波动量，以及所述源ip接收的所述目的ip发送的流量大小值相对于所述动态下行流量告警阈值的波动量，判断所述源ip与所述目的ip之间传输的流量是否异常，具体包括：

17、若确定所述源ip向所述目的ip发送的流量大小值与所述动态上行流量基线的差值的绝对值大于所述动态上行流量告警阈值，和/或，所述源ip接收的所述目的ip发送的流量大小值与所述动态下行流量基线的差值的绝对值大于所述动态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量异常；

18、若确定所述源ip向所述目的ip发送的流量大小值与所述动态上行流量基线的差值的绝对值小于或者等于所述动态上行流量告警阈值，且所述源ip接收的所述目的ip发送的流量大小值与所述动态下行流量基线的差值的绝对值小于或者等于所述动态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量无异常。

19、在一种实施方式中，通过以下方式确定所述动态上行流量基线和所述动态下行流量基线：

20、获取预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值与所述源ip接收的所述目的ip发送的流量大小值；

21、分别计算所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值的均值，以及所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值的均值；

22、将所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值的均值确定为所述动态上行流量基线；以及将所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值的均值确定为所述动态下行流量基线。

23、在一种实施方式中，通过以下方式确定所述动态上行流量告警阈值：

24、根据所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值，与所述动态上行流量基线的分布确定所述动态上行流量告警阈值；以及

25、通过以下方式确定所述动态下行流量告警阈值：

26、根据所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值，与所述动态下行流量基线的分布确定所述动态下行流量告警阈值。

27、在一种实施方式中，对所述源ip与所述目的ip产生的异常告警日志进行联合分析，得到分析结果，具体包括：

28、针对产生异常告警日志的所述源ip与所述目的ip对应的每一网络流量日志，获取所述网络流量日志相应的原始流量数据，将所述原始流量数据与所述预设威胁情报库中的威胁特征进行匹配，根据匹配结果确定异常告警日志命中的攻击行为；

29、若无法获取所述网络流量日志相应的原始流量数据，则将所述网络流量日志与预设威胁情报库中的威胁特征进行匹配，根据匹配结果确定所述异常告警日志命中的攻击行为；

30、将连续命中相同攻击行为的异常告警日志归并为相应的同一攻击事件。

31、在一种实施方式中，所述方法，还包括：

32、对所述源ip向所述目的ip发送的流量的趋势进行分析，若确定存在流量突增且持续时间超过预设时长，则根据所述目的ip确定攻击类型。

33、第二方面，本技术实施例提供了一种数据异常监测装置，应用于大数据分析处理平台，所述装置，包括：

34、获取单元，用于获取当前时间周期内当前时间窗口的指定源ip与目的ip对应的网络流量日志；

35、统计单元，用于根据所述网络流量日志统计在所述当前时间窗口所述源ip向所述目的ip发送的流量大小值，以及所述源ip接收的所述目的ip发送的流量大小值；

36、判断单元，用于根据所述源ip向所述目的ip发送的流量大小值、所述源ip接收的所述目的ip发送的流量大小值、流量基线与流量告警阈值，判断所述源ip与所述目的ip之间传输的流量是否异常，所述流量基线表征正常网络流量的基准值；

37、告警单元，用于若确定所述源ip与所述目的ip之间传输的流量异常，则生成所述源ip与所述目的ip在当前时间窗口对应的异常告警日志；

38、分析单元，用于对所述源ip与所述目的ip产生的异常告警日志进行联合分析，得到分析结果。

39、在一种实施方式中，当所述流量基线为静态流量基线时，所述流量基线包括静态上行流量基线和静态下行流量基线，所述流量告警阈值包括静态上行流量告警阈值和静态下行流量告警阈值；

40、所述判断单元，具体用于计算所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值，以及计算所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值；若确定所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值大于所述静态上行流量告警阈值，和/或，所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值大于所述静态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量异常；若确定所述源ip向所述目的ip发送的流量大小值与所述静态上行流量基线的差值的绝对值小于或者等于所述静态上行流量告警阈值，以及，所述源ip接收的所述目的ip发送的流量大小值与所述静态下行流量基线的差值的绝对值小于或者等于所述静态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量无异常。

41、在一种实施方式中，当所述流量基线为动态流量基线时，所述流量基线包括动态上行流量基线和动态下行流量基线，所述流量告警阈值包括动态上行流量告警阈值和动态下行流量告警阈值；

42、所述判断单元，具体用于根据所述源ip向所述目的ip发送的流量大小值相对于所述动态上行流量告警阈值的波动量，以及所述源ip接收的所述目的ip发送的流量大小值相对于所述动态下行流量告警阈值的波动量，判断所述源ip与所述目的ip之间传输的流量是否异常。

43、在一种实施方式中，所述判断单元，具体用于若确定所述源ip向所述目的ip发送的流量大小值与所述动态上行流量基线的差值的绝对值大于所述动态上行流量告警阈值，和/或，所述源ip接收的所述目的ip发送的流量大小值与所述动态下行流量基线的差值的绝对值大于所述动态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量异常；若确定所述源ip向所述目的ip发送的流量大小值与所述动态上行流量基线的差值的绝对值小于或者等于所述动态上行流量告警阈值，且所述源ip接收的所述目的ip发送的流量大小值与所述动态下行流量基线的差值的绝对值小于或者等于所述动态下行流量告警阈值，则确定所述源ip与所述目的ip之间传输的流量无异常。

44、在一种实施方式中，所述装置，还包括：

45、第一确定单元，用于通过以下方式确定所述动态上行流量基线和所述动态下行流量基线：获取预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值与所述源ip接收的所述目的ip发送的流量大小值；分别计算所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值的均值，以及所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值的均值；将所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值的均值确定为所述动态上行流量基线；以及将所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值的均值确定为所述动态下行流量基线。

46、在一种实施方式中，所述装置，还包括：

47、第二确定单元，用于通过以下方式确定所述动态上行流量告警阈值：根据所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip向所述目的ip发送的流量大小值，与所述动态上行流量基线的分布确定所述动态上行流量告警阈值；以及通过以下方式确定所述动态下行流量告警阈值：根据所述预设数量的历史时间周期内与所述当前时间窗口相应的时间窗口的所述源ip接收的所述目的ip发送的流量大小值，与所述动态下行流量基线的分布确定所述动态下行流量告警阈值。

48、在一种实施方式中，所述分析单元，具体用于针对产生异常告警日志的所述源ip与所述目的ip对应的每一网络流量日志，获取所述网络流量日志相应的原始流量数据，将所述原始流量数据与所述预设威胁情报库中的威胁特征进行匹配，根据匹配结果确定异常告警日志命中的攻击行为；若无法获取所述网络流量日志相应的原始流量数据，则将所述网络流量日志与预设威胁情报库中的威胁特征进行匹配，根据匹配结果确定所述异常告警日志命中的攻击行为；将连续命中相同攻击行为的异常告警日志归并为相应的同一攻击事件。

49、在一种实施方式中，所述分析单元，还用于对所述源ip向所述目的ip发送的流量的趋势进行分析，若确定存在流量突增且持续时间超过预设时长，则根据所述目的ip确定攻击类型。

50、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术所述的数据异常监测方法。

51、第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本技术所述的数据异常监测方法中的步骤。

52、本技术的有益效果如下：

53、本技术实施例提供的数据异常监测方法，应用于大数据分析处理平台，获取当前时间周期内当前时间窗口的指定源ip(internet protocol，互联网协议)与目的ip对应的网络流量日志，根据网络流量日志统计在当前时间窗口源ip向目的ip发送的流量大小值，以及源ip接收的目的ip发送的流量大小值，根据源ip向目的ip发送的流量大小值、源ip接收的目的ip发送的流量大小值、流量基线与流量告警阈值，判断源ip与目的ip之间传输的流量是否异常，流量基线表征正常网络流量的基准值，若确定源ip与所述目的ip之间传输的流量异常，则产生源ip与目的ip在当前时间窗口对应的异常告警日志，对源ip与目的ip产生的异常告警日志进行联合分析，得到分析结果，本技术实施例中，利用大数据分析处理平台更细粒度地按照设定的时间周期及时间窗口对指定源ip与目的ip的网络流量日志进行分析，统计当前时间窗口内源ip与目的ip之间向对方传输的流量大小值，进而，若根据源ip与目的ip之间向对方传输的流量大小值、流量基线与流量告警阈值判断在当前时间窗口源ip与目的ip之间传输的流量异常，则产生源ip与目的ip在当前时间窗口对应的异常告警日志，进而，对源ip与目的ip产生的异常告警日志进行联合分析，本技术实施例中，按照时间周期根据指定源ip与目的ip对应的网络流量日志统计更细粒度的时间窗口的源ip和目的ip向对方发送的流量大小值，进而，若根据在当前时间周期内当前时间窗口源ip和目的ip向对方发送的流量大小值、流量基线与流量告警阈值确定源ip与目的ip之间传输的流量异常，则进行实时告警，并对源ip与目的ip产生的各异常告警日志进行联合分析，从而，针对大规模数据流量的监测，满足了实时性需求的同时，提高了风险事件检测的准确性。

54、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。