报警数据的分类处理方法、系统、设备及存储介质与流程

1.本技术涉及监控技术领域，尤其涉及一种报警数据的分类处理方法、系统、设备及存储介质。


背景技术：

2.随着科学技术的迅速发展，现代企业网络结构也越来越复杂，如新型设备网络、企业运营网络和网络分区等，在网络系统处理能力提高的同时，系统的连接能力也逐渐提高。与此同时，基于网络连接的安全问题也日益突出。
3.虽然系统一般会对这些安全问题产生的告警数据进行存储，以使对各种紧急情况进行有效的监测，有利于对紧急情况进行及时处理。但是暴增的数据量不仅增加了管理端的工作量，而且采用既定单一的报警处理方式，难以通过及时和合理的报警处理方式应对各种紧急情况。


技术实现要素：

4.本技术实施例提供一种报警数据的分类处理方法、系统、设备及存储介质，以解决暴增的数据量不仅增加了管理端的工作量，而且采用既定单一的报警处理方式，难以通过及时和合理的报警处理方式应对各种紧急情况的问题。
5.一种报警数据的分类处理方法，包括：接收报警数据，将报警数据进行分类得到对应的报警类型，报警类型包括多个报警等级中的目标报警等级；基于处理模式数据库和目标报警等级，确定与报警类型匹配的处理模式；根据处理模式，对报警类型配置相应的报警处理方式，用于向管理端发送提醒信息；基于报警类型，采用幂律分布统计方法对所述报警类型的数据进行分析，从而更新所述报警类型对应的处理模式。
6.本技术在一较佳示例中可以进一步配置为：报警等级包括一级等级、二级等级和三级等级；接收报警数据，将报警数据进行分类得到对应的报警类型，包括：推送终端与管理端保持tcp长连接，管理端向推送终端上传报警请求；推送终端对接收到的管理端发送的报警请求进行解码，获得报警解析类型；基于缓存数据库和报警解析类型，确定报警解析类型的报警等级。
7.本技术在一较佳示例中可以进一步配置为：确定报警解析类型的报警等级，包括：若确定报警解析类型的报警等级为一级等级，则确定处理模式为弹窗处理模式；利用弹窗处理模式检验报警解析类型，得到校验结果；若校验结果为通过，则推送终端向管理端推送报警提醒。
8.本技术在一较佳示例中可以进一步配置为：确定报警解析类型的报警等级，包括：
若确定报警解析类型的报警等级为二级等级，则确定处理模式为人工处理模式；利用人工处理模式检验报警解析类型，得到校验结果；若校验结果为通过，则推送终端向管理端推送报警提醒并将报警解析类型存储至缓存数据库；基于缓存数据库，定时向管理端推送携带报警解析类型信息的页面，以使管理端点击处理携带报警解析类型信息的页面。
9.本技术在一较佳示例中可以进一步配置为：在接收报警数据之后，包括：采用近似算法对报警数据进行去重，以使每一报警数据对应一条提醒信息。
10.本技术在一较佳示例中可以进一步配置为：确定与报警类型匹配的处理模式，包括：获取处理时间段；处理时间段包括高峰时间段、平常时间段和低峰时间段；基于高峰时间段、平常时间段、低峰时间段和报警类型，确定处理模式。
11.本技术在一较佳示例中可以进一步配置为：报警等级包括一级等级、二级等级和三级等级；处理模式包括弹窗处理模式、人工处理模式和自动处理模式；在确定与报警类型匹配的处理模式之后，包括：将弹窗处理模式与一级等级绑定，人工处理模式与二级等级绑定，自动处理模式与三级等级绑定，获得绑定规则数据；将绑定规则数据存储至推送终端，定时刷新绑定规则数据。
12.本技术目的二是提供一种报警数据的分类处理系统。
13.本技术的上述申请目的二是通过以下技术方案得以实现的：一种报警数据的分类处理系统，包括：接收数据并进行分类模块，用于接收报警数据，将报警数据进行分类得到对应的报警类型，报警类型包括多个报警等级中的目标报警等级；确定处理模式模块，用于基于处理模式数据库和目标报警等级，确定与报警类型匹配的处理模式；设置报警处理方式模块，用于根据处理模式，对报警类型配置相应的报警处理方式，用于向管理端发送提醒信息；分析数据并更新处理模式模块，用于基于报警类型，采用幂律分布统计方法对报警类型的数据进行分析，从而更新报警类型对应的处理模式。
14.本技术目的三是提供一种计算机设备。
15.本技术的上述申请目的三是通过以下技术方案得以实现的：一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述报警数据的分类处理方法。
16.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述报警数据的分类处理方法。
17.综上，本技术包括以下有益技术效果：上述报警数据的分类处理方法、系统、设备及存储介质，通过对报警类型进行分类分流，再将不同的报警类型分别与弹窗处理模式、人工处理模式、自动处理模式结合，并采
用幂律分布统计方法对报警类型的数据进行分析，进而更新处理模式，不仅可以从海量报警数据中识别出高危报警并以相应的方式推送给管理端，而且提高了报警数据处理的效率和自适应性。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1绘示本技术一实施例中报警数据的分类处理方法的流程图；图2绘示本技术一实施例中报警数据的分类处理方法的整体流程图；图3绘示出本技术一实施例中报警数据的分类处理系统的示意图；图4绘示出本技术一实施例中计算机设备的示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.下面结合说明书附图对本技术实施例作进一步详细描述。
22.本技术实施例提供一种报警数据的分类处理方法，方法的主要流程描述如下：参照图1，s10、接收报警数据，将报警数据进行分类得到对应的报警类型，报警类型包括多个报警等级中的目标报警等级。
23.具体地，推送终端通过数据链路接收报警数据，对报警数据进行分类汇总，可将数据的数量从大到小进行排列，或者重要程度低到重要程度高的原则对报警数据进行过滤和分类。其中，采用较细的粒度对报警数据进行分类。
24.较细的粒度对报警数据进行分类即结合多种维度对报警数据进行分类筛选，然后得到报警类型。本实施例中，报警类型包括多个报警等级中的目标报警等级。报警等级有一级等级、二级等级、三级等级等，目标报警等级为每个报警类型对应的一条报警等级。
25.步骤s10的作用在于对报警数据做出分类和筛选，提高了报警数据的处理效率。
26.s20、基于处理模式数据库和目标报警等级，确定与报警类型匹配的处理模式。
27.具体地，对目标报警等级对应的报警数据中的可用字段进行筛选，比如：timestamp（告警产生时间）、sip（源ip）、dip（目的ip）、device_ip（产生此条报警数据的探针ip）和log_message（报警类型）等。然后，在处理模式数据库中筛选出符合该可用字段的相同字段，进而确定与该报警类型相匹配的处理模式。
28.其中，处理模式包括弹窗处理模式、人工处理模式和自动处理模式。
29.步骤s20的作用在于提高了报警数据处理的可靠性和效率。
30.s30、根据处理模式，对报警类型配置相应的报警处理方式，用于向管理端发送提醒信息。
31.其中，报警类型还包括报警处理人数，在确定与报警类型匹配的处理模式之后，根据处理该报警类型需要的报警处理人数，确定报警事件对应的目标处理人群，然后向目标处理人群中的每一管理员发送提醒信息。
32.其中，在本实施例中，报警处理方式可灵活根据管理人员的习惯进行设定。比如，对于一级等级对应的紧急报警，可以配置自动语音下发，提醒管理员及时处理报警信息。对于二级等级对应的一般报警，推送系统可以采用自动处理模式先进行处理。对于三级等级对应的轻微报警，可以设置成自动忽略或者延时推送。
33.步骤s30的作用在于对不同报警类型的处理方式不同，减少管理人员分配，提高了报警数据处理的效率。
34.s40、基于报警类型，采用幂律分布统计方法对所述报警类型的数据进行分析，从而更新所述报警类型对应的处理模式。
35.其中，幂律分布是指某个具有分布性质的变量，且其分布密度函数是幂函数，分布密度函数必然满足“归一律”。在双对数坐标下，幂律分布表现为一条斜率为幂指数的负指数的直线。因此，可根据报警类型的数据与报警数据的线性关系来判断是否满足幂律分布。
36.具体地，采用一元线性回归模型和最小二乘法，求解报警类型的数据与各因素之间的相关系数，可以得到经验回归直线方程，进而得到报警类型的数据与报警数据之间的幂律关系式。
37.步骤s40的作用在于采用幂律分布统计方法对报警类型的数据进行分析，进而更新处理模式，提高了报警数据处理的自适应性。
38.参照图2，在一实施例中，报警等级包括一级等级、二级等级和三级等级。
39.步骤s10，即接收报警数据，将报警数据进行分类得到对应的报警类型，包括：s11、推送终端与管理端保持tcp长连接，管理端向推送终端上传报警请求。
40.其中，tcp长连接是指在一个连接上可以连续发送多个数据包，并且，在连接保持期间，如果没有数据包发送，需要双方发链路检测包。
41.具体地，管理端向推送终端发起连接，推送终端接受管理端连接，双方建立tcp长连接链路。当管理端有报警请求消息需要发送至推送终端时，通过该tcp长连接链路发送，即完成一次读写，此时，管理端与推送终端的连接不会主动关闭，后续的读写操作会继续使用这个连接。当管理端与推送终端之间没有响应，则推送终端与管理端之间终止连接。
42.步骤s11的作用在于可以省去较多的tcp建立和关闭的操作，减少资源浪费，节约连接时间，提高了报警请求发送与传输的效率。
43.s12、推送终端对接收到的管理端发送的报警请求进行解码，获得报警解析类型。
44.s13、基于缓存数据库和报警解析类型，确定报警解析类型的报警等级。
45.具体地，管理端负责将报警类型的数据对象编码为byte数组，然后添加到集合中。推送终端创建msgpack解码器，首先从数据报msg中获取需要解码的byte数组，然后调用messagepack的read方法将其反序列化为报警类型对象，将解码后的对象加入到list集合中，进而获得报警解析类型对应的数据。然后，根据推送终端内的缓存数据库和报警解析类型对应的数据确定报警解析类型的报警类型。
46.步骤s12和步骤s13的作用在于降低了数据传输码流，提高了报警数据处理的效率。
47.在一实施例中，步骤s13，即确定报警解析类型的报警等级，包括：s130、若确定报警解析类型的报警等级为一级等级，则确定处理模式为弹窗处理模式。
48.s131、利用弹窗处理模式检验报警解析类型，得到校验结果。
49.s132、若校验结果为通过，则推送终端向管理端推送报警提醒。
50.具体地，根据推送系统中设定的弹窗处理模式，对报警解析类型与报警类型进行比较，作出是否一致的判定，若一致，则推送终端向管理端推送弹窗报警提醒，使管理人员可以看到弹窗报警提醒的页面，进而对报警进行处理。
51.步骤s131和步骤s132的作用在于提高了报警数据处理的准确性。
52.在一实施例中，步骤s13，即确定报警解析类型的报警等级，包括：s133、若确定报警解析类型的报警等级为二级等级，则确定处理模式为人工处理模式。
53.s134、利用人工处理模式检验报警解析类型，得到校验结果。
54.s135、若校验结果为通过，则推送终端向管理端推送报警提醒并将报警解析类型存储至缓存数据库。
55.s136、基于缓存数据库，定时向管理端推送携带报警解析类型信息的页面，以使管理端点击处理携带报警解析类型信息的页面。
56.具体地，如果确定报警解析类型的报警等级是二级等级，则先存入至缓存数据库，然后系统定时拉取数据推送给管理人员，然后管理人员自主处理。
57.在一实施例中，在步骤s10之后，即在接收报警数据之后，包括：s14、采用近似算法对报警数据进行去重，以使每一报警数据对应一条提醒信息。
58.具体地，采用近似算法通过hash函数（哈希函数）求出报警数据中每个元素的哈希值，其中，如果使用long来存储哈希值，则该哈希值需将2
64
个不同值映射到零至2
64-1上，然后，对每个哈希值取最后p位来决定桶序号，通过在剩下的（64-p）位中找到第一个1出现的位置，如果该位置大于桶中现有值，则更新。当报警数据中的所有元素处理完毕后，求所有桶中的值的调和平均数，再乘以m来估算不重复哈希值的个数，即不重复元素个数，进而使得每一报警数据对应一条提醒信息，减少重复报警。
59.其中，调和平均数是将所有数值取倒数并求其算术平均数后，再将该算术平均数取倒数得到的。本实施例中提到的近似算法为hyperloglog算法，简称hll算法。该hll算法完整遍历所有元素一次，能够使用极少的存储空间来给出一个数据流中不重复元素的个数。近似算法后面的数字代表着不同的精度，数字越大，精度越高，占用的空间越大，因此，近似算法的空间占用和精度呈正相关。
60.步骤s14的作用在于近似算法的空间占用随着基数值的增长并没有变化，具有优异的空间复杂度，且减少重复报警，提高了报警数据处理的效率。
61.在一实施例中，步骤s20，即确定与报警类型匹配的处理模式，包括：s21、获取处理时间段；处理时间段包括高峰时间段、平常时间段和低峰时间段。
62.s22、基于高峰时间段、平常时间段、低峰时间段和报警类型，确定处理模式。
63.其中，每日的高峰时间段为早上7点至晚上7点，每日的平常时间段为晚上7点至次日1点，每日的低谷时间段为凌晨1点到次日7点。若处理时间段为高峰时间段且报警类型为
一级等级，则采用自动处理模式。若理时间段为高峰时间段且报警类型为二级等级，则采用人工处理模式。本实施例中仅列举出两种情况，其他情况不再赘述。
64.在一实施例中，报警等级包括一级等级、二级等级和三级等级；处理模式包括弹窗处理模式、人工处理模式和自动处理模式。
65.在步骤s20之后，即在确定与报警类型匹配的处理模式之后，包括：s23、将弹窗处理模式与一级等级绑定，人工处理模式与二级等级绑定，自动处理模式与三级等级绑定，获得绑定规则数据。
66.s24、将绑定规则数据存储至推送终端，定时刷新绑定规则数据。
67.步骤s23和步骤s24的作用在于减少了提取报警数据的程序，提高了报警数据处理的效率。
68.本技术另一实施例，公开了一种报警数据的分类处理系统。
69.参照图3，报警数据的分类处理系统包括：接收数据并进行分类模块10，用于接收报警数据，将报警数据进行分类得到对应的报警类型，报警类型包括多个报警等级中的目标报警等级。
70.确定处理模式模块20，用于基于处理模式数据库和目标报警等级，确定与报警类型匹配的处理模式。
71.设置报警处理方式模块30，用于根据处理模式，对报警类型配置相应的报警处理方式，用于向管理端发送提醒信息。
72.分析数据并更新处理模式模块40，用于基于报警类型，采用幂律分布统计方法对报警类型的数据进行分析，从而更新报警类型对应的处理模式。
73.本实施例提供的报警数据的分类处理系统，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述报警数据的分类处理的方法步骤的相关描述，在此不再累述。
74.关于报警数据的分类处理系统的具体限定可以参见上文中对于报警数据的分类处理方法的限定，在此不再赘述。上述报警数据的分类处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
75.在一实施例中，提供一种计算机设备，该计算机设备可以是监控终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性介质、内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储报警数据的分类处理方法中需保存的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种报警数据的分类处理方法。
76.在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例报警数据的分类处理方法，例如图1所示s10至步骤s40。或者，处理器执行计算机程序时实现上述实施例中
报警数据的分类处理系统的各模块/单元的功能，例如图3所示模块10至模块40的功能。为避免重复，此处不再赘述。
77.在一实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述实施例报警数据的分类处理方法，或者，该计算机程序被处理器执行时实现上述系统实施例中报警数据的分类处理系统中各模块/单元的功能。为避免重复，此处不再赘述。
78.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
79.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
80.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。