1.一种告警事件的数据处理方法,包括:
获取告警事件所对应的命令字符串,以及所述告警事件所命中的告警规则的名称;
对所述命令字符串进行预设的归一化处理,得到对应的特征字符段,其中,所述特征字符段用于表征告警事件的字符串维度特征;
根据所述告警事件的特征字符段,和所命中的告警规则的名称,确定所述告警事件的匹配类型,并将所述告警事件归并到与匹配类型对应的类型组中;
批量处理属于同一类型组的告警事件。
2.根据权利要求1所述的方法,所述特征字符段包括shadow字符段。
3.根据权利要求2所述的方法,对所述命令字符串进行预设的归一化处理,得到对应的特征字符段,包括:
根据所述命令字符串中的标点符号和空格符号,将所述命令字符串划分为多个字符串片段;
提取命令字符串的头部字符,以及所述多个字符串片段中各个字符串片段中的前第一预设个数个字符,以构建所述shadow字符段。
4.根据权利要求2所述的方法,根据所述告警事件的特征字符段,和所命中的告警规则的名称,确定所述告警事件的匹配类型,包括:
查询第一预设列表,确定所述第一预设列表所记录的第一类组合中是否存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合;其中,所述第一类组合包括预设的shadow字符段和预设的告警规则的名称的组合,所述第一类组合分别对应一种类型;所述第一匹配组合包括预设的shadow字符段与告警事件的特征字符段的差异值小于等于预设的差异阈值,且预设的告警规则的名称与告警事件所命中的告警规则的名称相同的第一类组合;
在确定所述第一预设列表所记录的第一类组合中存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,将所述第一匹配组合所对应的类型,确定为所述告警事件的匹配类型。
5.根据权利要求4所述的方法,所述第一预设列表包括存储在hbase中的列表数据。
6.根据权利要求4所述的方法,所述第一类组合通过基于第一类组合中所包括的预设的shadow字符段和预设的告警规则的名称所确定的md5值记录在所述第一预设列表中。
7.根据权利要求4所述的方法,在确定所述第一预设列表所记录的第一类组合中不存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,所述方法还包括:
根据所述告警事件的特征字符段,和所命中的告警规则的名称,生成第一更新组合;
将所述第一更新组合,写入所述第一预设列表;并将所述告警事件归并到与第一更新组合所对应的类型组中。
8.根据权利要求4所述的方法,在确定所述第一预设列表所记录的第一类组合中不存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,所述方法还包括:
获取告警事件所对应的命令字符串中前第二预设个数个字符,作为告警事件的索引字符段;
查询第二预设列表,确定所述第二预设列表所记录的第二类组合中是否存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合;其中,所述第二类组合包括预设的索引字符段和预设的告警规则的名称的组合,所述第二类组合对应一种或多种类型;所述第二匹配组合包括预设的索引字符段与告警事件的索引字符的最短编辑距离小于等于第一预设的距离阈值,且预设的告警规则的名称与告警事件所命中的告警规则的名称相同的第二类组合;
在确定所述第二预设列表所记录的第二类组合中存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合的情况下,根据所述第二匹配组合,确定告警事件的匹配类型。
9.根据权利要求8所述的方法,根据所述第二匹配组合,确定告警事件的匹配类型,包括:
以所述第二匹配组合作为索引,查询第三预设列表中与所述第二匹配组合对应的列簇,确定与所述第二匹配组合对应的列簇中是否存在与所述告警事件的命令字符串匹配的匹配字符串;其中,所述第三预设列表记录有分别与各个第二匹配组合对应的列簇,所述列簇中包含一个或多个预设字符串,所述预设字符串对应一种类型;所述匹配字符串包括与第二匹配组合对应的列簇所包含的预设字符串中与告警事件的命令字符串的最小编辑距离小于等于第二预设的距离阈值的预设的字符串;
在确定与所述第二匹配组合对应的列簇中存在与所述告警事件的命令字符串匹配的匹配字符串的情况下,将所述匹配字符串所对应的类型,确定为告警事件的匹配类型。
10.根据权利要求9所述的方法,在确定与所述第二匹配组合对应的列簇中不存在与所述告警事件的命令字符串匹配的匹配字符串情况下,所述方法还包括:
在所述第三预设列表中与第二匹配组合对应的列簇中,写入告警事件的命令字符串作为第一更新字符串;并将所述告警事件归并到与所述第一更新字符串所对应的类型组中。
11.根据权利要求10所述的方法,在确定所述第二预设列表所记录的第二类组合中不存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合的情况下,所述方法还包括:
根据所述索引字符段,和所命中的告警规则的名称,生成第二更新组合;
将所述第二更新组合,写入所述第二预设列表;
以所述第二更新组合作为索引,在第三预设列表中,建立与第二更新组合对应的列簇;
在所述第三预设列表中与所述第二更新组合对应的列簇中,写入告警事件的命令字符串作为第二更新字符串;并将所述告警事件归并到与所述第二更新字符串对应的类型组中。
12.一种告警事件的分类方法,包括:
获取告警事件所对应的命令字符串,以及所述告警事件所命中的告警规则的名称;
对所述命令字符串进行预设的归一化处理,得到对应的特征字符段,其中,所述特征字符段用于表征告警事件的字符串维度特征;
根据所述告警事件的特征字符段,和所命中的告警规则的名称,确定所述告警事件的类型。
13.根据权利要求12所述的方法,在对所述命令字符串进行预设的归一化处理,得到对应的特征字符段后,所述方法还包括:
获取告警事件的外部特征,其中,所述外部特征包括以下至少之一:告警事件的关系特征、告警事件的设备特征、告警事件的来源特征;
相应的,根据所述告警事件的特征字符段、告警事件的外部特征,和所命中的告警规则的名称,确定所述告警事件的类型。
14.根据权利要求12所述的方法,在根据所述告警事件的特征字符段,和所命中的告警规则的名称,确定所述告警事件的类型后,所述方法还包括:
根据告警事件的类型,分类处理告警事件。
15.一种告警事件的数据处理装置,包括:
获取模块,用于获取告警事件所对应的命令字符串,以及所述告警事件所命中的告警规则的名称;
归一化处理模块,用于对所述命令字符串进行预设的归一化处理,得到对应的特征字符段,其中,所述特征字符段用于表征告警事件的字符串维度特征;
确定模块,用于根据所述告警事件的特征字符段,和所命中的告警规则的名称,确定所述告警事件的匹配类型,并将所述告警事件归并到与匹配类型对应的类型组中;
批量处理模块,用于批量处理属于同一类型组的告警事件。
16.根据权利要求15所述的装置,所述特征字符段包括shadow字符段。
17.根据权利要求16所述的装置,所述归一化处理模块包括:
划分单元,用于根据所述命令字符串中的标点符号和空格符号,将所述命令字符串划分为多个字符串片段;
提取单元,用于提取命令字符串的头部字符,以及所述多个字符串片段中各个字符串片段中的前第一预设个数个字符,以构建所述shadow字符段。
18.根据权利要求16所述的装置,所述确定模块包括:
第一查询单元,用于查询第一预设列表,确定所述第一预设列表所记录的第一类组合中是否存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合;其中,所述第一类组合包括预设的shadow字符段和预设的告警规则的名称的组合,所述第一类组合分别对应一种类型;所述第一匹配组合包括预设的shadow字符段与告警事件的特征字符段的差异值小于等于预设的差异阈值,且预设的告警规则的名称与告警事件所命中的告警规则的名称相同的第一类组合;
第一确定单元,用于在确定所述第一预设列表所记录的第一类组合中存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,将所述第一匹配组合所对应的类型,确定为所述告警事件的匹配类型。
19.根据权利要求18所述的装置,所述第一预设列表包括存储在hbase中的列表数据。
20.根据权利要求18所述的装置,所述第一类组合通过基于第一类组合中所包括的预设的shadow字符段和预设的告警规则的名称所确定的md5值,记录在所述第一预设列表中。
21.根据权利要求18所述的装置,所述确定模块还用于在确定所述第一预设列表所记录的第一类组合中不存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,根据所述告警事件的特征字符段,和所命中的告警规则的名称,生成第一更新组合;将所述第一更新组合,写入所述第一预设列表;并将所述告警事件归并到与第一更新组合所对应的类型组中。
22.根据权利要求18所述的装置,所述确定模块还用于在确定所述第一预设列表所记录的第一类组合中不存在与所述告警事件的特征字符段,和所命中的告警规则的名称匹配的第一匹配组合的情况下,获取告警事件所对应的命令字符串中前第二预设个数个字符,作为告警事件的索引字符段;查询第二预设列表,确定所述第二预设列表所记录的第二类组合中是否存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合;其中,所述第二类组合包括预设的索引字符段和预设的告警规则的名称的组合,所述第二类组合对应一种或多种类型;所述第二匹配组合包括预设的索引字符段与告警事件的索引字符的最短编辑距离小于等于第一预设的距离阈值,且预设的告警规则的名称与告警事件所命中的告警规则的名称相同的第二类组合;在确定所述第二预设列表所记录的第二类组合中存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合的情况下,根据所述第二匹配组合,确定告警事件的匹配类型。
23.根据权利要求22所述的装置,所述确定模块具体用于以所述第二匹配组合作为索引,查询第三预设列表中与所述第二匹配组合对应的列簇,确定与所述第二匹配组合对应的列簇中是否存在与所述告警事件的命令字符串匹配的匹配字符串;其中,所述第三预设列表记录有分别与各个第二匹配组合对应的列簇,所述列簇中包含一个或多个预设字符串,所述预设字符串对应一种类型;所述匹配字符串包括与第二匹配组合对应的列簇所包含的预设字符串中与告警事件的命令字符串的最小编辑距离小于等于第二预设的距离阈值的预设的字符串;在确定与所述第二匹配组合对应的列簇中存在与所述告警事件的命令字符串匹配的匹配字符串的情况下,将所述匹配字符串所对应的类型,确定为告警事件的匹配类型。
24.根据权利要求23所述的装置,在确定与所述第二匹配组合对应的列簇中不存在与所述告警事件的命令字符串匹配的匹配字符串的情况下,所述确定模块具体还用于在所述第三预设列表中与第二匹配组合对应的列簇中,写入告警事件的命令字符串作为第一更新字符串;并将所述告警事件归并到与所述第一更新字符串所对应的类型组中。
25.根据权利要求24所述的装置,在确定所述第二预设列表所记录的第二类组合中不存在与所述告警事件的索引字符段,和所命中的告警规则的名称匹配的第二匹配组合的情况下,所述确定模块具体还用于根据所述索引字符段,和所命中的告警规则的名称,生成第二更新组合;将所述第二更新组合,写入所述第二预设列表;以所述第二更新组合作为索引,在第三预设列表中,建立与第二更新组合对应的列簇;
在所述第三预设列表中与所述第二更新组合对应的列簇中,写入告警事件的命令字符串作为第二更新字符串;并将所述告警事件归并到与所述第二更新字符串对应的类型组中。
26.一种服务器,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1至11中任一项所述方法的步骤。
27.一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现权利要求1至11中任一项所述方法的步骤。