数据处理系统中的警报管理的制作方法

背景技术：

1、本发明总体上涉及数据处理系统中的警报管理，尤其涉及用于动态更新警报管理系统的方法和系统，所述警报管理系统将警报与用于处理警报的自动化过程相匹配。

2、当某些可检测的条件或其他事件发生时，在数据处理系统中生成警报，这对系统操作的整体管理很重要。在诸如计算机网络、数据中心、云计算系统和其他复杂it基础设施的处理系统中，可能会生成大量这样的警报。这些警报包括对已发生事件的描述，必须进行适当的处理和处置，以缓解警报状况并维持可靠的系统运行。警报管理系统接收并处理警报，决定哪些可以由自动化流程(“自动机(automata)”)处理，哪些应该上报给系统工程师进行响应。自动机的使用允许警报管理系统每天管理数百万个警报。可以使用预定义的规则将警报与自动机相匹配，以基于警报描述来决定哪个(如果有的话)自动化工具适合于响应警报。

3、自动机通常在潜在敏感系统上以提升的权限运行。部署这些工具的规则集必须仔细构建，并且需要不断的人工检查和维护。随着处理系统的发展和基础设施的改变，警报也会随之改变。适应这种改变，同时确保自动机的有效和适当的使用提出了重大的挑战。

技术实现思路

1、本发明的一个方面提供了一种用于动态更新警报管理系统的计算机实现方法，该警报管理系统使用主规则集将数据处理系统中的警报与用于处理警报的自动化过程(“自动机”)相匹配。该方法包括使用训练数据集训练机器学习模型以将警报与自动机关联，该训练数据集包括由自动机成功处理的匹配警报。然后应用机器学习模型将未匹配警报与自动机关联，其中未匹配警报没有通过主规则集与自动机匹配。该方法还包括分析与未匹配警报的关联相关的机器学习模型的操作，以定义用于将未匹配警报与自动机匹配的新规则集。该方法还包括输出新规则集，用于审计新规则集中的每个规则。响应于审计的规则的批准，审计的规则被添加到主规则集中。

2、体现本发明的方法使警报管理系统能够在系统运行期间动态发展和改进。可以利用机器学习(ml)的能力来改善系统操作，同时克服ml模型的不可预测性与控制自动机部署的规则的透明度和审计需求之间的内在冲突。ml模型，在由匹配的自动机成功处理的警报上训练，不简单地用于将自动机分配给与主规则集不匹配警报。相反，这些警报会应用到模型中，并对这些特定警报的关联操作进行分析，以提取新规则集。然后，在将规则添加到主规则集之前，可以审计为不匹配警报派生的新规则集。这为警报管理系统的系统改进提供了优雅而强大的技术。随着处理系统的发展，系统可以不断适应以改进警报处理，扩展其自动响应能力并适应新警报。

3、体现本发明的方法可使用各种ml模型，甚至“黑盒”型模型，诸如神经网络，其不容易检查。在这些实施例中，分析模型操作的步骤可以使用独立于模型的解释技术来识别每个不匹配警报的一个或多个元素，这些元素对于获得该警报的关联结果是重要的。例如，ml模型通常为关联结果提供某种类型的置信值，该置信值估计关联准确度。例如，模型可以提供一组概率，指示每个可能的关联结果或分类对于输入样本是正确的可能性。利用这些模型，分析模型操作的步骤可以包括，当应用模型来关联每个不匹配警报时，为初始关联结果计算初始置信度值，估计关联准确度。对于警报的不同元素(例如，特定字段或字符串)，该元素然后被移除，并且该模型被重新应用于结果警报以计算初始关联结果的新置信度值。基于不同元素的初始置信度值和新置信度值之间的差异，警报的至少一个元素可以被识别为初始关联结果的重要元素。然后，新规则集的生成可以基于不匹配警报的重要元素。这提供了一种简单的规则提取技术，在选择ml模型时具有灵活性，甚至允许在需要时使用黑盒模型。

4、在优选实施例中，ml模型包括树集成模型。在这些实施例中，分析模型的操作的步骤可以包括基于通过树集成中的树的路径的特征，生成新树，定义新规则集，不匹配警报经由该路径与自动机关联。对不匹配警报的推理过程的分析可以利用树集成模型的结构来有效地生成新规则集。这些实施例可以利用模型的可检查性来获得比黑盒模型可实现的更复杂的规则集。规则集可以以各种方式生成，并且基于下面进一步详述的置信度和/或覆盖方面被有利地定制。

5、本发明的另一方面提供了一种计算机程序产品，包括包含程序指令的计算机可读存储介质，所述程序指令可由处理装置执行，以使处理装置实施如上所述的用于动态更新警报管理系统的方法。

6、本发明的另一方面提供了一种警报管理系统，其包括用于从数据处理系统接收警报的通信接口、存储用于处理警报的自动机和用于将警报与自动机匹配的主规则集的存储器，以及配置为实施上述方法的控制逻辑。

7、下文将参照附图，通过说明性和非限制性示例，对本发明的实施例进行更详细的描述。

技术特征：

1.一种用于动态更新警报管理系统的计算机实现的方法，所述警报管理系统使用主规则集来将数据处理系统中的警报与用于处理所述警报的自动过程(“自动机”)相匹配，所述方法包括：

2.根据权利要求1所述的计算机实现的方法，其中：

3.根据权利要求2所述的计算机实现的方法，还包括：

4.根据权利要求2所述的计算机实现的方法，还包括：

5.根据权利要求2所述的计算机实现的方法，还包括：

6.根据权利要求2所述的计算机实现的方法，其中，分析所述机器学习模型的操作的步骤还包括：

7.根据权利要求6所述的计算机实现的方法，还包括：

8.根据权利要求6所述的计算机实现的方法，还包括：

9.根据权利要求6所述的计算机实现的方法，还包括：

10.根据权利要求1所述的计算机实现的方法，其中，分析所述机器学习模型的操作的步骤还包括：

11.根据权利要求1所述的计算机实现的方法，其中，分析所述机器学习模型的操作的步骤还包括：

12.根据权利要求1所述的计算机实现的方法，其中，所述机器学习模型包括增强随机森林模型。

13.一种用于动态更新警报管理系统的计算机程序产品，所述警报管理系统使用主规则集来将数据处理系统中的警报与用于处理所述警报的自动过程(“自动机”)相匹配，所述计算机程序产品包括：

14.根据权利要求13所述的计算机程序产品，其中：

15.根据权利要求14所述的计算机程序产品，还包括：

16.根据权利要求14所述的计算机程序产品，还包括：

17.根据权利要求16所述的计算机程序产品，还包括：

18.根据权利要求13所述的计算机程序产品，其中，用于分析所述机器学习模型的操作的程序指令还包括：

19.根据权利要求13所述的计算机程序产品，其中，用于分析所述机器学习模型的操作的程序指令还包括：

20.一种警报管理系统，包括：通信接口，用于从数据处理系统接收警报；存储器，存储用于处理所述警报的自动过程(“自动机”)和用于将所述警报与所述自动机匹配的主规则集；以及控制逻辑，被配置为：

技术总结
提供了用于动态更新警报管理系统的几个方面，该警报管理系统使用主规则集来将数据处理系统中的警报与用于处理警报的自动机相匹配。一种方法包括使用包括由自动机成功处理的警报的训练数据集来训练机器学习模型以将警报与自动机相关联。然后应用机器学习模型将未匹配警报与自动机相关联，其中未匹配警报没有通过主规则集与自动机匹配。该方法还包括分析与未匹配警报的关联相关的机器学习模型的操作，以定义用于将未匹配警报与自动机匹配的新规则集，并输出新规则集用于审计新规则集中的每个规则。响应于审计的规则的批准，审计的规则被添加到主规则集中。

技术研发人员：M·尼德,H·沃尔泽,I·朱尔朱,黄珍镐,L·什瓦茨
受保护的技术使用者：国际商业机器公司
技术研发日：
技术公布日：2024/1/12