用于数据警报抑制的系统和方法与流程

本公开总体上涉及对数据警报的抑制，并且更具体地，涉及用于基于数据依赖性来抑制数据警报的改进的方法和系统。

背景技术：

1、许多组织已经开始转向云存储以使其数据存储基础设施和工作负载的现代化。随着越来越多的组织使用云存储，数据即服务(daas)正在成为越来越流行的用于数据集成、管理、存储和分析的解决方案。然而，daas或类似环境中的数据构建和管理可能会变得非常复杂，因为它可能涉及大量数据。例如，daas环境中的数据构建可能涉及传入原始数据流的各种复杂转换和验证，以便创建外部可使用的数据集。每个外部数据集可以经历几个步骤并利用不同的数据流来产生。因此，数据集可以依赖于多个其他数据集。随着数据集的数量以及它们之间的依赖性的增加，对这些数据集的管理变得更加复杂。

2、管理大数据存储环境的复杂性之一是处理故障。为了确保故障得以解决，当发生与数据集相关的故障或错误时，通常会生成警报以将该问题通知管理员。当数据集彼此依赖时，一个数据集的故障可能会影响其依赖的数据集。在大型且复杂的数据环境中，这可能导致针对同一故障发出大量警报。不同的数据集可以由不同的工程团队管理。因此，与同一故障相关的警报可能被发送给许多不同的工程师或管理员，然后这些工程师或管理员需要花时间检查和分析故障并识别针对其的解决方案。这是低效、耗时且繁冗的。然而，识别冗余警报是具有挑战性的，因为给定数据集的完整依赖性可能非常复杂，所得其通常非常耗时，并且超出了人类确定一个数据集是否依赖于另一个数据集的能力。因此，大多数数据环境针对依赖的数据集发出冗余警报，这造成管理员时间和计算资源的浪费。

3、因此，需要用于基于数据依赖性抑制数据警报的改进的系统和方法。

技术实现思路

1、在一个一般方面，本公开描述了一种数据处理系统，其具有：处理器；以及存储器，该存储器与所述处理器通信，其中该存储器包括可执行指令，当由所述处理器执行这些可执行指令时，使所述数据处理系统执行多个功能。该功能可以包括：由警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从所述一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定所述第一错误是冗余的，抑制针对所述第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中。确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时、所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个。

2、在又一一般方面，本公开描述了一种用于提供对警报的自动抑制的方法，其中该方法包括以下步骤：由警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从所述一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定所述第一错误是冗余的，抑制针对所述第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中。确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时、所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个。

3、在进一步的一般方面，本公开描述了一种非暂时性计算机可读介质，其上存储有指令，这些指令在被执行时使得可编程设备通过警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定第一错误是冗余的，抑制针对第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中。确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时、所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个。

4、提供本
技术实现要素：
是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。本发明内容并不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实施方式。

技术特征：

1.一种数据处理系统，包括：

2.根据权利要求1所述的数据处理系统，其中：

3.根据权利要求2所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：

4.根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：创建用于在日志中存储关于所述第一错误的信息的记录。

5.根据权利要求4所述的数据处理系统，其中，所述信息包括以下中的至少一项：所述第一错误的检测定时、所述第一错误的类型、或所述第一数据集的标识符。

6.根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：创建与所述第一数据集相关联的一个或多个错误的报告，其中对所述第一数据集的警报的传送在给定时间段内被抑制。

7.根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：创建一个或多个错误的报告，其中对所述一个或多个错误的警报的传送由于关于所述第二错误的冗余而被抑制。

8.一种用于提供对警报的自动抑制的方法，包括：

9.根据权利要求8所述的方法，其中：

10.根据权利要求9所述的方法，还包括：

11.根据权利要求8所述的方法，还包括：创建用于在日志中存储关于所述第一错误的信息的记录。

12.根据权利要求11所述的方法，其中，所述信息包括以下中的至少一项：所述第一错误的检测定时、所述第一错误的类型、或所述第一数据集的标识符。

13.根据权利要求8所述的方法，还包括：创建与所述第一数据集相关联的一个或多个错误的报告，其中对所述第一数据集的警报的传送在给定时间段内被抑制。

14.根据权利要求8所述的方法，还包括：创建一个或多个错误的报告，其中对所述一个或多个错误的警报的传送由于关于所述第二错误的冗余而被抑制。

15.一种计算机程序，当被执行时，所述计算机程序使得可编程设备执行根据权利要求12-14中的任一项所述的方法。

技术总结
一种用于提供对警报的自动抑制的方法，包括：接收与第一数据集相关联的第一错误，该第一数据集位于计算机数据环境中的多个数据集之中；访问描述第一数据集与其他数据集之间的依赖性的集合的依赖性数据；检查依赖性数据以从其他数据集中自动识别第二数据集，第二数据集是第一数据集所依赖的数据集，访问计算机数据环境的警报数据以确定第二数据集的活动警报是否提供第一错误对于与第二数据集相关联的第二错误是冗余的指示，以及在确定第一错误是冗余时，抑制警报的传送并将关于抑制传送的数据存储在数据结构中。在确定第一错误对于第二错误是否冗余时，考虑第一数据集和第二数据集的数据生成定时以及对第一错误的检测定时。

技术研发人员：J·B·阿夫纳,王辰,谈丰,C·巴雷特,A·巴拉苏布拉马尼安,M·B·迪詹卢卡,S·瓦卢里
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/15