用于云监控的异常检测的制作方法
【专利说明】用于云监控的异常检测
【背景技术】
[0001] 除非在此处进行说明，否则该部分所描述的材料不是本申请权利要求的现有技术 并且不因包含在该部分中而承认是现有技术。
[0002] 由于操作员差错、硬件/软件故障、资源过/欠供应及类似原因引起的异常系统行 为的在线检测是大规模数据中心和设施云中一项非常重要的操作要素。当前在工业中使用 的常规检测方法通常基于设定阈值。阈值可来自于预先限定的性能知识或约束（例如，月艮 务等级目标（SLO))或者来自于基于长期历史数据分析的预测。每当任一计量观测违反阈 值限制，就触发异常报警。虽然该方法实现简单且易于进行可视呈现，对于设施云（utility cloud)需求可能不具有足够的稳健性和可缩放性。
[0003] 因此，随着基于云的软件、硬件和工作负荷模式的规模和复杂度增长，用于云监控 的异常检测方法应当在运行时自动操作，而无需关于正常行为或异常行为的先验知识。这 些异常检测方法还应当充分通用，从而应用于多种抽象级和子系统以及用于大规模系统中 使用的不同计量。另外，状态数据的采集不能总是成功和及时。因此，异常检测应当足够稳 健（rubust)以达到高的检测率，同时在例如噪声干扰或不完全数据采集的各种情形下保 持低的误报率。
[0004] 发明概述
[0005] 本公开总地描述了用于为云监控提供可缩放的、稳健的异常检测的技术。
[0006] 根据一些示例性实施例，用于在云监控中检测异常的方法可以包括：从与基于云 的实体的操作相关联的多个计量来采集训练样本；由训练样本形成词典；利用词典来确定 测试样本的线性变换系数；确定测试样本的线性变换系数的稀疏度量；以及如果稀疏度量 在预定阈值以下，则将测试样本分类为异常。
[0007] 根据其他的示例性实施例，配置为在云监控中检测异常的基于云的数据中心可以 包括多个虚拟机和数据中心控制器，多个虚拟机可操作以在一个或多个物理机上执行。数 据中心控制器可配置为：从与数据中心的操作相关联的多个计量采集训练样本；由训练样 本形成词典；利用词典来确定测试样本的线性变换系数；确定测试样本的线性变换系数的 稀疏度量；以及如果稀疏度量在预定阈值以下，则将测试样本分类为异常。
[0008] 根据另外的示例性实施例，计算机可读存储介质中可存储有用于在云监控中检测 异常的指令。所述指令可以包括：从与基于云的实体的操作相关联的多个计量来采集训练 样本；由所述训练样本形成词典；利用词典来确定测试样本的线性变换系数；确定测试样 本的线性变换系数的稀疏度量；以及如果稀疏度量在预定阈值以下，则将所述测试样本分 类为异常。
[0009] 前面的概述仅仅是示例性的，而不意在以任何方式进行限制。通过参考附图以及 下面的详细说明，除了上文所描述的示例性的方案、实施例和特征之外，另外的方案、实施 例和特征将变得清晰可见。
【附图说明】
[0010] 通过下面结合附图给出的详细说明和随附的权利要求，本公开的前述特征以及其 它特征将变得更加清晰。应理解的是，这些附图仅描绘了依照本公开的多个实施例，因此， 不应视为对本发明范围的限制，将通过利用附图结合附加的具体描述和细节对本公开进行 说明，在附图中：
[0011]图1示出了示例性的系统，其中可以实现用于云监控的可缩放的和稳健的异常检 测；
[0012] 图2是示出基于直方图的异常检测中的示例性动作的流程图；
[0013] 图3示出了在云监控中检测异常的系统的示例性框图；
[0014] 图4示出了在云监控中检测异常的系统的示例性的直方图生成的操作；
[0015] 图5示出了可用于来实现云监控中的可缩放异常检测的通用计算设备；
[0016] 图6是示出可通过诸如图5的设备的计算设备执行的示例性方法的流程图；以及
[0017] 图7示出了示例性的计算机程序产品的框图；
[0018] 上述均是根据本文所描述的至少一些实施例来布置。
[0019] 发明详述
[0020] 在下面的详细说明中，将参考附图，附图构成了详细说明的一部分。在附图中，除 非上下文指出，否则相似的符号通常表示相似的部件。在详细说明、附图和权利要求中所描 述的示例性实施例不意在限制。可以使用其它实施例，并且可以做出其它改变，而不偏离本 文呈现的主题的精神或范围。将易于理解的是，如本文大致描述且如图中所图示的，本公开 的方案能够以各种不同配置来布置、替代、组合、分离和设计，所有这些都在本文中明确地 构思出。
[0021] 本公开大体尤其涉及与云监控中的稳健的、可缩放的异常检测有关的方法、装置、 系统、设备和/或计算机程序产品。
[0022] 简言之，提供了利用基于直方图分析中的稀疏度在云环境中进行异常检测的技 术。在一些示例中，可采集云计量数据并将其处理成词典库。然后，利用I 1范数最小化，根 据词典库来计算测试样本的线性变换系数。然后，根据线性变换系数来计算稀疏度量。如 果稀疏度量不超过预定阈值，则将测试样本判定为异常。
[0023] 图1示出了依照本文所描述的至少一些实施例布置的示例系统，其中可以实现用 于云监控的可缩放的、稳健的异常检测。
[0024] 如图100所示，物理数据中心102可以包括一个或多个物理服务器IKKlll和 113,每个物理服务器都配置为提供一个或多个虚拟机104。例如，物理服务器111和113 可配置为分别提供四个虚拟机和两个虚拟机。为简化起见，在图1中显示了三个物理服务 器，本领域技术人员将理解的是，物理数据中心102可以包括不同数量的物理服务器。在一 些实施例中，一个或多个虚拟机可以组合成一个或多个虚拟数据中心。例如，服务器111提 供的四个虚拟机可以组合成虚拟数据中心112。虚拟机104和/或虚拟数据中心112可配 置为经由云106来向诸如个人用户或企业客户等一组客户108提供云相关的数据/计算服 务，诸如各种应用、数据存储、数据处理或类似服务。
[0025] 如上所述，对于云环境，例如如上图1所述的物理数据中心102和/或云106,基于 阈值的异常检测方法不具有足够的稳健性和可缩放性。为了解决这些问题，可以采用利用 计量分布的统计方法来通过在负责监控操作的一个或多个服务器如服务器115上执行的 管理应用来检测例如数据中心102的数据中心的操作中的异常。为简化起见，在图1中示出 了服务器115,本领域技术人员将理解的是，物理数据中心102可以包括不同数量的监控服 务器，或者在一些情况下，可以在诸如管理服务器的其他服务器之中分配监控任务。例如， 熵的度量可用来比较异常行为和正常行为的特征分布之间的差别。基于熵的参数可使概率 分布能压缩成单个值，然后可以使用该值来比较概率分布的某些定性差别，从而检测异常。 例如，一些攻击引起概率分布的集中或分散。基于熵的参数可以反映出概率分布的集中或 分散的这些变化，因此可适合于识别这些偏移。然而，由于两个完全不同的分布可能具有相 同的熵值，所以在一些情形下基于熵的参数不能识别出两个分布之间的显著差别。基于直 方图的方法可以提供克服该缺陷的方式。
[0026] 图2是示出依照本文所描述的至少一些实施例布置的基于直方图的异常检测中 的示例性的动作的流程图。
[0027] 如图200所示，基于直方图的异常检测过程可开始于操作220,其中选择为进行异 常检测而要分析的一个或多个特征。在一些实施例中，特征可以包括CPU负荷/使用率、存 储器使用率、网络通信量、或任何其他适合的参数。在一些实施例中，特征可以包括与物理 或虚拟数据中心（例如，图1中的物理数据中心102或虚拟数据中心112)、物理服务器（例 如，图1中的服务器11〇、111和113)、和/或虚拟机（例如，图1中的虚拟机104)相关联的 一个或多个特征。
[0028] 随后，在操作222中，构建在操作220中选择的特征的一个或多个直方图。在一些 实施例中，可以基于数据的均值、数据的范围或数据的任何其他适合的统计度量，在直方图 中对与每个所选特征相关联的数据进行分析和分箱（bin)。
[0029] 在操作226中，在操作222中构建的对应于正常情况（S卩，非异常情况）的直方图 可以用来建模或者训练正常情况的模式。在一些实施例中，可以利用主成分分析、k均值聚 类或任何适合的方法，根据训练直方图对该模式进行建模。
[0030] 在操作224中，然后，评估测试直方图（即，待用于异常测试的直方图）与在操作 226中建模的正常模式的相似度以提供测试结果228。例如，可以计算测试直方图距正常 模式的欧几里德距离。如果计算出的欧几里德距离落在特定阈值以下，则可视为测试直方 图类似于正常模式，因此不是异常的。另一方面，如果计算出的欧几里德距离落在该阈值以 上，则测试直方图不类似于正常模式，因此代表了异常情况。可以通过