适应性度量收集、存储、和警告阈值的制作方法
【技术领域】
[0001]本公开一般涉及度量收集和分析的方面，包括适应性度量存储和警告(alert)阈值。
【背景技术】
[0002]本节中所述的方式是能够继续发展的方式，但不一定是先前已经被构思或追寻过的方式。因此，除非以其他方式指明，不应当仅仅由于这些方式被包括在本章节中就假定本章节所述的任何方式为现有技术。
[0003]度量收集被用于很多不同上下文中。在本上下文中的“度量(metric) ”指代表示计算机、网络、系统或服务的使用或性能特性的数据值。在一些情形中，度量被系统管理者用于确定网络的健康度。在其他情形中，度量被广告商用于开发针对具体人口统计的市场战略。然而，与度量收集、存储和基于度量的警告有关的传统技术具有显著的局限性。
[0004]在度量收集领域，现有的度量收集技术已使用“字符串”作为传输度量的格式。然而，对字符串执行搜索问询通常需要执行昂贵的正则表达式操作从而获得有用的度量数据。在度量存储领域，企业会努力解决如何使用有限集的资源来高效地存储巨量的度量数据的问题。通常，企业执行数据缩减以通过移除或合并较旧的度量来减少需要被存储的数据量(因此降低了存储成本)。然而，这样的技术是不灵活的并且不允许在用户的需求随时间变化时对旧数据的恢复。在警告阈值的领域，网络管理者开发出这样的系统，该系统基于诸如延迟、丢掉的连接、拒绝的请求等等的度量来提供关于操作环境中潜在的问题的自动通知。然而，对度量的值采用静态绝对限制的传统技术经常在某些情况下生成误报(falsepositives)。例如，在短时间内接收到的大量请求可能预示网络正在经历拒绝服务(DoS)攻击。然而，对所接收到的请求的数目的硬性阈值限制导致了生成活动的合法爆发的事件发生情形中的误报。例如，如果企业提供流媒体服务，那么新的电影大片被放到流上的夜晚会导致与阈值被初始设定时所预期的流量相比高得多的流量流，因此导致了针对合法的活动生成的警告。
【发明内容】
[0005]根据本发明的一个方面，提供了一种计算机实现的方法，包括:由度量收集器计算机存储先前收集的度量值，所述先前收集的度量值是基于一个或多个先前时间段内从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的；由所述度量收集器计算机在当前时间段接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值；由所述度量收集器计算机对所述先前收集的度量值执行回归分析以确定所述当前时间段的预测度量值；以及响应于确定所述预测度量值和所述新度量值之间的偏离大于指定阈值，由所述度量收集器计算机生成警告。
[0006]根据本发明的另一个方面，提供了存储有执行相应方法的非暂态计算机可读介质。根据本发明的又另一个方面，提供了一种系统，所述系统包括具有存储器、处理器、由处理器执行的过程的度量收集器计算机，所述度量收集器计算机被配置为执行相应的方法。
【附图说明】
[0007]在附图中:
[0008]图1示出了可在其上实现实施例的示例操作环境。
[0009]图2示出了根据实施例用于收集度量的示例处理。
[0010]图3示出了根据实施例在框图中用于存储度量的示例处理。
[0011]图4示出了根据实施例在框图中使用适应性警告阈值的示例处理。
[0012]图5是示出了可在其上实现本发明的实施例的计算机系统的框。
【具体实施方式】
[0013]在以下说明中，为了解释的目的提出了众多具体细节以提供对于本发明的透彻理解。然而，清楚的是，可在没有这些具体细节的情况下实践本发明。在其他实例中，公知的结构和设备被示出在框图中以避免不必要地模糊了本发明。
[0014]为了方便起见，以下说明会提及诸如“消息”、“分组”、“帧”、“段”之类属于开放系统互联(OSI)模型的不同层的各种通信。然而，提到与特征相结合的特定类型的通信并不意图将该特征限制于OSI模型中的仅一层。因此，所论述的、可应用到OSI模型中的一层的特征还可应用到OSI模型中的其他层。
[0015]这里根据以下提纲来对实施例进行描述:
[0016]1.0 总体概述
[0017]2.0 示例操作环境
[0018]3.0 度量收集概述
[0019]4.0 度量存储概述
[0020]5.0 适应性警告阈值概述
[0021]6.0 实现机制-硬件概述
[0022]7.0 扩展和替换
[0023]——
[0024]1.0总体概述
[0025]如上所述，将度量作为长字符串传输需要进行正则表达式分析以执行对度量的具体类型的问询。然而，执行正则表达式分析能够是相当占用资源的。在实施例中，度量收集器计算机以记录格式从一个或多个客户端接收度量，其中度量包括标签以及一个或多个键/值对(key/value pair) 二者。因此，标签能够被用于标识正被收集的度量的类型并且键/值对代表度量的维度或属性。结果，度量收集器计算机能够存储或者使得不同的元件存储所收集的度量记录到能够基于键进行语义问询的存储系统中，这在多数情形中将比正则表达式分析更加高效。
[0026]在实施例中，一种计算机实现的方法包括:度量收集器计算机从客户端计算机接收与从客户端计算机送往服务计算机的请求有关的第一度量记录，其中第一度量记录包括度量标签和多个键-值对。度量收集器计算机使得第一度量记录被存储到度量数据库中，该度量数据库包含被发送到服务伺服器计算机的请求的多个度量记录。度量收集器计算机在接收第一度量记录之后的一段时间从客户端计算机接收第二度量记录，其中第二度量记录包括度量标签和多个键-值对中其值在该段时间期间已经改变的一个或多个键-值对，而不包括多个键-值对中其值在该段时间期间尚未改变的一个或多个键-值对。度量收集器计算机通过基于度量数据库中存储的第一度量记录至少自动地填充多个键-值对中其值在该段时间期间尚未改变的一个或多个键-值对来将第二度量记录存储在度量数据库中。
[0027]如上所述，企业一般会尝试通过记录与数据点的群组有关的统计值同时从存储装置移除那些数据点来减少为所收集的度量存储的数据量。例如，通过在度量已经达到特定的年龄之后对度量进行聚合或合并。然而，上述方式是不灵活的并且限制了能够对度量数据执行的问询的类型。在实施例中，存储了度量的系统被划分为多个层，基于访问的速度对这多个层进行排名。例如，第一存储层可表示被完全保存在存储器中的活动集，第二存储层可表示被存储到硬驱动盘的RAID上的较不频繁活动集，并且第三存储层可表示诸如磁带机的集合之类的档案存储。负责确定度量如何被跨存储层存储的存储控制器计算机维护策略数据，该策略数据包括指示了要对符合一定标准的度量执行的动作的规则集。因此，例如存储控制器计算机可被配置为将较新的度量保存在更快的存储层上并且随时间逐渐地将度量降级到较低的存储层。在一些情形中，用户可能只关心度量数据点在信息是新的时处于精细的颗粒度水平，但是随后随度量信息变得更旧而需要不那么精确的数据。结果，存储控制器计算机可被配置为对特定的时间段之后的度量执行聚合和/或合并，随后将基本度量数据降级至较低的存储层。在一些实施例中，上述分层存储的一个优势是:如果用户的需求随时间改变，则存储在存储控制器计算机上的策略数据能够被更新以使得存储在个体层间的数据移位或者以其他方式依附于新的策略。因此，如果针对特定时间段的数据变得有兴趣，策略能够被改变以创建例外，该例外将此数据保存在较高的存储层并因此可更轻易地针对问询进行访问。另外，即使在度量数据保留在较低的存储层时被寻找，数据对于用户问询仍是可访问的同时仍然以资源高效的形式被存储。
[0028]在实施例中，一种计算机实现的方法包括:存储控制器计算机将多个度量记录存储到包括多个存储层的存储系统中，其中从最高到最低对存储层进行排名。响应于触发事件，存储控制器计算机基于策略数据对被存储在多个存储层中的特定存储层中的多个度量记录中的一个或多个度量记录执行聚合操作或者合并操作，其中策略数据规定了一组操作并且针对该组操作中的每个操作规定了对在其上执行操作的度量记录的一个或多个标准。存储控制器计算机将一个或多个度量记录从特定的存储层中移除并且将一个或多个度量记录存储在多个存储层中的较低存储层上。
[0029]如上所述，系统一般被开发为使用度量作为操作环境中的组件的健康或适当功能性的指示符。然而，由于估计出适当的限制的困难性，针对警告使用绝对静态阈值能够导致误报。例如，如果操作环境提供了流送视频服务，限制可被设定为在前一周期间所记录的度量的值(通过前一周的同一天期间的活动来估计该限制)。然而，如果新的视频被发布，当前周生成了与前一周相比多出许多量的活动；度量会大大超过所估计的限制，而其实际上不是指示管理者应当被警告的议题。在实施例中，度量收集器计算机使用先前收集的度量作为时间序列中的数据点并且计算出针对当前时间处的度量的预测值。度量收集器计算机随后将预测值与新纪录的度量值进行比较并确定偏离是否超出了特定的阈值。如果阈值被超过，度量收集器计算机生成警告。因此，警告仅在所收集的度量值显著远离先前的时间段期间度量所遵循的趋势时被发出。结果，阈值基于最近的趋势保持为可变的，而非依附于呆板的绝对限制。然而，在一些实施例中，还能够对技术进行组合，因此使得警告或者在度量值超过了静态绝对阈值、或者足够偏离阈值时被生成。例如，管理者可能想要警告在请求数接近系统不能够处理的水平时、或者在请求数极大地偏离了所预测的请求数时被发出。
[0030]在实施例中，一种计算机实现的方法包括:度量收集器计算机基于在一个或多个先前的时间段期间从一个或多个客户端计算机被发送至服务伺服器计算机的先前请求存储先前收集到的度量值。度量收集器计算机在当前的时间段处基于从特定的客户端计算机被发送至服务伺服器计算机的请求接收新的度量值。度量收集器计算机对先前收集到的度量值执行回归以确定当前时间段的预测度量值。响应于预测度量值与新的度量值之间的偏离大于规定的阈值的确定，度量收集器计算机生