监视-挖掘-管理循环的制作方法
【专利说明】监视-挖掘-管理循环
[0001]背景
[0002]监视来自过程的观察的数据流并寻求使用该观察来管理该过程在许多应用领域中是有用的。例如，数据中心管理、制造过程控制、工程过程控制、存货管理、和其他的。
[0003]通常，监视基础结构、理解所做的观察以及决定如何适配该观察或相应地重新配置该观察可以是冗长而昂贵的过程。导航遍历日志文件和踪迹以执行对故障的根理由分析可能是漫长且沉闷的。即使在管理员使用工具化时，经常需要在监视领域和挖掘领域之间人工交替以传输在日志和踪迹中收集的数据，使其经历某种挖掘算法，决定如何解释该挖掘并对所观察到的结果作出反应。通常还有以下情况:基于过去监视的观察而不是系统的实际实时状态来作出管理动作。
[0004]数字时代的到来以使得大规模数据获取和在线处理成为现代系统的关键组成部分。数据流管理系统(DSMS)使得系统能够发出长期运行的连续查询，该查询实时地高效地监视和处理流。DSMS被用于宽应用范围中的数据处理，例如，算法式股票交易。
[0005]一些先前的方法已寻求执行监视、管理和离线挖掘(以此次序)的过程。监视数据以检测感兴趣的模式，所述模式被用来管理和执行业务动作。原始数据被聚集并离线存储。历史数据随后被挖掘以确定新模式(或对现有模式的修改)，该新模式被反馈回监视阶段。历时离线数据挖掘可以发现新的图表模式或现有图表模式的细化。此方法涉及一些人工步骤并且因此很缓慢。在其中共享想要对其数据进行更快洞察的世界中，此人工方法是不够的。
[0006]下面描述的实施例不限于解决监视来自过程的观察数据流的已知系统的任何或所有缺点的实现。
【发明内容】
[0007]下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0008]期望监视-挖掘-管理周期，例如以用于管理数据中心、制造过程、工程过程或其他过程。在各示例中，作为连续自动化循环来执行以下步骤:接收来自所观察系统的原始事件；通过将所述原始事件转换为复杂事件来监视所述原始事件；挖掘所述复杂事件并对结果做出推理；基于所述挖掘作出提议一组动作；以及通过向所观察的系统应用所述提议动作中的一个或多个动作来管理该系统。在各示例中，连续自动化循环在原始事件被连续地从所观察的系统接收并被监视的同时进行。在一些示例中，描述了应用编程接口，该应用编程接口包括允许用户实现监视-挖掘-管理循环的编程语句。通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
[0009]附图简述
[0010]根据附图阅读以下【具体实施方式】，将更好地理解本发明，在附图中:
[0011]图1以抽象方式示出监视-管理-挖掘循环，其中各个步骤是实时或近乎实时地执行的；
[0012]图2示意性地示出必须处理一天之内可变的负载的数据中心；
[0013]图3示出被应用于图2的数据中心优化场景的监视-管理-挖掘循环。
[0014]图4解说用于实现图1-3中描述的概念的API的实体；以及
[0015]图5解说可在其中实现监视-挖掘-管理系统的实施例的示例性基于计算的设备。
[0016]在各个附图中使用相同的附图标记来指代相同的部件。
【具体实施方式】
[0017]下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
[0018]虽然在本文中将本发明的示例描述并示出为在台式计算系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会明白，本发明示例适合在各种不同类型的计算系统中的应用。
[0019]—些实施例涉及计算机实现的方法，其中以下步骤是作为连续自动化循环执行的。从所观察的系统接收原始事件。原始事件被监视并转换为复杂事件。复杂事件被挖掘并对结果执行推理。随后基于该挖掘作出一组提议动作。通过向所观察的系统应用所提议动作来管理该系统，同时原始事件被持续从所观察的系统接收并被监视。
[0020]术语“连续自动化循环”意思是一个方法步骤的输出被自动切循环地用作下一方法步骤的输入，以此类推。
[0021]在一些实施例中，监视、挖掘和管理步骤是实时或近乎实时地(尽可能快地)执行的，以使得对一个步骤的输入是基于前一步骤的输出的，很少或没有时间延迟。
[0022]在一些实施例中，上述循环的各步骤是以事件驱动或基于事件的方式执行的。原始事件作为流被接收且通过事件流处理技术来执行从原始事件到复杂事件的转换。在一些实施例中，所有方法步骤的输入和输出(诸如挖掘事结果和挖掘输入数据等)被建模为事件。
[0023]在一些实施例中，使用数据流管理系统(DSMS)来执行该方法。DSMS是一种控制数据流中的数据的维护和查询的计算机程序。DSMS的特征是对数据流执行连续查询的能力。使用DSMS来管理数据流大体类似于使用数据库管理系统(DBMS)来管理传统数据库。传统数据库查询执行一次并返回对于给定时间点的一组结果。相反，随着新数据进入该流，连续查询随时间继续执行。连续查询的结果随着新数据的出现而被更新。
[0024]事件流处理(ESP)是被设计来辅助事件驱动的信息系统的构造的一组技术。ESP技术包括事件可视化、事件数据库、事件驱动中间件、以及事件处理语言，或复杂事件处理(CEP)。实践中，术语ESP和CEP经常互换使用。
[0025]术语(数据)“挖掘”是指尝试发现大数据集中的模式的过程。其利用在人工智能、机器学习、统计以及数据库系统的交叉点处的方法。(数据)挖掘过程的总体目标是从数据集中提取信息并将其转换为可理解的结构以供进一步使用。
[0026]在一些实施例中，微软StreamIns i ght?作为数据流管理系统被用于监视。Streamlnsight?是可被用来开发和部署复杂事件处理(CEP)应用的平台。其高吞吐量流处理架构使得用户能够实现稳健而高效的事件处理应用。事件流源通常包括来自制造应用、财务交易应用、Web分析以及操作分析的数据。通过使用Streamlnsight?，可开发出CEP应用，所述CEP应用通过减小提取、分析以及相关数据的成本并且通过针对条件、机会和缺陷来近乎即时地监视、管理和挖掘数据来从此原始数据中得到商业价值。
[0027]通过使用Streamlnsight?与其他技术集成地开发CEP应用，可监视来自多个源的数据以寻找有意义的模式、趋势、例外和机会。数据可在当该数据在飞行中时一一即，不首先存储该数据一一被递增地分析和相关，从而产生非常低的等待时间。可从多个源聚集无缝相关的事件并随时间执行高度复杂的分析。
[0028]然而，不一定使用Streamlnsight?。可使用本文中所述的能够监视数据流的任何数据流管理系统。
[0029]上述循环包括三个主要阶段:监视、挖掘和管理(3M)系统的那些阶段。在一些实施例中，这些阶段被自动化以使得一个阶段的输出成为下一阶段的输入，从而产生连续的循环。在此循环内，监视成为挖掘技术的输入以理解一个人的系统并获得洞察以及关于其状态的推理。挖掘过程的决定作为管理过程的输入，该管理过程反应以维持系统健康且可操作。此有可能导致自愈系统，因为关于故障的观察可被用来进行相应的推理和反应。
[0030]在一些实施例中，原始事件由日志或踪迹(中的改变)来表示。在监视过程中，原始事件被转换，例如聚集，并处理以从该原始事件创建复杂事件。在其他实施例中，原始事件由个体传感器读数或用户动作(诸如web点击)来表示。
[0031]在挖掘过程中，通过应用特定技术和算法来分析监视步骤中产生的复杂事件。随后，对结果执行推理。挖掘过程的结果是与正被观察的系统有关的一组提议动作、推荐和决定。在一些实施例中，挖掘过程通过复杂处理来执行，诸如模式识别、统计分析或机器学习。
[0032]挖掘过程之后是管理过程，该管理过程接收挖掘过程的输出作为输入。管理