用于云监视的实时压缩数据收集的制作方法
【专利说明】用于云监视的实时压缩数据收集
【背景技术】
[0001 ] 除非在本文中另外表明，否则本部分中所描述的材料对于本申请中的权利要求来 说不是现有技术并且不由于包括在本部分中而被承认是现有技术。
[0002] 监视是在基于云的环境中用于错误检测、校正和系统维护的运算任务之一。例如， 服务器和存储器容量的使用可被定期监视。数据的监视可有益于短期管理以及长期容量计 划。来自服务目录的机器镜像也可能需要被监视。系统管理员可能需要知道哪些应用经常 被使用。监视也可包括安全监视，诸如监视用户活动、可疑事件、验证失败或重复的未被授 权的访问尝试以及网络出入通信量的扫描。
[0003] 终端用户可能需要能够监视云资源的使用并且在需要其他资源时接收警示。这些 监视能力可包括用于监视每个计算资源的CPU使用、系统活动和用户活动之间的比率以及 来自特定的工作任务的CPU使用的工具。另外，用户可能需要对允许他们捕捉有关存储器 使用和文件系统增长的倾向数据的预言性云分析的访问权限，以便他们可以在他们遭遇服 务可用性问题之前计划对计算资源的所需的改变。不具有这些能力可能阻止用户采取用于 优化使用中的云资源以满足商业需求方面的变化的行动。
[0004] 通过第三方供应商部署云计算服务的机构可能需要合适的技术工具以监视第三 方供应商。作为他们与公共云服务的供应商的协议的一部分，机构可以要求对期望服务提 供商交付的性能水平的保证。然而，为了确保这些服务水平被满足，机构可能需要具有允许 他们不只是监视商业用户所体验的实际性能水平、而且还使他们能够进行对他们发生的问 题的根本原因分析的独立监视的合适的工具。
【发明内容】
[0005] 本公开一般地描述了用于在云监视中提供实时压缩数据收集的技术。
[0006] 根据一些示例实施例，用于云监视中的实时压缩数据收集的方法可包括：接收由 云基础架构内的多个探测器收集的与所述云基础架构的性能相关的多维数据，确定所接收 的多维数据的稀疏度特征，以及应用压缩传感以便使用所述稀疏度特征将所述多维数据压 缩成单维数据，所述单维数据适于用来重建所述多维数据。
[0007] 根据其他示例实施例，用于云监视中的实时压缩数据收集的方法可包括：在云基 础架构的汇集器交换机处接收来自所述云基础架构中的多个探测器的多个消息，从所接收 的消息生成与所述云基础架构的性能相关的多维数据，确定所述多维数据的稀疏度特征， 应用压缩传感以便使用所述稀疏度特征将所述多维数据压缩成单维消息，将所述单维消息 引导至所述云基础架构内的服务管理器，以及在所述服务管理器处将所述单维消息重建成 多维数据。
[0008] 根据进一步的示例实施例，被配置为在云监视中提供实时压缩数据收集的基于云 的数据中心可包括多个探测器、多个汇集器和云监视服务。所述多个探测器可被配置为收 集与云基础架构的多个节点的性能相关的数据。所述多个汇集器可被配置为：接收来自所 述多个探测器的所收集的数据，从所接收的数据生成多维数据，确定所述多维数据的稀疏 度特征，以及应用压缩传感以便使用所述稀疏度特征将所述多维数据压缩成单维数据，所 述单维数据适于用来使用所述稀疏度特征将所述多维数据重建成单维数据。所述云监视服 务可被配置为管理所述单维数据到服务管理器的引导。
[0009] 根据另外的其他示例实施例，一种计算机可读存储介质可具有存储于其上的用于 云监视中的实时压缩数据收集的指令。所述指令可包括：接收由云基础架构内的多个探 测器收集的与所述云基础架构的性能相关的多维数据，确定所接收的多维数据的稀疏度特 征，以及应用压缩传感以便使用所述稀疏度特征将所述多维数据压缩成单维数据，所述单 维数据适于用来重建所述多维数据。
[0010] 前述概要仅仅是说明性的，而并不意图以任何方式是限制性的。除了说明性的方 面，上述实施例和特征、另外的方面、实施例和特征将通过参考附图和下面的详细描述而变 得显而易见。
【附图说明】
[0011] 根据对结合附图的以下描述和随附权利要求，本公开的前述和其它特征将变得更 加完全地显而易见。在理解这些附图仅示出根据本公开的若干实施例并且因此不应当被认 为是其范围的限制的情况下，将通过使用附图来以附加的特征和细节描述本公开，在附图 中：
[0012] 图1示出其中可以实施云监视中的实时压缩数据收集的示例系统；
[0013] 图2示出其中可以实施云监视中的实时压缩数据收集的整个云监视系统的系统 级架构；
[0014] 图3示出用于图2的数据过滤和数据收集模块的示例系统架构和数据流。
[0015] 图4示出示例压缩数据收集和重建过程；
[0016] 图5示出根据一些示例的系统中的状态数据的数学表示；
[0017] 图6示出用于数据引导的示例数据中心网络架构；
[0018] 图7示出用于数据引导的示例模型；
[0019] 图8示出通用计算装置，其可用于实施云监视中的实时压缩数据收集；
[0020] 图9是示出可由诸如图8中的装置的计算装置执行的用于在云监视中提供实时压 缩数据收集的示例方法的流程图；以及
[0021] 图10示出示例计算机程序产品的框图；
[0022] 所有都根据本文中所述的至少某些实施例被布置。
【具体实施方式】
[0023] 在以下详细描述中，对附图进行参考，所述附图形成详细描述的一部分。除非上下 文另外指示，否则在附图中，相似的符号通常标识相似的部件。在详细描述、附图和权利要 求中描述的说明性实施例并不意味着是限制性的。在不脱离本文所提供的主题的精神或范 围的情况下，可以利用其它实施例，以及可以进行其它改变。将易于理解的是，如在本文中 一般地描述的和在图中示出的那样，本公开的各方面可以以广泛多样的不同配置被布置、 替代、组合、分割和设计，所有这些在本文中都被明确地构想。
[0024] 除其它之外，本公开大体上被吸引至涉及云监视中的实时压缩数据收集的方法、 设备、系统、装置、和/或计算机程序产品。
[0025] 简而言之，本申请提供了用于云环境中的基于压缩传感的数据收集的技术。在一 些示例中，高维传感器数据可使用稀疏度变换和压缩采样被压缩。结果得到的低维数据消 息可通过交换机网络被引导至云服务管理器，所述云服务管理器然后重建被压缩的消息以 供后续分析、报告和/或类似的动作。
[0026] 在很多云环境中，其中服务器状态原始数据被连续地收集的实时连续云监视、集 中的数据挖掘和决策做出可能是被期望的。这样的全局云监视模型可提供很多好处。例如， 频繁的系统级状态报告可实现更好的由自动数据中心管理系统进行的决策以及实现维持 地理上分散的基于容器的数据中心，因为随着总系统的扩升可能发生更多的子系统故障。
[0027] 用于实时全局云监视的一种方法可包括获取"异常的"服务器状态、而非原始数 据，以便减小网络内数据传输的量。然而，实施这种方法可能是困难的、昂贵的和/或不受 欢迎的，因为每个服务器传感器可能需要具有本地处理器和高速缓存以"检测"本地"异 常"，并且传感器可能必须被同步以报告状态，这可能导致用于本地处理的巨大开销。
[0028] 另一种方法是在传输之前执行数据压缩。与该第二种方法相关的一个挑战是设计 具有最小运行时间占用（即，容易实施）而同时具有合理的重建性能的数据压缩方案。可 应用诸如联合平均信息量编码（joint entropy coding)或变换编码的数据压缩技术，但是 这些技术可能是计算密集的并且可能涉及大量的数据交换，从而导致重大开销。此外，性能 可能随着压缩比和网络拓扑而变化。
[0029] 图1示出根据本文中所述的至少某些实施例布置的、其中可以实施用于云监视的 可扩展且稳健的异常检测的示例系统。<