一种监测虚拟数据的方法和系统与流程

本公开涉及计算机技术领域，具体而言，涉及一种监测虚拟数据的方法和系统。

背景技术：

虚拟化数据中心(英文全称virtualdatacenter，简称vdc)是将云计算概念运用于数据中心的一种新型的数据中心形态。vdc通过虚拟化技术将数据中心中所有硬件(包括服务器、存储器和网络)抽象整合成单一的逻辑资源，动态进行资源分配和调度，实现数据中心的自动化部署，从而提高系统的使用效率和灵活性，以及应用软件的可用性和可测量性。

但是，由于虚拟化数据中心中采集的虚拟数据和网络架构中资源的独立性，资源与虚拟数据间没有任何关联，由于缺乏有效的管理手段，用户往往需要几个小时才能了解vdc中复杂网络架构的运行情况，而对于网络设置的合理性和瓶颈只能通过经验处理，无法快速应对网络运行中的复杂变化。

技术实现要素：

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的目的在于提供一种监测虚拟数据的方法和系统，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本公开的具体实施方式，第一方面，本公开提供一种监测虚拟数据的方法，包括：

获取预设的基础数据和数据采集器采集的与系统状态相关联的虚拟数据，所述基础数据包括数据处理类型下的资源类型；

基于所述资源类型对所述虚拟数据进行分类统计，生成所述数据处理类型下对应所述资源类型的资源消耗数据；

当所述资源消耗数据满足周期性生成的监测阈值时，生成对应所述监测阈值的报警信息。

根据本公开的具体实施方式，第二方面，本公开提供一种监测虚拟数据的系统，包括：

数据采集器，配置为：采集与系统状态相关联的虚拟数据；

数据集中器，配置为：收集预设的基础数据和所述虚拟数据，并传送给数据分析器，所述基础数据包括数据处理类型下的资源类型；

所述数据分析器，配置为：获取所述基础数据和所述虚拟数据；基于所述资源类型对所述虚拟数据进行分类统计，生成所述数据处理类型下对应所述资源类型的资源消耗数据；当所述资源消耗数据满足周期性生成的监测阈值时，生成对应所述监测阈值的报警信息。

本公开实施例的上述方案与现有技术相比，至少具有以下有益效果：

本公开提供了一种监测虚拟数据的方法和系统。本公开基于基础数据中的资源类型对虚拟数据进行分类统计，生成数据处理类型下对应资源类型的资源消耗数据，进而通过监测阈值分析资源消耗数据生成对应所述监测阈值的报警信息。针对虚拟化数据中心中复杂的网络架构实现了自动化的分级监测和报警，提高了监测效率，为资源合理设置和分配提供了有效的保障。

本公开实现了对虚拟化且复杂的虚拟化数据中心网络架构的监测，提高了故障分析的效率。透过完善的监测信息使各自独立的资源管理小组能够有效的进行信息沟通，便于理清故障原因，提升了各组协同合作的效率。理清了网络、应用和资源的关系，为主动调整关键业务应用程序提供依据。自动建立监测阈值，能够动态的持续的评估网络、应用和资源的变化趋势，提升了整体服务品质。通过布署方式收集虚拟数据，无需设置硬件设备，节省了营运及工具的成本。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。在附图中：

图1示出了根据本公开实施例的监测虚拟数据的系统的网络架构示意图；

图2示出了根据本公开实施例的监测虚拟数据的系统的数据采集器的示意图；

图3示出了根据本公开实施例的监测虚拟数据的方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面结合附图详细说明本公开的可选实施例。

对本公开提供的第一实施例，即一种监测虚拟数据的系统的实施例。

如图1所示，本公开提供一种监测虚拟数据的系统，包括：数据采集器101、数据集中器102和数据分析器103。

vdc是将云计算概念运用于数据中心的一种新型的数据中心形态。vdc通过虚拟化技术将数据中心中所有硬件(比如，服务器、存储器和网络)抽象整合成单一的逻辑资源，动态进行资源分配和调度，实现数据中心的自动化部署，从而提高系统的使用效率和灵活性，以及应用软件的可用性和可测量性。

本公开实施例应用于vdc中，通过监测vdc中虚拟数据有效掌握vdc中复杂网络架构的运行情况，以便及时调整vdc的部署，保障vdc的高效运行服务。

其中，数据采集器101，配置为：采集与系统状态相关联的虚拟数据。

本公开实施例提供的数据采集器101，以分布方式部署在vdc中。数据采集器101以资源占用很少的方式安装在主机上，且被高效地设计为客户虚拟机。能够分析虚拟主机间的吞吐量数据和网络流量数据，以及体现网络性能对应用影响的响应时间，避免了实体接线或安装agent端程序。对提供实际在线应用的主机无须停止应用即可布署数据采集器101。

本公开实施例系统中的应用，包括：应用程序和服务。应用通过网络与vdc进行数据交换，从而影响网络的性能，而网络性能又影响应用性能。而网络性能和应用性能决定了系统状态。

虚拟数据，包括：与网络性能相关联的吞吐量数据和/或网络流量数据，以及与所述应用性能相关联的属性数据和测量数据。其中，测量数据包括应用的响应时间。

可选的，如图2所示，所述数据采集器101，包括网络群组端口1011和/或设置为旁路模式的虚拟交换机1012，配置为：通过所述网络群组端口1011和/或所述虚拟交换机1012采集属于所述虚拟数据的网络性能数据。例如，网络性能数据，包括：吞吐量数据和/或网络流量数据。

虚拟交换机1012工作在旁路模式下，仅对流量进行统计、扫描或者记录，并不对流量进行转发，同时，网络流量也不会受到虚拟交换机1012故障的影响，所以，当仅有监测需求时，采用旁路模式更加合理和有效。

可选的，本公开实施例数据采集器101采用嵌入式深度封包检测技术，能够识别超过4000多种协议及应用。数据采集器101能够识别各种独立的应用及其属性数据，测量应用的响应时间。所述数据采集器101，配置为：通过所述网络群组端口1011和/或所述虚拟交换机1012抓取网络数据包，并分析所述网络数据包的头部数据获取属于所述虚拟数据的应用性能数据，所述应用性能数据包括应用的属性数据和测量数据。

由于仅仅分析网络数据包的头部数据，而网络数据包中的数据体不被读取，避免了敏感数据泄露的风险。数据采集器101保存的虚拟数据被数据集中器102收集。

数据集中器102，配置为：收集预设的基础数据和所述虚拟数据，并传送给数据分析器103，所述基础数据包括数据处理类型下的资源类型。

例如，数据处理类型，包括：虚拟化数据中心类型、集群类型、主机类型和虚拟机类型，且上述数据处理类型间存在从属关系；主机类型中包括虚拟机类型，集群类型包括主机类型，虚拟化数据中心类型包括集群类型。

而每个数据处理类型下都包含着资源。资源，是指与vdc相关联的数据处理实体，例如，应用、网络、cpu、物理存储和内存。

所述资源类型就是对资源的分类。例如，应用类型、网络类型、cpu类型、物理存储类型和内存类型。

由于虚拟数据来源于资源中的应用和网络，对虚拟数据的分析和处理依托于数据处理类型下的资源类型，即与具体的cpu、物理存储和内存相关联，因此，虚拟数据与资源类型具有内在的关联关系。本公开实施例通过数据管理器105能够预先建立和保存数据处理类型与资源类型的从属关系。例如，虚拟机类型与其下属资源的从属关系，主机类型与其下虚拟机类型资源的从属关系，集群类型与其下主机类型资源的从属关系，虚拟化数据中心类型与其下集群类型资源的从属关系。

本公开实施例数据集中器102是vdc的数据管理器105的数据集成通道。例如，数据集中器102是虚拟化数据中心vmware中vcenter的数据集成通道；vcenter提供了一个可伸缩、可扩展的平台，能够集中管理vmwarevsphere环境，提高了对虚拟环境的控制；数据集中器102收集由vcenter维护的基础数据(比如，资源类型，监测周期和基于网络、资源和应用建立的网络架构关系、资源和性能参数)和所有数据采集器101获取的虚拟数据，并传送至数据分析器103，以便存储和分析。

所述数据分析器103，配置为：获取所述基础数据和所述虚拟数据；基于所述资源类型对所述虚拟数据进行分类统计，生成所述数据处理类型下对应所述资源类型的资源消耗数据；当所述资源消耗数据满足周期性生成的监测阈值时，生成对应所述监测阈值的报警信息。

如图1所示，数据分析器103将资源消耗数据及报警信息以多种方式显示在展示终端104上。例如，通过不同的颜色区分不同等级的报警信息，以饼图的方式表示不同的资源类型以及资源类型的资源消耗数据。

可选的，所述数据分析器103，还配置为：保存所述基础数据、所述虚拟数据和所述资源消耗数据。

例如，数据分析器103是基于hadoop平台开发的分析工具，并用于存储和分析虚拟数据。

其中，资源消耗数据以历史资源消耗数据的形式保存。

所述基础数据除了包括资源类型外，还包括监测周期和基于网络、资源和应用建立的网络架构关系。

可选的，所述数据分析器103，还配置为：周期性获取所述历史资源消耗数据和所述基础数据；通过监测分析模型对所述历史资源消耗数据和所述基础数据进行综合分析，生成所述监测阈值。

周期性的时间周期可定义为：前一个小时，前一天，前一周或设定一段时间作为周期数据。

监测阈值包括异常情况的报警阈值和/或趋势阈值。报警阈值用于判断当前资源消耗数据的报警等级，做出事故发生过程报警，而趋势阈值用于判断资源消耗数据未来发展可能的报警等级，做出事故发生前报警。例如，虚拟化数据中心的报警阈值分为：紧急报警阈值、重大报警阈值和次要报警阈值，当虚拟化数据中心中网络的流量数据达到网络容量的90～100％，则满足紧急报警阈值；当虚拟化数据中心中网络的流量数据达到网络容量的85～90％，则满足重大报警阈值；当虚拟化数据中心中网络的流量数据达到网络容量的80～85％，则满足次要报警阈值。

监测分析模型可以基于历史资源消耗数据和所述基础数据作为样本训练而得。数据分析器103通过监测分析模型进行自学习，生成所述监测阈值，提高了系统的智能化水平。

周期性生成监测阈值，使vdc能够根据系统变化对监测阈值进行调整，提高了监测的适应性和报警的准确性。

进一步的，所述数据分析器103，还配置为：获取所述历史资源消耗数据和所述网络架构关系；通过状态分析模型对所述历史资源消耗数据和所述网络架构关系进行综合分析，生成针对所述系统状态的分析结果。

由于本公开实施例所述系统通过网络架构关系将所有资源联系起来，因而通过综合分析网络架构关系下的所述历史资源消耗数据，能够生成系统状态的分析结果。

状态分析模型可以通过网络架构中之前的历史资源消耗数据训练而成，例如以历史资源消耗数据作为训练样本训练状态分析模型。关于通过状态分析模型对所述网络架构关系下的所述历史资源消耗数据进行综合分析的过程，本实施例不做详述，可参照现有技术中各种实现方式实施。快速识别vdc性能提供了有效的保障。

本公开实施例数据分析器103能够实现拓朴功能，即提供网络架构下网络、资源和应用的交互视图，并提供网络、资源和应用相互作用而产生的性能信息，以及在这种作用下针对所述系统状态的分析结果。进而通过网络、资源和应用以及相互作用信息和分析结果能够指出性能下降的根本原因与vdc资源的关系。依据历史资源消耗数据产生的分析结果能够协助用户找到资源配置的合理路径，使用户通过系统优化维持最佳应用性能。例如，数据分析器103利用网络架构关系在用户界面中建立系统的拓扑图，在拓扑图中包括系统中所有网络信息、资源信息和应用信息，且包括数据处理类型下对应所述资源类型的历史资源消耗数据，通过对上述信息进行综合分析，能够生成系统中网络流量的分析结果、cpu使用率的分析结果、物理存储使用率的分析结果以及内存使用率的分析结果，上述结果可以通过视图界面的形式显示。

通过展示终端104查看分析结果，并关联显示网络、资源和应用的性能状况。

本公开实施例通过部署在客户虚拟机中的数据采集器101采集虚拟数据，避免了实体接线或安装agent端程序。对提供实际在线应用的主机无须停止应用即可布署数据采集器101，提供了有效的检测手段；通过数据集中器102收集基础数据和虚拟数据；通过数据分析器103基于基础数据中的资源类型对虚拟数据进行分类统计，生成数据处理类型下资源消耗数据，进而通过监测阈值分析资源消耗数据生成对应所述监测阈值的报警信息。针对虚拟化数据中心中复杂的网络架构实现了自动化的分级监测和报警，提高了监测效率，为资源合理设置和分配提供了有效的保障。

本公开实现了对虚拟化且复杂的虚拟化数据中心网络架构的监测，提高了故障分析的效率。透过完善的监测信息使各自独立的资源管理小组能够有效的进行信息沟通，便于理清故障原因，提升了各组协同合作的效率。理清了网络、应用和资源的关系，为主动调整关键业务应用程序提供依据。自动建立监测阈值，能够动态的持续的评估网络、应用和资源的变化趋势，提升了整体服务品质。通过布署方式收集虚拟数据，无需设置硬件设备，节省了营运及工具的成本。

与本公开提供的第一实施例相对应，本公开还提供了第二实施例，即一种监测虚拟数据的方法。由于第二实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的方法实施例仅仅是示意性的。

图3示出了本公开提供的一种监测虚拟数据的方法的实施例。

如图3所示，本公开提供一种监测虚拟数据的方法，包括：

步骤s301，获取预设的基础数据和数据采集器采集的与系统状态相关联的虚拟数据，所述基础数据包括数据处理类型下的资源类型；

步骤s302，基于所述资源类型对所述虚拟数据进行分类统计，生成所述数据处理类型下对应所述资源类型的资源消耗数据；

步骤s303，当所述资源消耗数据满足周期性生成的监测阈值时，生成对应所述监测阈值的报警信息。

可选的，所述获取预设的基础数据和数据采集器采集的与系统状态相关联的虚拟数据，包括以下步骤：

步骤s301-1，通过数据集中器获取所述基础数据和所述虚拟数据。

可选的，所述虚拟数据包括网络性能数据和应用性能数据；

所述网络性能数据包括经由所述数据采集器通过网络群组端口和/或设置为旁路模式的虚拟交换机采集的数据；

所述应用性能数据经包括由所述数据采集器抓取所述网络群组端口和/或所述虚拟交换机的网络数据包并通过分析其头部数据获取的属性数据和测量数据。

可选的，所述方法还包括以下步骤：

步骤s311，将所述资源消耗数据作为历史资源消耗数据保存。

可选的，所述基础数据还包括监测周期和基于网络、资源和应用建立的网络架构关系；

所述方法还包括以下步骤：

步骤s321，周期性获取所述历史资源消耗数据和所述基础数据；

步骤s322，通过监测分析模型对所述历史资源消耗数据和所述基础数据进行综合分析，生成所述监测阈值。

可选的，所述方法还包括以下步骤：

步骤s331，获取所述历史资源消耗数据和所述网络架构关系；

步骤s332，通过状态分析模型对所述历史资源消耗数据和所述网络架构关系进行综合分析，生成针对所述系统状态的分析结果。

本公开实施例基于基础数据中的资源类型对虚拟数据进行分类统计，生成数据处理类型下对应资源类型的资源消耗数据，进而通过监测阈值分析资源消耗数据生成对应所述监测阈值的报警信息。针对虚拟化数据中心中复杂的网络架构实现了自动化的分级监测和报警，提高了监测效率，为资源合理设置和分配提供了有效的保障。

本公开实现了对虚拟化且复杂的虚拟化数据中心网络架构的监测，提高了故障分析的效率。透过完善的监测信息使各自独立的资源管理小组能够有效的进行信息沟通，便于理清故障原因，提升了各组协同合作的效率。理清了网络、应用和资源的关系，为主动调整关键业务应用程序提供依据。自动建立监测阈值，能够动态的持续的评估网络、应用和资源的变化趋势，提升了整体服务品质。通过布署方式收集虚拟数据，无需设置硬件设备，节省了营运及工具的成本。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。