专利名称：一种可扩展动态网络监控系统及其监控方法
技术领域：
本发明是一种可扩展动态网络监控系统及其监控方法，属于计算机系统集成及应用技术，尤其涉及网络信息安全中设备监控的软件应用技术。
背景技术：
随着网络环境规模的日益扩大，网络中各种设备的数量也急剧增加，这包括各种路由交换设备，存储设备，和众多的安全设备等。这些设备分布于网络拓扑的各个节点，构成了一个系统的企业计算环境。由于网络拓扑结构、网络负载、网元节点性能、黑客入侵、内网攻击等多方面因素的影响，威胁到各个联网设备的可用性，因此，必须实时地采集网元的状态及性能信息，及时反馈网络中各个设备节点的运行情况，才能保证整体计算环境的可靠和稳定；同时监控数据的采集也为企业中各种业务统计数据的分析和处理提供了有价值的参照。目前集中式的网络监控被各种网络管理平台所广泛采用，能够搜集来自网络节点的监控数据，统一进行分析处理。
由于目前的联网设备种类多、数量大，因此如何有效地进行设备监控变得极为重要。一个中型的企业具有各种交换机、路由器、防火墙、IDS、应用服务器和主机等设备成百上千台，硬件、软件种类都比较繁杂，同时由于设备商的支持程度也不同，因此迫切需要灵活地采取多种监控方式，才能有效地进行实时监控、数据采集，使网管员能够及时发现问题，采取有效的应急措施。
传统的网络监控技术一般只支持有限的一些设备类型，采用的监控方式较为单一，可扩展性差，无法满足对不同种类、类型、型号的设备的监控需求。
而实际环境中的设备、应用系统往往采用一种监控方式无法满足需求，而且随着企业环境的改变，其监控方式也要求灵活变化。传统的网络监控一般根据具体设备进行定制，采用固定的监控协议采集数据，无法适应企业应用环境的变化。
发明内容
本发明的目的正是针对上述现有技术中存在的不足设计提供了一种可扩展动态网络监控系统及其监控方法，其目的是通过提高监控单元的可扩展性、兼容性，来提高监控效率。为此，本发明技术方案提供了一种可扩展动态网络监控系统和适用于该系统的监控方法。该系统和方法采用可扩展式动态监控单元框架结构和监控流程来解决以上问题。
本发明的目的是通过以下措施来实现的本发明技术所述的可扩展动态网络监控系统，包括由服务组件与组件应用服务器和组件代理服务器共同组成的集中监控的服务器端处理装置，并与控制台和设备共同构成集中监控系统，其特征在于在服务组件包括一个动态监控单元，动态监控单元包括(1)数据维护管理器A，用于从数据库或文件中生成监控任务对象，并为监控管理器B提供调用接口，另外它还对监控管理器B的监控数据结果进行对象生成及数据存储的操作；其构成为监控任务存储模块用于接收监控管理器B创建的监控任务，对其进行合法性校验，并存储到数据库或文件中；监控数据存储模块用于接收监控管理器B采集到的设备监控数据，以一定的格式组装成监控数据模型，并存储到数据库或文件中；(2)监控管理器B，用于监控任务的生成、存储、调用以及与监控任务相匹配的监控探测器的内存分配及调用；其构成为监控任务管理模块连接于监控任务存储模块，依据应用监控请求，为被监控的对象建立监控任务，并添加到监控任务调度模块中，负责接收监控线程采集的监控数据，进行必要处理后返回给监控管理器B，监控管理器做进一步处理；监控调度模块连接于监控数据存储模块和监控任务管理模块，负责为监控任务提供底层支持，定时或周期性地自动执行所要求的任务。
(3)监控探测器工厂C用于解析监控配置文件、初始化监控器配置、根据系统监控需求自动更新监控器状态，以及为监控管理器提供适当的调用接口；其构成为监控器接口模块连接于监控调度模块和设备，为监控管理器B提供监控器的接口服务；监控探测器注册模块连接于监控器接口模块，其作用是通过监控配置文件将监控探测器类型引入系统的监控探测器工厂C模块，并负责创建不同种类监控器的标准接口；监控探测器管理模块连接于监控器接口模块和监控探测器注册模块，采用可扩充的方式组织相关监控探测器，并且为监控探测器提供缺省接口。这里的布局模型采用嵌套Hash表形式。
适用于上述可扩展动态网络监控系统的监控方法，其特征在于该方法的步骤为(1)启动包括服务组件、组件应用服务器、组件代理服务器及控制台组成的集中监控的服务器端处理装置，并与控制台和设备共同完成集中监控系统的初始化过程；(2)动态监控单元被组件应用服务器加载，并初始化；(3)动态监控单元中的监控管理器B、监控探测器工厂C及数据维护管理器A被依次加载，分配内存单元并进行初始化；(4)监控探测器工厂C读入监控配置文件，分配内存单元进行文件解析，转换成系统本身能够处理的内存结构，并生成监控探测器内存结构及相关接口；(5)监控探测器被加载到监控调度器中，执行监控任务；(6)监控探测器返回监控数据并逐层上传至顶层模块，由监控管理器B根据监控结果作分析处理，并生成操作指令。如生成告警事件、监控数据持久化等操作。
本方案摆脱了监控方式与被监控对象一对一的协同方法，而是采用多对多的方式，即同一监控对象可以同时运行于多种监控方式下，为集中监控服务器提供监控数据；另外，同一监控方式也可同时为多种监控对象提供监控服务；对于本系统尚未采用的监控方式，可由用户自行调整系统配置、开发对应的监控探测器，系统会自动加载配置文件及探测器并执行监控过程。
本发明技术方案的核心在于上述可扩展式、动态的监控单元框架和其监控运行方法，可以实现各种监控探测器按需求动态加载、即插即用，使得集中安全管理系统能够大规模地监控网络设备节点，提供较高的监控处理效率，支持多种软硬件的监控需求。
该可扩展式、动态的监控单元是集中安全管理系统的一部分，动态监控单元一般置于其中，与其协同工作。它通过预定义接口对网络中各种设备节点进行集中式管理。
动态监控单元的生命周期是随系统服务启动而生成，当应用监控需求到达后，动态监控单元由等待状态被激活，提供监控服务。
图1是本发明动态监控单元与集中监控系统组合的系统框2是本发明动态监控单元的组成及结构的框3是本发明技术方案实施环境及组成的框4是本发明技术方案动态监控单元总体流程示意5是本发明系中监控任务管理的运行流程示意6是本发明系中监控调度的运行流程示意图下面结合附图和实例例对本发明技术方案作进一步详述参见附图1所示，它描述了在实施本发明技术方案时，动态监控单元1与集中监控系统组合的内部处理环境。其中，动态监控单元1与其他模块如事件采集单元、告警分析单元、报表生成单元等一起构成集中监控系统的服务组件11，这些服务组件11与组件应用服务器(McomServer)12、组件代理服务器(McomProxy)13共同组成了集中监控的服务器端处理环境D，组件应用服务器12是基于JMX技术的可扩展服务框架，组件代理服务器13是由一组MBean组成，接受McomServer的统一管理和调度，通过连接层如HttpAdaptor、RMIAdaptor等连接适配器与外部请求进行交互。服务器端处理环境D与控制台(ManageUI)14、设备端9一同构成了整个集中监控系统。控制台14是一种人机交互界面，用以接收用户的操作指令，并与服务器端进行数据和指令的传输，设备端9一般由被监控的设备如主机、防火墙、路由器、交换机、IDS、网闸以及网络存储设备等构成。其中，服务器端处理环境D接收控制台14的监控请求并初始化监控处理环境，向设备端执行监控进程。
参见附图2所示，它描述了在实施本发明技术方案时，动态监控单元1的结构示意图。动态监控单元(1)作为服务组件(11)中的一个，包括(1)数据维护管理器A，用于从数据库或文件中生成监控任务对象，并为监控管理器B提供调用接口，另外它还对监控管理器B的监控数据结果进行对象生成及数据存储的操作；其构成为监控任务存储模块2用于接收监控管理器B创建的监控任务，对其进行合法性校验，并存储到数据库或文件中；监控数据存储模块3用于接收监控管理器B采集到的设备监控数据，以一定的格式组装成监控数据模型，并存储到数据库或文件中；(2)监控管理器B，用于监控任务的生成、存储、调用以及与监控任务相匹配的监控探测器的内存分配及调用；其构成为监控任务管理模块4连接于监控任务存储模块2，依据应用监控请求，为被监控的对象建立监控任务，并添加到监控任务调度模块5中，负责接收监控线程采集的监控数据，进行必要处理后返回给监控管理器B，监控管理器做进一步处理；监控调度模块5连接于监控数据存储模块3和监控任务管理模块4，负责为监控任务提供底层支持，定时或周期性地自动执行所要求的任务。
(3)监控探测器工厂C用于解析监控配置文件、初始化监控器配置、根据系统监控需求自动更新监控器状态，以及为监控管理器B提供适当的调用接口；其构成为监控器接口模块6连接于监控调度模块5和设备9，为监控管理器提供监控器的接口服务；
监控探测器注册模块7连接于监控器接口模块6，其作用是通过监控配置文件将监控探测器类型引入系统的监控探测器工厂模块，并负责创建不同种类监控器的标准接口；监控探测器管理模块8连接于监控器接口模块6和监控探测器注册模块7，采用可扩充的方式组织相关监控探测器，并且为监控探测器提供缺省接口。
另外，在动态监控单元1的外部还需要设置监控请求模块10，监控请求模块10属于监控服务的外部环境，归于客户端部分，用于向动态监控单元1发起监控请求；设备端9也属于监控服务的外部环境，归于被监控设备部分，接收监控指令，并反馈自身的状态、性能参数。
参见附图3所示，它描述了在实施本发明技术方案时，服务器端处理环境D所处的外部运行环境。动态监控单元1位于服务器端的MComServer内。图中虚线部分说明了服务器端的具体构造最下面是硬件设备，在操作系统上需要安装Java虚拟机，它对操作系统没有过多的要求，目前支持大多数操作系统。虚拟机的上面运行Secfox Manage Server，这是一种符合标准JMX架构的应用服务管理程序，在这个服务管理环境下，加载动态监控单元1，运行监控服务，该服务与单元中的监控配置文件及扩展监控探测器相互配合，达到动态加载、灵活扩展的目的。对于被监控设备可以是工作站、服务器、安全设备、网络设备、存储设备以及其他设备类型，他们与监控服务器一起构成了统一的集中监控外部配置。
监控探测器注册模块7从监控配置文件中解析系统所使用的监控器类型及其配置后，由监控探测器管理模块8统一对这一配置进行管理，创建监控器对象，并以Hash表形式管理内存布局。监控器接口模块6以统一的标准接口对监控探测器管理模块中的监控器对象按需求进行调用。
监控配置文件Monitor.xml的描述形式如下<config Name="Moni tor"Text="设备监控"CategoryID="0">
<category Name="Resource"Text="主机性能监控"CategoryID="1">
<monitor Name="CPUUtiliza tion"Text="主机CPU利用率"CategoryID="101"EventCategory="PFM"EventType="Performance.cpuThreshold">
<protocol Name="snmp"vendor=""oid="1.3.6.1.2.1.25.3.3.1.2"index=""displaycolumn=""nodetype="multiplenode"resulttype="1"caculatetype=""resultunit="%"timeavg=""defaultinterval="300"description="使用SNMP方法监控目标主机的CPU利用率/>
……</monitor>
……</category>
……</config>
Xml文件的划分规则如下1)category标签用于声明监控对象的类别，如“主机性能监控”、“接口流量监控”、“应用服务监控”等，Name为类别名，Text为类别描述，CategoryID为类别标识；2)monitor标签用于声明监控对象的类型，如“主机CPU利用率”、“内存利用率”等，Name为类型名，Text为类型描述，CategoryID为类型标识，EventCategory为事件种类，EventType为事件类型；3)一个category标签内可允许有多个monitor，即一种大的监控类别中可以存在多个具体的监控类型；4)protocol标签用于声明监控方式或监控协议，如“SNMP”、“ICMP”、“Telnet”等。Vendor为协议版本号，oid为对象标识，index、displaycolumn、nodetype、resulttype、calculatetype等标签则表示对应该种监控方式的一些必备参数；
5)不同的protocol可以有不同的属性，一个monitor可以有多种监控方式，即包含多个protocol，可以根据实际需求进行扩展。
参见附图？所示，它描述了在实施本发明技术方案时，构成上述动态网络监控系统和适用于上述可扩展动态网络监控系统的可扩展动态网络监控方法，该方法的步骤为(1)启动包括服务组件11、组件应用服务器12、组件代理服务器13及控制台14组成的集中监控的服务器端处理装置，并与控制台14和设备9共同完成集中监控系统的初始化过程；(2)动态监控单元1被组件应用服务器加载，并初始化；(3)动态监控单元1中的监控管理器B、监控探测器工厂C及数据维护管理器A被依次加载，分配内存单元并进行初始化；(4)监控探测器工厂C读入监控配置文件，分配内存单元进行文件解析，转换成系统本身能够处理的内存结构，并生成监控探测器7内存结构及相关接口6；(5)监控探测器7被加载到监控调度器5中，执行监控任务；(6)监控探测器7返回监控数据并逐层上传至顶层模块，由监控管理器B根据监控结果作分析处理，并生成操作指令。
图4为描述了监控任务管理模块4内部的具体操作流程。在开始时，系统监控系统启动后将创建监控任务管理模块4，并加载为系统监控服务，监控任务管理器进一步创建监控调度模块5。由于监控任务会用到一些配置信息(如主机的配置)，用于建立监控的环境，一般情况下，这些信息变化不频繁，但监控任务可能会频繁使用，每次都从数据库或文件中读取这些信息效率比较低，所以考虑将这样的信息存放在一些全局变量中，以静态方法提供对这些信息的访问。因此，接下来监控任务管理模块4创建需要的全局访问对象，在构造好监控配置环境后，监控任务管理模块4会从监控任务存储模块2监控任务列表，并将任务加载到监控调度模块5中。
图5描述了监控调度模块5内部的具体操作流程。监控调度模块5将监控任务管理模块4分配的监控任务注册到Timer对象，并添加到监控任务列表中，接下来由Timer负责监控任务的调度工作，它会在预定时间启动和停止监控任务的执行。在监控任务管理模块4的作用下，监控调度模块5将监控数据根据需要传送至监控数据存储模块1，以数据库文件的形式实现监控数据的持久化。
本发明技术方案具有以下优点1.扩展了监控设备的支持范围，提高了监控的准确性和有效性，避免了重复的开发；2.监控探测器继承了统一的监控器接口，只要实现接口的方法，即可在系统启动或运行过程中实现动态加载，这一加载过程要根据监控配置文件的具体配置来决定。系统会自动监控配置文件的状态，一旦发现配置文件有改动，系统会马上更新内存中的监控器状态，并对当前已加载的监控任务作出警告。因此该动态监控单元具有良好的扩展性和即插即用特性。
3.动态监控单元在系统加载时根据配置文件实例化监控管理器、数据维护管理器和监控探测器工厂。这一流程不因具体的监控探测器及监控配置文件的改变而发生变化，因此具有较高的稳定性和效率，避免了为某个监控器专门开发具体的监控流程，节省了开发时间。
4.通过对某个设备配置多种监控探测器，可以全方位的捕捉被监控设备的特征数据信息，这些监控器能够在动态监控单元的统一管理下有序监控，不因设备对某一种监控方式的支持度不足而丢失监控能力。
权利要求
1.一种可扩展动态网络监控系统，包括由服务组件(11)与组件应用服务器(12)和组件代理服务器(13)共同组成的集中监控的服务器端处理装置，并与控制台(14)和设备(9)共同构成集中监控系统，其特征在于在服务组件(11)包括一个动态监控单元(1)，动态监控单元(1)包括(1)数据维护管理器A，用于从数据库或文件中生成监控任务对象，并为监控管理器B提供调用接口，另外它还对监控管理器B的监控数据结果进行对象生成及数据存储的操作；其构成为监控任务存储模块(2)用于接收监控管理器B创建的监控任务，对其进行合法性校验，并存储到数据库或文件中；监控数据存储模块(3)用于接收监控管理器B采集到的设备监控数据，以一定的格式组装成监控数据模型，并存储到数据库或文件中；(2)监控管理器B，用于监控任务的生成、存储、调用以及与监控任务相匹配的监控探测器的内存分配及调用；其构成为监控任务管理模块(4)连接于监控任务存储模块(2)，依据应用监控请求，为被监控的对象建立监控任务，并添加到监控任务调度模块(5)中，负责接收监控线程采集的监控数据，进行必要处理后返回给监控管理器B，监控管理器做进一步处理；监控调度模块(5)连接于监控数据存储模块(3)和监控任务管理模块(4)，负责为监控任务提供底层支持，定时或周期性地自动执行所要求的任务。(3)监控探测器工厂C用于解析监控配置文件、初始化监控器配置、根据系统监控需求自动更新监控器状态，以及为监控管理器B提供适当的调用接口；其构成为监控器接口模块(6)连接于监控调度模块(5)和设备(9)，为监控管理器提供监控器的接口服务；监控探测器注册模块(7)连接于监控器接口模块(6)，其作用是通过监控配置文件将监控探测器类型引入系统的监控探测器工厂模块，并负责创建不同种类监控器的标准接口；监控探测器管理模块(8)连接于监控器接口模块(6)和监控探测器注册模块(7)，采用可扩充的方式组织相关监控探测器，并且为监控探测器提供缺省接口。
2.一种用于权利要求1所述可扩展动态网络监控系统的可扩展动态网络监控方法，其特征在于该方法的步骤为(1)启动包括服务组件(11)、组件应用服务器(12)、组件代理服务器(13)及控制台(14)组成的集中监控的服务器端处理装置，并与控制台(14)和设备(9)共同完成集中监控系统的初始化过程；(2)动态监控单元(1)被组件应用服务器加载，并初始化；(3)动态监控单元(1)中的监控管理器B、监控探测器工厂C及数据维护管理器A被依次加载，分配内存单元并进行初始化；(4)监控探测器工厂C读入监控配置文件，分配内存单元进行文件解析，转换成系统本身能够处理的内存结构，并生成监控探测器(7)内存结构及相关接口(6)；(5)监控探测器(7)被加载到监控调度器(5)中，执行监控任务；(6)监控探测器(7)返回监控数据并逐层上传至顶层模块，由监控管理器B根据监控结果作分析处理，并生成操作指令。
全文摘要
本发明是一种可扩展动态网络监控系统及其监控方法，包括由服务组件与组件应用服务器和组件代理服务器共同组成的集中监控的服务器端处理装置，并与控制台和设备共同构成集中监控系统，其特征在于在服务组件包括一个动态监控单元，动态监控单元包括数据维护管理器、监控管理器、监控探测器工厂、监控器接口模块、监控探测器注册模块、监控探测器管理模块，其目的是通过提高监控单元的可扩展性、兼容性，来提高监控效率。为此，本发明技术方案提供了一种可扩展动态网络监控系统和适用于该系统的监控方法。该系统和方法采用可扩展式动态监控单元框架结构和监控流程来解决以上问题。
文档编号H04L12/24GK101051962SQ200710103158
公开日2007年10月10日 申请日期2007年5月22日 优先权日2007年5月22日
发明者王新华, 文华, 朱震 申请人:网御神州科技(北京)有限公司