专利名称：：分布式网管采集系统、实现方法及相关设备的制作方法
技术领域：
：本发明涉及通信领域，特别涉及一种自适应的分布式网管采集系统、方法及相关设备。
背景技术：
：随着计算机技术和通信技术的迅速发展，网络规模也越来越大、越来越复杂。在大類L模网络中，网管系统是不可缺少的。典型的网管系统如图1所示，包括网管系统IO和子网15、16，网管系统10与子网15、16等子网之间设置了防火墙设备12、13、14和路由器11。其中，网管系统10包括网管终端101、网管服务器集群102;子网15包括路由器151和众多网元152,子网16包4舌;咯由器161和众多的网元162。网管系统一般采用Client-Server(客户一服务器)模式，服务器集中设置在网管中心。网管系统需要长时间连续运行，以监控所有网络资源的运行状况，第一时间发现故障并发出警告，同时不间断的采集整个网络系统运行质量相关的性能指标数据，为各种决策提供数据支持，另外还提供一些辅助的维护和诊断。同一套网管系统，需要管理一个或多个网络子网中的网元(网络中的物理设备，提供特定服务的硬件设备或软件系统)。由于网络规模达到上万节点，不少网管系统设计为分布式，网管服务器可以设置到不同的微机或小型机上，形成一个网管服务器集群系统以分担负荷，提高处理能力，目前大部分网管服务器都设置在同一个局域网内。该现有的技术方案中，业务系统和网管系统设置在不同的网络中，网管系统和网元之间设置了防火墙设备，以增强网络的安全性。各个子网中的网元，要透过防火墙设备与网管系统建立连接，通常需要做一些配置，比如开放端口、做NAT(网络地址转换)等，但是发明人在实现本发明过程中发现该技术方案的各种设备配置起来比较繁瑣，在网络规模非常大的时候甚至不可实施。另外，SNMP协议(SimpleNetworkManagementProtocol,简单网络管理协议)作为比较成熟的网络管理协议，在现今的网络中存在大量应用，但是SNMP协议是基于UDP(用户数据报协议)，UDP协议中没有定义重复机制，是不可靠的。所以当网管服务器与网元距离较远时，在穿越了多重防火墙以后，网元数据的采集往往比较困难。网管系统会将各个服务模块(包括安全服务模块、性能管理模块、配置管理模块、告警管理模块、数据库模块、协议适配器)集中设置在一台或多台在同一网络中物理设备上，网管系统通过协议适配器与各网元建立通信链路。协议适配器可以是一个或多个，通过配置路由、做NAT映射等方法，可以打通协议适配器与网元之间的联系。发明人在实现本发明的过程中发现该技术方案至少还存在以下问题1、协议适配器离网元较远，采用基于无连接的SNMP类似的协议采集数据的时候容易出现数据丟失，路径越长，数据丢失概率越高；2、即使采用TCP(传输控制协议)连接来采集数据，也会由于网管系统与网元之间建立的连接太多，大量占用防火墙或路由器的链路资源，造成网络通讯质量下降；3、协议适配器集中设置在同一地点，需要配置较多的防火墙规则，当网管头见模非常大的时候，配置防火墙成为非常繁瑣的体力劳动；4、由于存在多个协议适配器，网管系统命令下发的时候，具体通过哪个协议适配器将命令下发到网元，策略会比较复杂；5、当网络结构发生变动的时候，比如子网迁移或者新增一个子网的时候，需要完全重新配置防火墙规则。另外一种现有技术中，有一种管理大规模网络系统的方案是在现有网络中建设多套网管系统，每个网管系统管理一个或几个子网。但是在发明人实现本发明的过程中发现该技术方案的建设和维护成本高。由于分散管理，需要购买多套设备，需要更多的人力进行管理和维护；而且数据不能共享，无法管理全局。
发明内容本发明实施例要提供一种分布式网管采集系统、方法及相关设备，从而可以减少网络配置的工作量和人工干预的工作量。本发明实施例所提供的分布式网管采集系统、方法及相关设备是通过以下技术方案实现的一种分布式网管采集系统，包括采集器管理装置，用于接收采集器发送的采集器到网段的路由信息和网元信息，根据所述的路由信息形成采集器管理范围列表，并根据所述的采集器管理范围列表和网元信息来确定采集器管理网元的范围，并通知采集器对其管理范围内的网元进行管理；采集器，用于搜索网元，向所述的采集器管理装置发送采集器到网段的路由信息和网元信息，并根据采集器管理装置确定的管理范围对网元进行管理。本发明实施例还提供一种分布式网管采集系统的实现方法，包括步骤采集器在网络中搜索网元，并向采集器管理装置发送采集器到网段的路由信息和网元信息；采集器管理装置接收所述的路由信息，形成采集器管理范围列表；采集器管理装置根据所述的采集器管理范围列表和网元信息来确定采集器管理网元的范围，并通知采集器对其管理范围内的网元进行管理。本发明实施例还提供一种采集器，所述的采集器包括网元信息采集单元，用于搜索网元，发送所述网元信息采集单元到网段的路由信息和网元信息；管理通知接收单元，用于接收采集器管理装置通知其管理网元的信息；网元管理单元，用于对网元进行管理。本发明实施例也提供一种采集器管理装置，所述的采集器管理装置包括信息接收单元，用于接收采集器到网段的路由信息和网元信息，并根据所述的路由信息形成采集器管理范围列表；归属确定单元，用于根据所述的采集器管理范围列表和网元信息来确定网元的归属。本发明实施例提供一种简便且易于设置的分布式网管采集系统、实现方法及相关设备，减少网络配置的工作量，在网络扩充或变化时，能够自动适应变化，大大减少人工干预的工作量。同时提供统一的网管访问入口，能够通过一套网管系统对具有众多网元节点的网络进行管理。图1为现有技术的网管系统结构示意图；图2为本发明实施例提供的分布式网管采集系统的结构示意图；图3为本发明实施例提供的分布式网管采集实现方法的流程图；图4为本发明实施例提供的一种采集器的结构示意图；图5为本发明实施例提供的一种采集器管理装置的结构示意图。具体实施方式本发明实施例是提供一种分布式网管采集系统，包括采集器管理装置，用于接收采集器发送的采集器管理范围列表，根据所述的采集器管理范围列表更新自己的采集器管理范围列表，并根据所述更新的采集器管理范围列表确定采集器管理网元的范围，并通知采集器对其管理范围内的网元进行管理；采集器，用于搜索网元，并根据所述的搜索信息形成采集器管理范围列表，并向采集器管理装置发送，并根据采集器管理装置确定的管理范围对网元进行管理。该分布式网管采集系统简便且易于设置的分布式网管采集系统及方法，减少网络配置的工作量，在网络扩充或变化时，能够自动适应变化，大大减少人工干预的工作量。同时提供统一的网管系统访问入口，能够通过一套网管系统对具有众多的网元的网络进行管理。下面结合附图详细描述本发明实施例提供的分布式网管采集系统、分布式网管采集的实现方法及相关设备。图2为本发明实施例提供的分布式网管采集系统的应用结构示意图；参照该图，包括网管终端201、网管主控装置202、中央数据服务器203、采集器管理装置204、远端设置的采集器253及采集器263;其中网管终端201:基于'GUI(图形用户界面)或WEB(网络)的网管客户端，用于人才几交互；网管主控装置202:用于服务调度，用于网元接入管理、维护网元基本信息，包括性能服务模块、告警管理模块、安全管理模块、配置服务模块、日志管理模块等都集中在网管主控装置202中，各个模块可以有多个实体。该装置中的服务功能可以分布在同一局域网内的不同物理设备上，但是逻辑上还是一套装置。网元251、261相关数据和网管系统20自身管理信息(如网管权限信息、采集器分布信息等)是集中存储的。网管主控装置202还用于处理采集器253及采集器263收集汇总上来的各种数据，如性能统计数据、告警数据等。中央数据服务器203:用于系统的数据(网元数据、路由信息、IP地址信息等)存取，并为网管系统提供统一的访问入口。采集器管理装置204:接受采集器253及采集器263的注册，并接收采集器发送的路由信息和网元信息，根据所述的路由信息形成采集器管理范围列表，还根据所述采集器管理范围列表和网元信息确定采集器253、263管理网元的范围，并通知采集器对其管理范围内的网元进行管理，即确定网元的归属信息。该确定过程具体为采集器管理装置根据采集器管理范围列表来计算网元的最佳管理路径，将最佳路径上的采集器作为该网元的管理者。主要是采集器管理装置根据采集器管理范围列表来查找ping值最小、跳数最小的、可用的采集器，并将该采集器确定为该网元的管理者。采集器253、263:为可远端设置的分布式节点，用于搜索网络，将所述采集器到网段(即子网)的路由信息(ping值、跳数、可用性)及网元信息(如IP地址)向采集器管理装置发送，并根据采集器管理装置确定的管理范围对网元进行管理。采集器管理器管理范围中的网元的数据，如性能统计数据、告警数据、日志数据等，并将该数据汇总，发送给采集器管理装置204,通过采集器管理装置204将所述的数据发送到网管主控装置202。采集器管理装置204与采集器253、263采用双向http/https(超文本传输协议/安全的http协议)协议传输数据，便于穿透防火墙。当传输比较大的数据时可以采用ftp/sftp协议(文件传输协议/安全的文件传输协议)传输所述的数据，以提高传输速度。由于采集器与网管中心通讯，避免了现有技术中的所有网元直接连接到网管中心而形成的网状结构，链路收敛后整个系统的负荷的有效性降低的情况。图3为本发明实施例提供的分布式网管采集系统的实现方法的流程图。包括图2所提供的分布式网管采集系统，参照图3，本发明实施例提供的分布式网管采集实现方法包括步骤301、在子网中新设置一个采集器后，配置采集器管理装置的地址信息，并配置好防火墙。302、采集器向采集器管理装置注册，如果是首次注册，则会生成一个唯一的GUID(全局统一标识符)采集器标识，釆集器会自动在本地持久化该采集器标识，采集器管理装置会将该注册信息保存到中央数据服务器。303、采集器开始搜索网络，查找本采集器能管理的范围，具体过程如下A、设定一个种子(通常为采集器所在子网的网关)，通过该种子查询MIB(管理信息库)网元中IP(网络协议)地址中的IPForwarding字段。B、如果该网元的IPForwarding字段为0，则表示该网元是一台普通主机或打印机等，绕过该设备，继续搜索下一个相邻的IP地址。C、如果该字段为l,则表明该网元具备路由转发功能，继续搜索该设备的IPRouteTable表，查找到该网元所属网段的路由信息，得到与采集器相邻且最近的网段信息，采集器通过该路由信息递归搜索采集器的相邻网段的所有网元。搜索深度可配置，如果缺省，则只搜索相邻的3层网段。采用并发线程来搜索网络，可以加快搜索速度。D、每搜索到一个网段的时候，附带搜索出该网段的所有可用IP,并将该IP信息保存到中央数据服务器的数据库中。同时，使用ICMP协议(互联网控制消息协议)报文随机访问该网段的几个网元，并记录下响应时间，等到一个平均值，作为网络质量(ping值)，ping值越小，则网络质量越好。并记录下采集器要到达该网段需要经过的跳数(ICMP协议报文每被转发一次跳数减1)。304、采集器管理器更新管理范围的信息，采集器管理装置根据上述的过程中路由信息形成一张采集器管理范围列表(即路由信息)，并将该管理范围列表保存到网管主控装置，该采集器管理范围列表如下表所示采集器标识可管理网络的IP网络质量(Ping值)跳数可用性(8C41B678-4A48-4d56-BB35-67EF1E7CDC4C}10.10.11.0/241511{8C41B678-4A48-4d56-BB35-67EF1E7CDC4C}10.10.12.0/246051{ADF1B8BA-E5E7-474f-B815-5CBE9B2BF8DB}10.10.11.0/245051{ADF1B8BA—E5E7-474f-B815—5CBE9B2BF8DB}10.10.12.0/241011305、采集器收集网元信息，并向采集器管理装置发送。并发送到网管主控装置，由网管主控装置决定将哪些信息保存到中央服务器的数据库，哪些信息不需要保存和管理。306、采集器管理装置根据采集器管理范围列表和网元信息确定采集器管理网元的范围。即网元的归属。具体是采集器管理装置根据采集器管理范围列表来计算网元的最佳管理路径，主要是采集器管理装置根据采集器管理范围列表来查找ping(用于检测网络故障的命令)值最小、跳数较小的、可用的采集器，将最佳管理路径上的采集器作为该网元的管理者。307、采集器管理装置将网元的归属信息保存到中央数据服务器。308、采集器管理装置向采集器发送网元归属信息，通知采集器对确定的管理范围内的网元进行管，所述的管理包括采集器收集网元的性能统计数据、日志数据、告警数据，并将所收集的数据发送到采集器管理装置。采集器管理装置与采集器采用双向http/https(超文本传输协议)协议通信，便于穿透防火墙。当传输比较大的数据时可以采用ftp/sftp协议(文件传输协议/安全的文件传输协议)传输所述的数据，以提高传输速度。由于采集器与网管中心通讯，避免了现有技术中的所有网元直接连^妾到网管中心而形成的网状结构，链路收敛后整个系统的负荷的有效性降低的情况。上面对本发明实施例提供分布式网管采集系统和方法进行了详细定描述。为了更好的实现本发明的目的，本发明实施例还提供一种采集器，如图4所示，该采集器包括'网元信息采集单元40,用于搜索网元，向所述的采集器管理装置发送网元信息采集单元40到网段的路由信息和网元信息；管理通知接收单元41，用于接收采集器管理装置通知其管理网元的信息(即网元的归属信息)；网元管理单元42,用于对网元进行管理，收集网元的性能统计数据、日志数据、告警数据，并将所收集的数据向所述的采集器管理装置发送。为了更好实现本发明的目的，本发明实施例还提供一种采集器管理装置，其特征在于，参照图5，所述的采集器管理装置包括信息接收单元50,用于接收采集器发送的采集器到网段的路由信息和网元信息，并根据所述的路由信息形成采集器管理范围列表；归属确定单元51,用于根据所述的采集器管理范围列表和网元信息来确定采集器管理网元的范围，即确定网元的归属。并通知采集器对其管理范围内的网元进行管理，具体是根据网元所属网段来查找ping值最小、跳数较小的、可用的采集器，并将该采集器确定为该网元的管理者。下面以告警数据和性能统计数据的采集为例结合图2描述应用本发明实施例提供的分布式网管采集系统、实现方法及相关设备的一个具体实施例。网管主控装置202由主控模块、性能管理模块、告警管理模块、安全管理模块、配置管理模块、中央数据服务器和采集器管理装置等模块组成，通常设置在同一台物理设备上(也可以根据系统负荷，将各个模块分别设置到不同的物理设备上)。采集器253(假设IP为10.10.11.100)和采集器263(假设IP为10.10.11.200)设置的时候完全一致，采集器253及采集器263和采集器管理装置204之间的端口已经开放(采用80端口传送控制命令和小量数据，通过20和21端口以ftp协议的方式传输大量数据)。设置的时候采集器253及采集器263向采集器管理装置204(假设IP地址为10.9.9.9)登记注册，发送register命令(注册命令)。采集器管理装置204分别返回给采集器253的标识为(8C41B678-4A48-4d56-BB35-67EFlE7CDC4C》和采集器263的标识为{ADFlB8BA-E5E7-474f-B815-5CBE9B2BF8DB}，完成注册过程。两个采集器253和采集器263将各自的标识记录下来，以后再注册的时候携带上自身的标识。采集器253搜索子网25和子网26,采集器263搜索到子网26,并将采集器到网段的路由信息发送给采集器管理装置204。采集器管理装置204根据所述的路由信息形成如下管理范围列表并记录到中央数据服务器203的数据库中<table>tableseeoriginaldocumentpage13</column></row><table>当一个新网元(假设IP为10.10.13.5)纳入管理的时候，采集器管理装置204判定这个网元属于第三子网(不属于子网25或子网26任何一个子网)，该网元离子网25的釆集器253最近，于是通知采集器253管理该网元(IP:10.10.13.5),采集器253设置新网元的上报地址为(IP:lO.lO.ll.lOO)，于是这个网元(IP:10.10.13.5)的告警数据都上报到采集器253,采集器253格式化并经过预处理所述的告警数据后，通过采集器管理装置204转发给网管主控装置202的告警管理模块处理。同时，采集器253定时周期性(通常为5分钟或者30分钟，周期可通过命令设置)的通过SNMP协议(简单网络管理协议)或者RMON协议(远程监控协议)等协议采集网元(IP:10.10.13.5)的性能统计数据，将性能统计数据临时存放在釆集器253上，每个一定周期(如15分钟或l小时，周期可配置)采集器253将收集到的性能统计数据通过ftp协议方式上传给网管主控装置202的性能管理;漠块处理。采用本发明实施例提供的分布式的网管采集系统、方法及相关设备，在每次新增加一个子网的时候，可以设置一个新的采集器到这个子网中，只需要在采集器上配置采集器管理装置的地址，并配置好该采集器和管理装置之间的防火墙需要打开http(超文本传输协议)和ftp(文件传输协议)通道，有可能需要做一下NAT映射，这样该子网的所有设备都可以纳入到本发明实施例所提供的网管系统中进行管理。采用本发明实施例提供的分布式的网管采集系统和方法，新增子网的时候，也可以不增加新的采集器，而由相邻网段的采集器自动搜索到该网段，并纳入到管理范围中。当网络发生调整的时候(比如整个子网进行迁移)，同样可以只重新在采集器上配置管理装置的地址，采集器会重新注册(GUID标识保持不变)并重新搜索采集器的管理范围。采用本发明实施例提供的分布式的网管采集系统和方法，采集器和采集器管理装置之间保持心跳消息，当采集器与采集器管理装置失去联系时候，则该采集器管理装置的可用性状态会被标识为O(即不可用)，直到重新连接后再标识为可用状态，重新连接后采集器会更新可管理网段的ping值。采用本发明实施例提供的分布式的网管采集系统和方法，由于是由分布式设置的采集器来收集网元的性能统计数据、告警数据、日志数据等。采集器通过SNMP、RMON(远控网络监控协议)、Netflow(网络流量监控协议)等协议将性能统计数据、告警数据、日志数据等收集，然后采用ftp/sftp协议通过采集器管理装置传送到网管主控装置，由网管主控装置统一进行分发处理。采集器与网元处在同一个网段或者相邻网段，中间环节减少很多，数据的准确性和及时性大大提高。特别是对采用无连接协议进行管理的设备，丟包率会显著下降，可靠性增强。采集器可以做一些数据预处理，网管主控装置也可以分布部署，支持多个实施方式，所以整个分布式网管采集系统的管理M^模可达到数万节点。由于资源中心只有一套，所以能很方便的监控到整个网络的状况。采用本发明实施例提供的分布式的网管采集系统和方法，不需要对各个网元配置单独配置防火墙规则，只需要简单配置一次采集器和采集管理装置之间的防火墙规则即可，大大简化了网络配置工作。采用本发明实施例提供的分布式的网管采集系统具有良好的适应性，即使某一个采集器死机或者升级的时候，邻近区域的采集器可以在很短时间内接管这些网元，是一个自适应的过程。系统可扩展能力也很强，新增加子网可以灵活地根据网络的负荷来决定是否需要新增加采集器。以上对本发明实施例所提供的一种分布式网管采集系统、方法及相关设备，进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书实施例的内容不应理解为对本发明的限制。权利要求1、一种分布式网管采集系统，其特征在于，包括采集器管理装置，用于接收采集器发送的采集器到网段的路由信息和网元信息，根据所述的路由信息形成采集器管理范围列表，并根据所述的采集器管理范围列表和网元信息来确定采集器管理网元的范围，并通知采集器对其管理范围内的网元进行管理；采集器，用于搜索网元，向所述的采集器管理装置发送采集器到网段的路由信息和网元信息，并根据采集器管理装置确定的管理范围对网元进行管理。2、如权利要求1所述的分布式网管采集系统，其特征在于，所述的路由信息包括采集器到网段的ping值、跳数、可用性。3、根据权利要求2所述的分布式网管采集系统，其特征在于，所述的采集管理装置根据所述的采集器管理范围列表确定采集器管理网元的范围；具体包括采集器管理装置根据采集器管理范围列表查找ping值最小、跳数最小、可用的采集器，并将该采集器确定为该网元的管理者。4、如权利要求1所述的分布式网管采集系统，其特征在于，所述的采集器对网元进行管理，包括采集器收集网元的性能统计数据、日志数据、告警数据，并将所收集的数据发送到所述的采集器管理装置。5、如权利要求1所述的分布式网管采集系统，其特征在于，还包括网管主控装置，用于对网元进行接入管理，维护网元信息，接收并处理采集器收集汇总并通过采集器管理装置发送的各种数据；中央数据服务器，用于保存网元信息、采集器管理范围列表和所述的各种数据。6、一种采集器，其特征在于，其包括网元信息采集单元，用于搜索网元，发送所述网元信息采集单元到网段的路由信息和网元信息；管理通知接收单元，用于接收其管理网元的信息的通知；网元管理单元，用于对网元进行管理。7、如权利要求6所述的采集器，其特征在于，所述的网元管理单元对网元进行管理具体包括，网元管理单元收集网元的性能统计数据、日志数据、告警数据，并将所收集的数据向所述的采集器管理装置发送。8、一种采集器管理装置，其特征在于，其包括信息接收单元，用于接收采集器到网段的路由信息和网元信息，并根据所述的路由信息形成采集器管理范围列表；归属确定单元，用于根据所述的采集器管理范围列表和网元信息确定网元的管理者。9、如权利要求8所述的采集器管理装置，其特征在于，所述的路由信息包括采集器到网段的ping值、跳数、可用性。10、如权利要求8所述的采集器管理装置，其特征在于，所述的归属确定单元，根据采集器管理范围列表查找ping值最小、跳数较小、可用的采集器，确定该采集器为该网元的管理者。11、一种如权利要求1所述的分布式网管采集系统的实现方法，其特征在于，采集器在网络中搜索网元，并向采集器管理装置发送采集器到网段的路由信息和网元信息；采集器管理装置接收所述的路由信息，形成采集器管理范围列表；采集器管理装置根据所述的采集器管理范围列表和网元信息来确定采集器管理网元的范围，并通知采集器对其管理范围内的网元进行管理。12、如权利要求11所述的分布式网管采集系统的实现方法，其特征在于，所述的路由信息包括采集器到网段的ping值、跳数、可用性。13、根据权利要求11所述的分布式网管采集系统的实现方法，其特征在于，所述的采集管理装置根据所述的采集器管理范围列表确定采集器管理网元的范围，具体包括采集器管理装置根据采集器管理范围列表查找ping值最小、跳数最小的、可用的采集器，确定该采集器为该网元的管理者。14、根据权利要求13所述的分布式网管采集系统的实现方法，其特征在于，所述的采集器对其管理范围内的网元进行管理，具体包括采集器收集其管理范围内的网元的性能统计数据、日志数据、告警敖据，并将所收集的数据向所述的采集器管理装置发送。全文摘要本发明涉及通信领域，提供一种分布式网管采集系统，包括采集器管理装置，用于接收采集器发送的路由信息和网元信息，并通知采集器对其管理范围内的网元进行管理；采集器，根据采集器管理装置确定的管理范围对网元进行管理，以及实现分布式网管采集系统的方法和相关设备。减少网络配置的工作量，在网络扩充或变化时，能够自动适应变化，大大减少人工干预的工作量。同时提供统一的网管访问入口，能够通过一套网管系统对具有众多网元节点的网络进行管理。文档编号H04L12/24GK101217398SQ20071030568公开日2008年7月9日申请日期2007年12月28日优先权日2007年12月28日发明者翔叶,曾成勇,桂润堂申请人:华为技术有限公司