专利名称：一种通用数据采集的实现方法
技术领域：
本发明涉及网络技术，特别涉及网络设备的管理。
背景技术：
随着网络技术的发展涌现了各种各样的设备，网络中运行的设备越多，网络的拓扑结构也就越复杂，如何管理好网络上运行的设备，网络运营商就为网络管理系统提出了许多新的要求，不仅要求能够通过网管软件对网上的单个设备进行配置管理，而且还要求能够对整个计算机网络上运行的设备进行监控管理。
在网络管理方面，虽然目前大多数设备都支持简单网络管理协议(Simple Network Management System，简称SNMP)协议，但由于设备的多样性，功能不一，各个设备商提供的管理信息库(ManagementInformation简称MIB)接口还是大不一样，特别是针对设备的一些特性，许多设备大多提供的是私有MIB或私有接口，因此目前网络管理系统大多都是设备厂商针对具体设备来开发软件进行设备管理的，每出现一种新的设备，都要重新开发一套，虽然有些网管系统有统一的面板管理模块，但是数据采集等模块，还是针对设备供应商提供的MIB接口，需要重新开发数据采集部分。
现有的网络管理软件系统，大多都是设备厂商自己提供设备管理软件，设备厂商根据自己的设备特点，定义相关的MIB或其它接口，然后再针对该接口开发专有的数据采集、处理、显示功能。
由于设备特性比较专一，开发软件时比较有针对性，当出现新的产品特性时，就需要重新开发新特性的管理功能。
例如，在设备的形状上，有的设备是由机架、机框、单板、扣板、端口等组成元素，而有的设备则只有其中的一部分。即便是两个厂商的设备外表形态相同，都包含有这些元素，但由于供应厂商不同，实现的接口也未必一致，他们对外提供的MIB接口也可能不一样，所以在网管软件实现上，也不可能一样。
现有网络设备数据采集方法，由于开发是针对设备的某一特性开发的，在开发接口时考虑的可能不够开放，也由于设备的多样性，造成原来开发的软件不能支持新的特性，因此要支持新的特性，就必须重新开发，程序可重用性较少；也由于设备数据的采集和加工处理、显示等都集成在一起，不能够单独分析运行，所以想要进行分布式处理数据采集有些困难。
发明内容
本发明的目的是提供一种通用开放的网络设备数据采集方法和系统，把采集到的数据进行持久化保存，以方便用户进行查询或其它方式(如拓扑图、面板)的界面显示，提高网络管理系统或其它应用软件的通用性，便于进行设备数据采集应用软件的模块化和通用化，节省开发人力和成本；而在数据持久化保存时，记录中增加了起始时间，采集数据后都与往次数据进行比较，只有数据变化时才进行变化数据和起始时间的保存，节省了存储空间；本系统在采集到变化的数据后能够通知需要进行数据加工处理的模块；由于本发明把数据采集和加工进行了分离，使数据采集模块可以单独运行，并可以同时多处部署，支持分布式采集方式，增大了网络管理的容量。
本发明的目的是通过以下技术方案实现的
本发明的网络设备数据采集方法，是一种通过配置方法，把数据采集和数据加工处理分开，把要进行采集的设备数据通过配置表项或配置文件进行描述，而配置信息由一个应用程序进行解析后，再依据配置内容和相应协议到设备上采集数据，并把采集到的结果进行持久化保存或转交给需要的接口模块进行加工处理。同时采集数据模块也可以依据配置信息，进行设备数据的周期采集，把采集到的数据和上次进行比较，只把数据变化的部分进行更新或通知相应需要的接口模块；也可以对采集的数据进行持久化保存，而在持久化保存时，只保存新增数据和变化数据以及该数据的起始时间，以此来节省数据存储空间。
本发明提出的通用网络设备数据采集方案是把原来的数据采集和数据加工进行分离，只对数据采集进行通过配置方法，进行统一采集，把设备原始数据表项通过配置方法和数据表进行一一对应，通过采集模块采集后进行比较保存，提高代码的可重用性，节省开发成本，并且可以分布在不同的网管上运行，提高网管的管理设备容量。而数据加工处理部分，则可以利用数据库强大的数据处理能力，进行相应的处理，由于数据库接口比较开放，便于处理，也可以进行相应的编程处理。
图1为网络设备数据采集配置对应关系示意图；图2为本发明中各个模块的工作示意图；图3网络设备数据采集配置对应关系示意图；具体实施方式
下面结合附图和一个具体实施例对本发明进行详细阐述。
如图1所示的网络管理系统组网图示意图，如图所示，网络中多种设备需要管理，而各个设备的数据采集是可以单独抽取出，统一开发。
图2是本发明各个模块工作示意图，本发明可以抽象成如图2所示的的功能模块，其中，配置表项或配置文件主要是描述如下内容(1)哪类网络设备需要通过管理维护；(2)什么协议采集；(3)需要采集的设备数据项；(4)如何处理等信息；设备数据项的配置信息中包括数据类型和数据长度等信息，设备数据项可以是单独的数据项，也可以是一个数据表。
数据采集模块完成如下功能(A)解析配置信息；(B)完成协议的适配；(C)数据的采集或接收；(D)数据的比较；(E)数据的保存；(F)数据的通知；如图2，其中配置信息解释模块完成解析配置信息、协议的适配；接口模块完成数据的采集或接收；控制模块完成数据的比较、数据的保存、通知加工模决处理数据等功能。
网络设备数据采集模块的主要功能为1.解析上面定义的配置表项内容，主要分析需要对哪些设备，通过什么协议，进行哪些数据项的采集或接收工作。
2.协议适配功能就是对进行数据接收的端口、进行相应的UDP端口监听或TCP联接，对要进行数据采集的，依据协议和轮询机制构造相应的轮询接口。
3.数据采集或数据接收主要是到设备上进行数据采集或是接收设备上报数据。对于数据接收功能，需要在接收到数据后，还要进行相应数据表项的匹配功能，通过对比知道应该向哪个数据表中保存或加工处理。而采集模块，则是在采集之前，就已经知道采集结果应该存向哪个数据表了。
4.进行采集数据的历史比较功能就是对C中获取数据的和上次历史数据进行比较处理，由于数据采集的结果可能和上次结果相同，这样的数据就可以不用保存，可以只进行次数统计或是时间匹配即可。
5.对于采集到的数据，如果数据有变化，则先把历史数据表中增加上次的数据时起始时间，然后数据表中更新新记录。
6.数据变更通知向注册的数据加工处理模块通知变更数据和变更的时间。
如果设备采用的是一种数据采集模块不支持的协议，则只需要增加该协议的API接口、补充数据的采集功能即可，对于数据的比较、通知或保存等功能，则可以重用。由于许多设备大多是支持的协议相同，而定义的数据接口不同，所以开发协议接口的工作量并不多，对于新设备而言，大多只需关心数据采集的配置项即可，需要开发新接口的设备比较少。
本发明的配置表项或配置文件的主要内容有
7.设备功能配置表设备类型，协议类型，要采集的数据项对应表，采集到数据后需要通知的加工进程，是否进行周期轮询以及轮询周期等。
8.采集数据配置表主要进行采集数据表项的定义以及与当前保存数据表的对应关系，包括采集数据源中的数据项、识别标志，类型、数据长度、是否保存历史、对应到数据表中的表名或列名等内容。
9.数据持久保存的数据表、历史数据表在2中定义的表项基础上，增加设备编码，起始时间等内容。
10.协议类型的定义表包括协议类型(包括到设备上采集、设备主要上报接收两大类)、设备编码、访问用户等信息。
如图3所示，配置表项或配置文件描述了需要采集的网络设备数据项到持久化数据表项的对应关系，该系统的配置解析模块就是通过配置信息，对设备进行数据采集并持久化数据保存。同时通用设备数据采集系统还根据配置信息进行上面定义的各项功能。
权利要求
1.一种网络设备数据采集的方法，通过配置表项或配置文件来描述设备数据采集的信息，然后通过应用程序来解析配置信息，并自动进行数据采集或接收的方法，其特征在于为每种网络设备定义一些配置记录；通过应用程序来处理解析这些配置记录，然后依据配置内容对相应的设备进行数据采集或数据接收，并按照配置信息把采集或接收到的数据进行比较，对变化数据进行持久化保存，同时通知相应的数据加工处理模块来获取新数据。
2.根据权利要求1所述的网络设备数据采集方法，其特征在于由配置表项或配置文件来描述要采集的网络设备数据项。
3.根据权利要求1或2所述的网络设备数据采集方法，其特征在于进行网络设备数据采集时，由系统读取配置信息，通过解析模块对配置信息进行解析，获取要进行采集或接收的数据项信息和相关数据采集、通知处理等信息，并依据配置信息，进行设备数据项的采集或接收动作。
4.根据权利要求3所述的网络设备数据采集方法，其特征在于依据配置信息，系统可以对要进行周期性数据采集的设备进行定期轮询。
5.根据权利要求3所述的网络设备数据采集方法，其特征在于依据配置信息，系统可以对接收到的数据进行数据格式匹配，分析出是哪类设备上报的数据。
6.根据权利要求4或5所述的网络设备数据采集方法，其特征在于依据配置信息，系统可以对采集或接收到的数据和以往的结果进行比较，仅对发生变化或新增的数据项进行保存，这样可以减少持久化数据量。
7.根据权利要求1所述的网络设备数据采集方法，其特征在于把采集到的数据通知相应的加工处理模块；可以根据配置内容来确定是否是仅在数据变化时通知数据加工处理模块。
8.一种网络设备数据采集系统，包括网络连接起来的各种网络设备，担负网络设备管理任务的计算机以及运行在该计算机上的软件系统，其特征在于网络设备数据采集系统为每个网络设备定义一组数据采集配置记录项；系统读取配置信息，通过配置解析模块对配置记录项进行解析；再通过数据采集模块对网络设备进行数据采集或数据接收；数据采集模块可以根据配置内容进行周期性数据采集；数据接收模块把接收到的数据进行格式匹配，分辨出是哪类设备数据；数据采集模块把采集或接收到的数据和以往的数据进行比较，对数据变化项进行持久化保存；对于需要进行其它数据加工处理的设备数据，数据采集模块会根据配置信息通知相应的注册模块。
全文摘要
本发明公布了一种通用开放的网络设备数据采集方法和系统，把采集到的数据进行持久化保存，以方便用户进行查询或其它方式(如拓扑图、面板)的界面显示，提高网络管理系统或其它应用软件的通用性，便于进行设备数据采集应用软件的模块化和通用化，节省开发人力和成本；而在数据持久化保存时，记录中增加了起始时间，采集数据后都与往次数据进行比较，只有数据变化时才进行变化数据和起始时间的保存，节省了存储空间；本系统在采集到变化的数据后能够通知需要进行数据加工处理的模块；由于本发明把数据采集和加工进行了分离，使数据采集模块可以单独运行，并可以同时多处部署，支持分布式采集方式，增大了网络管理的容量。
文档编号H04L12/24GK1713592SQ20041006299
公开日2005年12月28日 申请日期2004年6月27日 优先权日2004年6月27日
发明者崔科茂 申请人:华为技术有限公司