专利名称：一种分布式数据集中的方法
技术领域：
本发明涉及IT运维领域，尤其涉及一种分布式数据集中的方法。
背景技术：
随着网络规模日益扩大，结构日渐复杂，对分布式应用服务的数据管理和维护难度越来越大，对智能化管理需求也越来越明显。在IT运维领域中对于分布式服务器部署越来越广泛，当中心服务器需要管理分布式服务器的数据时，往往是切换到分布式服务上才能管理数据，所以提供了分布式数据集中管理的方法在中心服务器就可以对分布式数据进行统一管理，针对分布式服务器海量的采集数据进行集中处理，从而快速、准确、全面、客观的展示分布式数据。
发明内容
SNMP Simple Network Management Protocol，简单网络管理协议 Telne t In terne t远程登陆服务的一种协议和方式
SSH, Secure Shell,为建立在应用层和传输层基础上的安全协议
FTP，File Transfer Pro tocol，文件传输助> 议，用于In terne t上的控制文件的双向传
JDBC,Java Data Base Connectivi ty, java 数据库连接，用于执行 SQL 语句的 Java API 接口
本发明提供了一种分布式数据集中的方法，配置数据采集机和中心服务器的通信权限，数据采集机采集网管设备数据，通信权限认证成功后通过代理服务器定时把数据发送到中心服务器，数据集中在中心服务器中管理和展现。如图1所示，该方法主要包括注册认证、采集、发送数据其具体步骤如下1)在代理服务器中录入数据采集机和中心服务器的通信关系列表；2)在代理服务器上注册认证信息；3)在代理服务器上根据认证信息， 设置数据采集机和中心服务器的通信权限；4)在代理服务器上配置采集数据的过滤规则； 5)在数据采集机上录入网管设备的采集方式及相关信息，设置网管设备的定时轮询采集模式；6)数据采集机定时发送采集数据和认证信息到代理服务器上；7)数据采集机认证成功后连接到代理服务器中，通过配置规则对采集数据进行封装后统一上报到指定的中心服务器上；8)当中心服务器接收到数据后，通过代理服务器通知数据采集机数据接收成功；9) 中心服务器进行数据汇总。本发明中，所述步骤1)可用过EXCEL、XML、TXT导入中心服务器和数据采集的通信绑定关系，一条信息代表一条可通信的线路，可支持中心服务器集群、数据采集机集群，支持多对多的关系，多台中心服务器和采集机可绑定不同的通信线路。本发明中，所述步骤、2)在代理服务器上注册认证信息使用用户名和密码的方式注册，也可以通过认证码的方式注册
本发明中，所述步骤、3)是将所述步骤1)和步骤2)中线路通信权限与注册的认证信息进行关联，有此权限后才能对中心服务器发送数据。本发明中，所述步骤1)、2 )其顺序可以任意交换。本发明中，所述步骤4)可根据具体需要进行设置或缺省。本发明中，所述步骤5)、6)需要以步骤1)、2)、3)为前提。本发明中，所述步骤7 )、8 )采用步骤5 )、6 )中设置的定时轮询方式，定时采集和发送数据。本发明中，所述步骤7)是分布式数据集中的过程，步骤9)需要以步骤1)、2)、3)、 5)、6)、7)、8)为前提。综上所述，由于采用了上述技术方案，本发明的有益效果是可以显著对分布式数据进行方便的管理和集中，并且数据可以在中心服务器进行统一管理，这样不仅节约人工维护成本，而且也降低了维护处理的风险。
本发明将通过例子并参照附图的方式说明，其中图1是分布式数据集中的步骤流程图。图2是分布式数据集中原理图。图3是分布式数据集中交互图。
具体实施例方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施方式
1
下面将结合附图对本发明做进一步的说明
如图1所示，SNMP方式进行网管设备进行数据采集，代理服务器集成FTP服务对分布式数据集中和上传的步骤为1)通过EXCEL/XML/TXT文件方式导入在代理服务器中录入数据采集机和中心服务器的通信关系列表，导入信息包括数据采集机IP地址、中心服务器的IP地址，每条数据对应了数据采集机和中心服务器通信关系。2)在代理服务器上注册认证信息，此认证信息包括了登陆FTP服务的ID和PASSWORD以及登陆代理服务器的ID和 PASSWORD,登陆代理服务器ID与登陆FTP服务的信息进行关联。3)在代理服务器上根据认证信息，设置数据采集机和中心服务器的通信权限。此步骤就是把步骤1)和步骤2)的信息进行绑定，认证信息可拥有多条通信线路的权限，此权限目的为认证信息是否有权限在条线路中执行数据传送4)在代理服务器上配置采集数据的过滤规则。当网管设备采集数据发送到代理服务器时，采集数据中包括的网络、终端、数据库信息，但对于1号中心服务器只需要终端信息、此时就过滤掉网络和数据库信息。5)在数据采集机上录入网管设备信息采集方式为SNMP，网管设备IP、团体字、信息采集的OID等相关采集需要的信息，再设置数据采集轮询模式可以设置为每天/每周/每月某个时间点轮询，同时设置定时数据发送中心服务器的时间点和周期。6)当数据机采集完毕后获取数据发送的时间和周期，如判断周期和时间点已经达到则发送认证消息和数据包到代理服务器上。7)代理服务器步接收步骤2中的认证信息和数据包，通过认证信息获取步骤3中进行关联后的数据采集机和中心服务器的数据传输通信权限，如果有权限则再次通过认证信息获取关联的ftp 口令和对应的中心服务器IP来确定数据发送点，此后通过获取数据过滤规则进行数据过滤，也可以对数据进行格式转换和封装后发送到指定的IP中心服务器上，否则认证失败则不发送。8 )当中心服务器收到代理服务器发送的数据包时候，会返回接收成功与否标示符到代理服务器。9 )以达到中心服务器对采集数据进行集中管理和展现的目的。
具体实施方式
2
下面将结合附图对本发明做进一步的说明
Telnet/SSH方式进行网管设备进行数据采集，代理服务器集成EJB对分布式数据集中和发送的步骤为1)通过信息注册的方式注册在代理服务器中录入数据采集机和中心服务器的通信关系列表，导入信息包括数据采集机IP、端口、中心服务器的IP、端口，每条数据对应了数据采集机和中心服务器通信关系。2)在代理服务器上注册认证信息，此认证信息包括了登陆代理服务器的口令。3)在代理服务器上根据认证信息，设置数据采集机和中心服务器的通信权限。此步骤就是把步骤1)和步骤2)的信息进行绑定，认证信息可拥有多条通信线路的权限，此权限目的为认证信息是否有权限在条线路中执行数据传送 4)在代理服务器上配置采集数据的过滤规则。当网管设备采集数据发送到代理服务器时，采集数据中包括的网络、终端、数据库信息，但对于1号中心服务器只需要终端信息、对于2号中心服务器只需要网络信息、3号服务器只需要数据库信息此时就根据过滤规则进行分别过滤。5)在数据采集机上录入网管设备的采集方式Telnet/SSH、IP、数据采集脚本等相关采集需要的信息，再设置数据采集轮询模式可以设置为每天/每周/每月某个时间点轮询，同时设置定时数据发送中心服务器的时间点和周期。6)当数据机采集完毕后获取数据发送的时间和周期，如判断周期和时间点已经达到则发送认证消息和数据包到代理服务器上。 7)代理服务器步接收步骤2中的认证信息和数据包，通过认证信息获取步骤3中进行关联后的数据采集机和中心服务器的数据传输通信权限，如果有权限则再次通过认证信息获取关联IP、端口信息来确定代理服务器中EJB数据发送点，此后通过获取数据过滤规则进行数据过滤，也可以对数据进行格式转换和封装后发送到指定的IP中心服务器上，否则认证失败则不发送。8 )当中心服务器收到代理服务器发送的数据包时候，会返回接收成功与否标示符到代理服务器。9 )中心服务器对采集数据进行集中展现。本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求
1.一种分布式数据集中的方法，其特征在于该方法包括以下步骤1)在代理服务器中录入数据采集机和中心服务器的通信关系列表；2)在代理服务器上注册认证信息；3)在代理服务器上根据认证信息，设置数据采集机和中心服务器的通信权限；4)在代理服务器上配置采集数据的过滤规则；5)在数据采集机上录入网管设备的采集方式及相关信息，设置网管设备的定时轮询采集模式；6)数据采集机定时发送采集数据和认证信息到代理服务器上；7)数据采集机认证成功后连接到代理服务器中，根据所述步骤4)中的配置规则对采集数据进行过滤再统一传送到指定的中心服务器上；8)当中心服务器接收到数据后，通过代理服务器通知数据采集机数据接收成功；9)中心服务器进行数据汇总。
2.根据权利要求1所述的一种分布式数据集中的方法，其特征在于所述步骤3)的具体工作步骤是将所述步骤1)和步骤2)中线路通信权限与注册的认证信息进行关联，有此权限后才能对中心服务器发送数据。
3.根据权利要求1所述的一种分布式数据集中的方法，其特征在于所述步骤7)、8)也具体采用步骤5)中设置的定时轮询方式，定时进行数据采集和发送。
4.根据权利要求1所述的一种分布式数据集中的方法，其特征在于所述步骤5)可根据具体需要进行设置或使用缺省值。
5.根据权利要求1所述的一种分布式数据集中的方法，其特征在于所述步骤1)、2)， 其顺序可以交换。
全文摘要
本发明公开了一种分布式数据集中的方法,该方法包括以下步骤:1)在代理服务器中录入数据采集机和中心服务器的通信关系列表；2)在代理服务器上注册认证信息；3)在代理服务器上设置数据采集机和中心服务器的通信权限；4)在代理服务器上配置数据的过滤规则；5)在数据采集机上设置网管设备的定时轮询采集模式；6)数据采集机定时发送采集数据和认证信息到代理服务器上；7)认证成功后代理服务器根据配置规则对数据进行过滤再统一传送到中心服务器；8)中心服务器进行数据汇总。应用上述方法，可以显著对分布式数据进行方便的管理和集中，并且数据可以在中心服务器进行统一管理，这样不仅节约人工维护成本，而且也降低了分布式数据管理的风险。
文档编号H04L29/08GK102185715SQ201110114139
公开日2011年9月14日 申请日期2011年5月4日 优先权日2011年5月4日
发明者廖昕, 王希 申请人:成都勤智数码科技有限公司