一种数据采集方法和系统的制作方法
【技术领域】
[0001] 本发明涉及计算机网络通信技术领域，特别涉及一种数据采集方法和系统。
【背景技术】
[0002] 在网络运维管理中，用户需要了解不同服务器上的数据信息，如内存剩余容量、磁 盘剩余大小等信息，因此，数据采集是网络运维管理系统中非常常见的一种操作需求。但 是，现有数据采集方案中，采集服务端与各采集终端之间的消息传递是通过一个消息中间 件来进行关联，如MQ消息队列，把MQ消息队列部署到中间网络的服务器上，该部署了MQ 消息队列的中间网络服务器所在的网络，与采集服务段的网络和采集终端所在的网络是通 的，多个网络需要部署多个MQ消息队列。
[0003] 可见，现有数据采集方案中，应用程序和采集应用程序通信时，要借助MQ中间件 来做消息中转，应用程序信息不直接交互，并且采集应用程序服务器分属于多个网络时，就 需要部署多个MQ，占用的资源比较多，而且部署和配置MQ比较繁琐。
【发明内容】
[0004] 鉴于上述问题，本发明实施例提供一种数据采集方法和系统，通过采用HTTP协议 实现采集服务端与采集终端之间的消息传输，避免设置消息中间件带来的繁琐及资源浪费 的问题。
[0005] 本发明实施例采用了如下技术方案：
[0006] 本发明一个实施例提供了一种数据采集方法，所述方法包括：
[0007] 采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系；
[0008] 当接收到采集任务，采集服务端根据所述采集任务的目标采集终端的网络连通关 系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务。
[0009] 所述采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系包 括：
[0010] 采集终端利用PING命令PIN采集网络中的采集设备，将能PIN通的采集设备的IP 地址标记为该采集终端的父IP地址；所述采集设备为采集服务端及其它采集终端；
[0011] 采集终端将各自的父IP地址同步至采集服务端。
[0012] 所述当接收到采集任务，采集服务端根据所述采集任务的目标采集终端的网络连 通关系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务包括：
[0013] 当接收到采集任务，采集服务端解析所述采集任务，确定采集任务对应的目标采 集终端；
[0014] 在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地 址；
[0015] 判断目标采集终端的父IP地址中是否有采集服务端IP地址，若有，则采集服务端 直接采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务；
[0016] 若目标采集终端的父IP地址中没有采集服务端IP地址，则查找目标采集终端父 IP地址对应采集终端的父IP地址，在查找得到的父IP地址中判断是否有采集服务端IP地 址，若有，则将包括采集服务端IP地址的采集终端作为采集代理端，采集服务端经所述采 集代理端采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务；
[0017] 若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地 址，则继续查找采集终端上一级父IP地址，直至找到父IP地址中包括采集服务端IP地址 的采集终端，根据各级采集设备间的连通关系，将目标采集终端和采集服务端之间的采集 终端作为采集代理端，采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端 进行数据交互，完成数据采集任务。
[0018] 所述方法还包括：
[0019] 利用PING命令PIN采集代理端，判断采集代理端的当前连通状态；
[0020] 选择当前处于连通状态的采集设备作为采集代理端。
[0021] 若当前处于连通状态采集代理端为多个，所述方法还包括：
[0022] 比较各采集代理端PIN通的时间，选取PIN通时间最短的采集终端作为优选采集 代理端。
[0023]另外，本发明实施例还提供了一种数据采集系统，所述系统包括：
[0024] 网络连通关系获取模块，用于采集服务端获取采集网络中各采集终端基于HTTP 协议的网络连通关系；
[0025] HTTP采集模块，用于当接收到采集任务，采集服务端根据所述采集任务的目标采 集终端的网络连通关系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任 务。
[0026] 所述网络连通关系获取模块包括：
[0027] 父IP获取单元，用于采集终端利用PING命令PIN采集网络中的采集设备，将能 PIN通的采集设备的IP地址标记为该采集终端的父IP地址；所述采集设备为采集服务端 及其它采集终端；
[0028] 同步单元，用于采集终端将各自的父IP地址同步至采集服务端。
[0029] 所述HTTP采集模块包括：
[0030]目标采集终端确定单元，用于当接收到采集任务，采集服务端解析所述采集任务， 确定采集任务对应的目标采集终端；
[0031] 目标采集终端父IP查找单元，用于在所述各采集终端基于HTTP协议的网络连通 关系中查找目标米集终端的父IP地址；
[0032] 采集路径第一判断单元，用于判断目标采集终端的父IP地址中是否有采集服务 端IP地址，若有，则采集服务端直接采用HTTP协议与目标采集终端进行数据交互，完成数 据米集任务；
[0033] 采集路径第二判断单元，用于若目标采集终端的父IP地址中没有采集服务端IP 地址，则查找目标采集终端父IP地址对应采集终端的父IP地址，在查找得到的父IP地址 中判断是否有采集服务端IP地址，若有，则将包括采集服务端IP地址的采集终端作为采集 代理端，采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互，完成 数据采集任务；
[0034] 采集路径第三判断单元，用于若目标采集终端父IP地址对应采集终端的父IP地 址中不包括采集服务端IP地址，则继续查找采集终端上一级父IP地址，直至找到父IP地 址中包括采集服务端IP地址的采集终端，根据各级采集设备间的连通关系，将目标采集终 端和采集服务端之间的采集终端作为采集代理端，采集服务端经多级所述采集代理端采用 HTTP协议与目标采集终端进行数据交互，完成数据采集任务。
[0035] 所述系统还包括：
[0036] 当前连通状态确定模块，用于利用PING命令PIN采集代理端，判断采集代理端的 当前连通状态；
[0037] 选择模块，用于选择当前处于连通状态的采集设备作为采集代理端。
[0038] 所述系统还包括：
[0039] 优选模块，用于若当前处于连通状态采集代理端为多个，比较各采集代理端PIN 通的时间，选取PIN通时间最短的采集终端作为优选采集代理端。
[0040] 本发明实施例提供的一种数据采集方法和系统，采集服务端获取采集网络中各采 集终端基于HTTP协议的网络连通关系；当接收到采集任务，采集服务端根据所述采集任务 的目标采集终端的网络连通关系，采用HTTP协议与目标采集