一种数据调度采集装置与方法
【技术领域】
[0001 ]本发明涉及信息通信领域，尤其涉及一种数据调度采集装置与方法。
【背景技术】
[0002]统一采集平台的研发及实施，是以适应智能电网的发展趋势为目标，以严格遵循国家电网公司的相关制度和标准为原则，以始终不渝地提供高质量产品和服务为宗旨，为智能电网信息化、自动化、互动化的长远建设和发展竭尽全力。
[0003]统一采集平台是中国移动提出的一套采集系统，实现了对网络设备层各类网元设备的资源(配置)、性能、告警、日志的数据采集。
[0004]统一采集平台包括平台框架层、采集适配层和设备层，其中，平台框架层，又称数据管理层，负责监视采集适配层的采集状态，分发采集数据、自身监控，以及管理接口。采集适配层包括各种功能的适配器，用于采集配置调度、各种协议适配、数据检测、数据解析、数据归一化等;设备层，又称数据源层，包括提供测量数据的实体(设备)，用于向采集适配层提供各种测量数据。
[0005]然而，在现有业务功能和技术实现方案中，存在以下问题:
[0006]数据源采集的测量数据将形成的文件存储在单机上，一旦单机磁盘出现磁盘故障，该机器上的所有采集数据文件将丢失；
[0007]采集适配层的采集任务调度由本身负责调度(比如Quartz)，同时也有单点故障的隐患，当采集适配层中的进程被删除后，该采集适配层的任务将丢失；
[0008]当采集适配层中部分适配器所承担的采集任务负荷较大，一个测量数据周期的时间未能将测量数据采集完整时，会出现采集任务积压的现象，此时需要人工参与将部分任务分配给别的适配器，再进行工作。
【发明内容】
[0009]为实现解决上述问题，一方面，本发明提供了一种数据调度采集装置，该装置包括:平台框架层、采集适配层和设备层;平台框架层用于接收采集请求，下发采集任务，获取采集适配层的采集任务进度信息，分发采集数据;采集适配层包括多个采集适配器用于接收采集任务，对设备层进行数据采集;采集适配层将具有相同采集能力的多个适配器划分为一个适配器域;设备层包括多个数据源用于向采集适配层提供采集数据;其中，平台框架层包括:调度集群模块和原平台框架模块;原平台框架模块用于接收采集请求和适配器控制信息；调度集群模块用于接收原平台框架模块发出的采集请求，生成采集任务，并将采集任务下发至采集适配层相应适配器域中负荷较轻，且未损坏的适配器中；采集适配层中的适配器，根据采集任务向设备层中相应的数据源进行数据采集;原平台框架模块通过适配器控制?目息获取米集适配层的米集任务进度?目息。
[0010]进一步的，平台框架层还包括:分布式文件系统HDFS模块;分布式文件系统HDFS模块用于存储根据采集任务采集的数据;采集的数据以文件的形式存储在分布式文件系统HDFS模块中；分布式文件系统HDFS模块将采集的数据以文件的形式，且按文件大小进行存储，并进行定期的文件存档和合并。
[0011 ]进一步的，调度集群模块包括:数据库集群单元、调度单元、虚拟服务器单元和检测单元;数据库集群单元用于存储采集任务与装置配置信息；调度单元包括调度开源框架单元和一组调度中心，用于根据采集请求生成采集任务，并调度数据库集群单元中存储的采集任务;虚拟服务器单元与检测单元用于对调度中心进行均衡控制。根据采集请求，调度单元中的调度中心通过调度开源框架单元，生成采集任务存储于数据库集群单元中，调度单元调度采集任务，进行数据采集，其中，根据虚拟服务器单元与检测单元，对调度中心进行均衡控制。
[0012]进一步的，调度单元，还用于将选择执行采集任务的采集适配层中相应适配器域的适配器。
[0013]进一步的，调度中心用于通过调度开源框架单元对数据库集群单元中存储的采集任务进行抢占，抢占成功的调度中心对米集任务进行加锁，得到执行米集任务的米集权限；调度中心将采集任务下发到采集适配层相应适配器域中未损坏且负荷较轻的适配器中。
[0014]进一步的，采集适配层中适配器通过适配器控制信息中定时发送的心跳信息告知原平台架构层相应适配器域内适配器的工作状态。
[0015]进一步的，每个调度中心包含各自的IP地址;虚拟服务器单元包含浮动IP地址;采集适配器层利用虚拟服务器单元提供的浮动IP地址与多个调度中心的多个IP地址进行匹配，通过适配器控制信息中任务状态上报接口告知平台框架层采集任务进度信息。
[0016]另一方面，本发明提供了一种数据调度采集方法，该方法包括:接收采集请求和适配器控制信息;根据采集请求，生成采集任务，并通过任务下发至采集适配层相应适配器域中负荷较轻，且未损坏的适配器;对设备层进行数据采集;存储根据采集任务采集的数据；通过适配器控制?目息获取米集任务进度?目息。
[0017]进一步的，通过适配器控制信息获取采集任务进度信息的步骤，包括:
[0018]根据虚拟服务器单元和检测单元获得的IP地址匹配结果，并通过适配器控制信息中任务状态上报接口上报采集任务进度信息。
[0019]本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平;利用分布式文件系统HDFS模块对采集数据进行存储，实现了数据的高容错性与高吞吐量。
【附图说明】
[0020]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0021 ]图1为本发明实施例提供的一种数据调度采集装置的结构示意图；
[0022]图2为图1中调度集群模块的内部示意图；
[0023]图3为本发明实施例提供的一种数据调度采集方法的流程图。
【具体实施方式】
[0024]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0025]图1为本发明实施例提供的一种数据调度采集装置的结构示意图。如图1所示，该采集装置包括平台框架层100、采集适配层200和设备层300，其中，平台框架层100用于接收采集请求，下发采集任务，获取采集适配层的采集任务进度信息，分发采集数据，自身监控和管理接口，包括:调度集群模块11、分布式文件系统HDFS模块103，以及原平台框架模块102；
[0026]调度集群模块101用于根据采集请求，生成任务，配置采集策略，并调度该采集任务;分布式文件系统HDFS模块103用于存储根据采集任务采集的数据，为该装置提供高吞吐量的数据访问；原平台框架模块102用于接收采集请求和适配器控制信息，如适配器启停、即时采集、任务状态上报和主机状态上报等信息。其中，调度集群模块101通过任务下发接口向采集适配层中相应的适配器下发采集任务;存储在分布式文件系统HDFS模块103中的采集数据，每份数据都会保持3个副本，保证了数据的安全性。
[0027]采集适配层200由多个采集适配器组成，用于对设备层进行数据采集，采集适配层将具有相同采集能力的多个适配器划分为一个域，并通过注册信息上报给平台框架层100，适配器采集到