一种基于自定义任务调度的主动采集的处理方法

文档序号:6371272阅读:328来源:国知局
专利名称:一种基于自定义任务调度的主动采集的处理方法
技术领域
本发明涉及基于自定义任务调度的领域,特别是涉及一种基于自定义任务调度的主动采集的处理方法。
背景技术
目前,信息化建设正以前所未有的速度发展,各种各样的数据急剧膨胀。随着Web技术的不断发展,信息共享和数据交换的范围不断扩大,传统的关系数据库也面临着挑战,各种不同的数据库管理系统之间的数据需要进行任务调度,使其能够应用于数据采集环节中
发明内容
本发明主要解决的技术问题是提供一种基于自定义任务调度的主动采集的处理方法,由系统自动运行,无需手工业务操作,为综合展示提供相关数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。为解决上述技术问题,本发明采用的一个技术方案是提供一种基于自定义任务调度的主动采集的处理方法,包括以下步骤
a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;
b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信
息;
C、连接采集源,输入上述的采集规则信息,输出采集源信息;
d、采集相应数据,输入上述的采集源信息,输出采集数据;
e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据;
f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出;
g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。在本发明一个较佳实施例中,所述的规则配置库定义的采集内容包括采集类型和采集时限。在本发明一个较佳实施例中,所述的原始数据为系统所采集或接收到的未经任何处理的数据
本发明的有益效果是本发明的基于自定义任务调度的主动采集的处理方法,按照规则配置库所定义的采集内容,主动获取机房综合环境相关的原始数据,为数据处理提供基础数据,由系统自动运行,无需手工业务操作,为综合展示提供相关数数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。


图I是本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图。
具体实施例方式下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。请参阅图1,为本发明基于自定义任务调度的主动采集的处理方法一较佳实施例的流程图,该基于自定义任务调度的主动采集的处理方法,包括以下步骤
a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;
b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信
息;
C、连接采集源,输入上述的采集规则信息,输出采集源信息;
d、采集相应数据,输入上述的采集源信息,输出采集数据;
e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据;
f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出;
g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。上述中的,规则配置库定义的采集内容包括采集类型和采集时限;原始数据为系统所采集或接收到的未经任何处理的数据
本发明中的“自定义”指NGDP的相关数据采集任务可以由用户自行设定其频率、状态等参数;“任务”指系统中采集或接收数据的动作;“调度”指系统中相关动作执行的安排。本发明中自定义任务调度的研发环境Java jdk I. 7 + eclipse 3. 7 ;服务器操作系统 CentOS 6.0 Linux, CPU Intel (R) Xeon(R) E5620 2. 40GHz,内存 4GB,硬盘 500GB ;客户端Windows 7专业版操作系统。本发明揭示的基于自定义任务调度的主动采集的处理方法,按照规则配置库所定义的采集内容,主动获取机房综合环境相关的原始数据,为数据处理提供基础数据,由系统自动运行,无需手工业务操作,为综合展示提供相关数数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
权利要求
1.一种基于自定义任务调度的主动采集的处理方法,其特征在于,包括以下步骤 a、检索规则配置库,系统根据规则配置库定义的采集内容,准时和主动进行数据采集,输出相应的采集时限和采集对象;b、明确采集时限和采集对象,输入采集时限和采集对象经过明确后,输出采集规则信息; C、连接采集源,输入上述的采集规则信息,输出采集源信息; d、采集相应数据,输入上述的采集源信息,输出采集数据; e、数据是否存在,系统输入上述的采集数据进行数据判断,区分数据是否有异常,存在的数据的数据为正常数据,不存在的数据为异常数据; f、转换成原始数据,系统将采集到的正常数据经过转换成原始数据输出; g、存入异常数据库,将异常数据存入异常数据库,并创建相应的日志文件。
2.根据权利要求I所述的基于自定义任务调度的主动采集的处理方法,其特征在于,所述的规则配置库定义的采集内容包括采集类型和采集时限。
3.根据权利要求I所述的基于自定义任务调度的主动采集的处理方法,其特征在于,所述的原始数据为系统所采集或接收到的未经任何处理的数据。
全文摘要
本发明公开了一种基于自定义任务调度的主动采集的处理方法,包括以下步骤检索规则配置库、明确采集时限和采集对象、连接采集源、采集相应数据、数据是否存在、转换成原始数据和存入异常数据库。通过上述方式,本发明提供的基于自定义任务调度的主动采集的处理方法,为综合展示提供相关数据,主要是用于主动和定时执行相关数据的采集动作,提高了自定义任务调度的主动采集的效率。
文档编号G06F9/46GK102750182SQ20121019189
公开日2012年10月24日 申请日期2012年6月12日 优先权日2012年6月12日
发明者王清 申请人:苏州微逸浪科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1