本发明涉及数据自动转储系统技术领域，尤其涉及一种用于大数据比对的数据转储方法。主要涉及数据从关系型数据库自动增量读取、按合理方式分区、远程上传等方法，用于将数据转储到大数据环境中进行比对分析。
背景技术：
随着信息化技术的发展，各单位根据自己的业务需要建立了各种各样的系统，近年来积攒了大批量的业务数据，随着数据量的增多，传统的关系型数据库已无法满足对业务数据进行分析的需要，大数据计算随之兴起，各单位希望通过大数据技术对已有的业务数据进行分析。
由于目前业务数据都存储在关系型数据库中，无法进行快速分析，所以需要将存储在关系型数据库中的数据转储到大数据环境中用于分析。
技术实现要素：
为了解决以上问题，本发明提出了一种用于大数据比对的数据转储方法。将存储在关系型数据库中的数据转储到大数据环境中，用于大数据分析，做到自动增量转储、自动检测并分析异常任务。
本发明提供了一种用于大数据比对的数据转储方法，包括：
模型配置：用于配置数据的来源及数据的相关描述，为数据转储做准备；
任务生成器：用于根据配置的模型生成增量任务；
任务调度器：用于数据转储任务的调度；
任务执行实体：数据转储任务的执行者；
异常检测：用于分析成功执行的数据转储任务中那些任务可能会存在异常并产生预警信息。
主要步骤如下：
a、通过模型配置来配置数据来源、数据包含字段、增量字段、数据起始日期等信息；
b、任务生成器根据配置的模型信息及目前已转储的数据情况动态生成数据转储任务并交由任务调度器进行调度；
c、任务调度器根据目前任务数创建任务执行实体并进行任务分配；
d、任务执行实体执行数据转储任务，根据配置的模型信息连接相应数据库，读取增量数据，生成数据文件，记录相关日志，将文件上传到远程大数据环境集群中，最后根据实际使用的大数据环境将数据加载；
e异常检测程序定时检测任务执行日志，根据设定的检测规则判断哪些任务执行的可能会有问题，需要任务共干预，生成相应预警信息，展现给系统管理人员。
本发明的有益效果是
1、通过本发明可以将数据自动增量转储到大数据环境中；
2、通过本发明可自动检测分析异常的数据转储任务；
3、通过本发明可以启动多线程执行数据转储，根据部署机器的性能调整任务并发数，进行快速高效的转储。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明的一种用于大数据比对的数据转储方法，包括：
模型配置：用于配置数据的来源及数据的相关描述，为数据转储做准备；
任务生成器：用于根据配置的模型生成增量任务；
任务调度器：用于数据转储任务的调度；
任务执行实体：数据转储任务的执行者；
异常检测：用于分析成功执行的数据转储任务中那些任务可能会存在异常并产生预警信息。
主要步骤如下：
a、通过模型配置来配置数据来源、数据包含字段、增量字段、数据起始日期等信息；
b、任务生成器根据配置的模型信息及目前已转储的数据情况动态生成数据转储任务并交由任务调度器进行调度；
c、任务调度器根据目前任务数创建任务执行实体并进行任务分配；
d、任务执行实体执行数据转储任务，根据配置的模型信息连接相应数据库，读取增量数据，生成数据文件，记录相关日志，将文件上传到远程大数据环境集群中，最后根据实际使用的大数据环境将数据加载；
e、异常检测程序定时检测任务执行日志，根据设定的检测规则判断哪些任务执行的可能会有问题，需要任务共干预，生成相应预警信息，展现给系统管理人员。