一种数据缺失补漏的智能实现方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据业务接口技术，尤其涉及一种数据缺失补漏的智能实现方法与系统。
【背景技术】
[0002]数据提取、转换和加载(Extract1n-Transformat1n-Loading,ETL)是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程,是构建数据仓库的重要环节。用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
[0003]数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面，数据仓库中的数据不要求与联机事务处理系统中的数据实时同步，所以，ETL可以定时进行。
[0004]传统ETL根据接口传输的特性采用定时驱动的方式进行链式运算，例如每天晚上八点运算接口 A ;当接口数据缺失时，调度将无法正常进行，且接口数据延迟或缺失数天后到达时也不能智能进行后续工作，后续补漏工作需要人工进行干预。通常，需要维护人员手动进行数据补漏操作，或者调整ETL某些配置/状态/开关，使之开始运算缺失的接口数据,给ETL维护人员带来了麻烦，也给相关系统带来了麻烦。
【发明内容】
[0005]有鉴于此，本发明实施例期望提供一种数据缺失补漏的智能实现方法与系统，能够在无用户干预的情况下，智能完成所有数据的缺失补漏操作。
[0006]为达到上述目的，本发明的技术方案是这样实现的:
[0007]本发明实施例提供了一种数据缺失补漏的智能实现方法，所述方法包括:
[0008]扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；
[0009]将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志中任务状态；确定匹配失败时，跳过当前任务。
[0010]上述方案中，所述扫描未完成任务对应接口的接口文件之前，所述方法还包括:读取任务日志，确定未完成的任务，并发送扫描请求。
[0011]上述方案中，所述下载新增或重传的接口文件之后，所述方法还包括:在任务日志中标注文件传输协议(File Transfer Protocol，FTP)下载阶段为已完成，标注清洗阶段为正在进行。
[0012]上述方案中，所述标注清洗阶段为正在进行之后，将预先生成的任务日志和接口文件进行匹配之前，所述方法还包括:读取任务日志中任务状态，并发送接口文件匹配请求。
[0013]本发明实施例还提供了一种数据缺失补漏的智能实现系统，所述系统包括:FTP扫描器和任务日志管理驱动器；其中，
[0014]所述FTP扫描器，用于扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；
[0015]所述任务日志管理驱动器，用于将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务。
[0016]上述方案中，所述系统还包括:核心控制器、接口文件库、本地文件库和存储器；其中，
[0017]所述核心控制器，用于读取任务日志，确定未完成的任务及任务状态，调度FTP扫描器和任务日志管理驱动器的运行；
[0018]所述接口文件库，用于存储对方接口机接收的接口文件；
[0019]所述本地文件库，用于存储本地接口机的所有接口文件；
[0020]所述存储器，用于存储任务日志。
[0021 ] 上述方案中，所述FTP扫描器还用于，在任务日志中标注FTP下载阶段为已完成，标注清洗阶段为正在进行。
[0022]本发明实施例所提供的数据缺失补漏的智能实现方法，扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务。如此，能弥补现有ETL对数据延迟、遗失等异常情况处理的不足，提升对数据准确性、及时性的保障能力，同时降低对ETL维护的成本,使得增值业务综合运营平台(Value-added Service GeneralOperat1n Platform, VGOP)能够更有效的对数据业务进行支撑,为数据业务长久平稳的向前发展提供指引。
【附图说明】
[0023]图1为本发明实施例一数据缺失补漏的智能实现方法流程示意图；
[0024]图2为本发明实施例二数据缺失补漏的智能实现方法流程示意图；
[0025]图3为本发明实施例数据缺失补漏的智能实现系统组成结构示意图。
【具体实施方式】
[0026]在本发明实施例中，扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务。
[0027]图1为本发明实施例一数据缺失补漏的智能实现方法流程示意图，如图1所示，该数据缺失补漏的智能实现方法流程包括:
[0028]步骤101:扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；
[0029]这里，所述扫描未完成任务对应接口的接口文件之前，所述方法还包括:读取任务日志，确定未完成的任务，并发送扫描请求；其中，所述扫描请求中包含未完成的任务信息；
[0030]所述下载新增或重传的接口文件为:通过接口文件属性，如创建时间信息等获知新增或重传的接口文件，然后下载新增或重传的接口文件；
[0031]所述下载新增或重传的接口文件之后，所述方法还包括:在任务日志中，标注FTP下载阶段为已完成，标注清洗阶段为正在进行。
[0032]步骤102:将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志中任务状态；确定匹配失败时，跳过当前任务；
[0033]这里，所述预先生成的任务日志为:根据用户预先配置的信息生成的任务日志，所述预先配置的信息可以包括任务及文件信息，如定时需要调度的程序及接口文件名、接口文件大小、存储时间、前置存储条件等；
[0034]所述标注清洗阶段为正在进行之后，将预先生成的任务日志和接口文件进行匹配之前，所述方法还包括:读取任务日志中任务状态，并发送接口文件匹配请求；这里，所述接口文件匹配请求中包含任务日志中需要匹配的任务及对应接口信息；
[0035]所述将预先生成的任务日志和接口文件进行匹配包括:根据预先生成的任务日志，查找未完成任务对应接口的接口文件，如果查找到正确的接口文件，则匹配成功，如果对应的接口文件不存在或找到错误的接口文件，则匹配失败；
[0036]所述更改任务日志中任务状态包括:更改任务日志中FTP下载阶段后的接口文件匹配结果为匹配成功，并触发后续ETL处理流程。
[0037]图2为