本发明实施例二数据缺失补漏的智能实现方法流程示意图，如图2所示，该数据缺失补漏的智能实现方法流程包括:
[0038]步骤201:读取任务日志，确定未完成的任务，并发送扫描请求；
[0039]这里，所述扫描请求中包含未完成的任务信息。
[0040]步骤202:扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；
[0041]这里，所述下载新增或重传的接口文件为:通过接口文件属性，如创建时间信息等获知新增或重传的接口文件，然后下载新增或重传的接口文件。
[0042]步骤203:在任务日志中标注FTP下载阶段为已完成，标注清洗阶段为正在进行。
[0043]步骤204:读取任务日志中任务状态，并发送接口文件匹配请求；
[0044]这里，读取任务日志中任务状态为FTP下载阶段为已完成，清洗阶段为正在进行时,发送接口文件匹配请求；
[0045]所述接口文件匹配请求中包含任务日志中需要匹配的任务及对应接口信息。
[0046]步骤205:将预先生成的任务日志和接口文件进行匹配，并判断匹配是否成功，确定匹配成功时，执行步骤206 ;确定匹配失败时，执行步骤207 ；
[0047]这里，所述预先生成的任务日志为:根据用户预先配置的信息生成的任务日志，所述预先配置的信息可以包括任务及文件信息，如定时需要调度的程序及接口文件名、接口文件大小、存储时间、前置存储条件等；
[0048]所述将预先生成的任务日志和接口文件进行匹配包括:根据预先生成的任务日志查找未完成任务对应接口的接口文件，如果查找到正确的接口文件，则匹配成功，如果对应的接口文件不存在或找到错误的接口文件，则匹配失败。
[0049]步骤206:更改任务日志中任务状态，执行步骤208 ；
[0050]所述更改任务日志中任务状态包括:更改任务日志中FTP下载阶段后的接口文件匹配结果为匹配成功，并触发后续ETL处理流程。
[0051]步骤207:跳过当前任务；
[0052]这里，所述跳过当前任务即进行下一个未完成任务的接口文件扫描、匹配流程。
[0053]步骤208:结束本次处理流程。
[0054]图3为本发明实施例数据缺失补漏的智能实现系统组成结构示意图，如图3所示，该数据缺失补漏的智能实现系统组成结构包括=FTP扫描器31和任务日志管理驱动器32 ；其中，
[0055]所述FTP扫描器31，用于扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；
[0056]所述任务日志管理驱动器32，用于将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务；
[0057]这里，所述预先生成的任务日志为:根据用户预先配置的信息生成的任务日志，所述预先配置的信息可以包括任务及文件信息，如定时需要调度的程序及接口文件名、接口文件大小、存储时间、前置存储条件等；
[0058]所述将预先生成的任务日志和接口文件进行匹配包括:根据预先生成的任务日志查找未完成任务对应接口的接口文件，如果查找到正确的接口文件，则匹配成功，如果对应的接口文件不存在或找到错误的接口文件，则匹配失败；
[0059]所述更改任务日志中任务状态包括:更改任务日志中FTP下载阶段后的接口文件匹配结果为匹配成功，并触发后续ETL处理流程。
[0060]进一步的，所述系统还包括:核心控制器33、接口文件库34、本地文件库35和存储器36 ;其中，
[0061]所述核心控制器33，用于读取任务日志，确定未完成的任务及任务状态，调度FTP扫描器31和任务日志管理驱动器32的运行；
[0062]所述接口文件库34，用于存储对方接口机接收的接口文件；
[0063]所述本地文件库35，用于存储本地接口机的所有接口文件；
[0064]所述存储器36,用于存储任务日志。
[0065]进一步的，所述FTP扫描器31，还用于在任务日志中标注FTP下载阶段为已完成，标注清洗阶段为正在进行；
[0066]所述核心控制器33，还用于控制ETL处理中其它服务和功能的运行。
[0067]以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
【主权项】
1.一种数据缺失补漏的智能实现方法，其特征在于，所述方法包括: 扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件； 将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志中任务状态；确定匹配失败时，跳过当前任务。
2.根据权利要求1所述方法，其特征在于，所述扫描未完成任务对应接口的接口文件之前，所述方法还包括:读取任务日志，确定未完成的任务，并发送扫描请求。
3.根据权利要求1所述方法，其特征在于，所述下载新增或重传的接口文件之后，所述方法还包括:在任务日志中标注文件传输协议FTP下载阶段为已完成，标注清洗阶段为正在进行。
4.根据权利要求3所述方法，其特征在于，所述标注清洗阶段为正在进行之后，将预先生成的任务日志和接口文件进行匹配之前，所述方法还包括:读取任务日志中任务状态，并发送接口文件匹配请求。
5.一种数据缺失补漏的智能实现系统，其特征在于，所述系统包括:FTP扫描器和任务日志管理驱动器；其中， 所述FTP扫描器，用于扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件； 所述任务日志管理驱动器，用于将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务。
6.根据权利要求5所述系统，其特征在于，所述系统还包括:核心控制器、接口文件库、本地文件库和存储器；其中， 所述核心控制器，用于读取任务日志，确定未完成的任务及任务状态，调度FTP扫描器和任务日志管理驱动器的运行； 所述接口文件库，用于存储对方接口机接收的接口文件； 所述本地文件库，用于存储本地接口机的所有接口文件； 所述存储器，用于存储任务日志。
7.根据权利要求5所述系统，其特征在于，所述FTP扫描器还用于，在任务日志中标注FTP下载阶段为已完成，标注清洗阶段为正在进行。
【专利摘要】本发明公开了一种数据缺失补漏的智能实现方法，所述方法包括：扫描未完成任务对应接口的接口文件，并下载新增或重传的接口文件；将预先生成的任务日志和接口文件进行匹配，确定匹配成功时，更改任务日志状态；确定匹配失败时，跳过当前任务。本发明还同时公开了一种数据缺失补漏的智能实现系统。
【IPC分类】H04L29-08, G06F17-30
【公开号】CN104794124
【申请号】CN201410025136
【发明人】舒海, 朱晓东
【申请人】中国移动通信集团重庆有限公司
【公开日】2015年7月22日
【申请日】2014年1月20日