为两类，第一类为源数据本身出现如日期越界等的错误数据，第二类为源数据经过转换出现如数据越界等的错误数据，条件设定即为指定字段值合理性边界；重复数据是指记录值完全一样的数据，条件设定即为重复数据标记。这里需要说明的是，在条件设定时明确源数据或转换后数据哪些字段值或记录需要设定，明确合理性校验规则，若无法明确的则归类为步骤3.3中所述的异常数据；
[0034]步骤3.2，依据步骤数据检测的设定，捕获符合所述条件的异常数据，当所述异常数据进行修正得到常规数据即非步骤3.1中所述的异常数据时，将所述常规数据继续进行数据整合；当所述异常数据无法修正得到常规数据时，将所述异常数据存储到文件中，跳过所述异常数据，继续进行数据整合；
[0035]步骤3.3，当捕获到不符合所述异常数据条件的其他异常数据时，所述数据整合过程结束。
[0036]步骤4，将所述子作业进行事务设定，具体的，将数据库开启事务模式，判定所述子作业是否出现步骤3.3所述其他异常数据，如果出现则进行异常抛出，停止该子作业执行过程，父作业获取子作业异常状态并停止整个数据整合过程，没有出现，则运行下一个子作业。
[0037]步骤5，将所述父作业进行事务判定，判定所述父作业是否出现步骤3.3所述其他异常数据；所述子作业全部完成后，所述父作业完成。
[0038]步骤6，数据整合各配置完成，将所述数据整合启动运行；
[0039]步骤7，监控所述子作业的执行状态，封装后的子作业当执行完成时，会返回当前执行结果，执行结果分为TRUE和FLASE，其中，子作业执行过程中未出现步骤3.3中所述的异常数据时，则子作业执行结果为TRUE，子作业执行过程中出现步骤3.3中所述的异常数据时，则子作业执行结果为FALSE，结果为TRUE则为运行成功，结果为FALSE则为运行失败。当所述子作业全部运行成功时，所述父作业运行成功，并提交数据，所述数据整合过程完成；当所述子作业运行失败，不提交数据，所述数据整合过程完成。
[0040]如图2所示，为本发明所述的异常数据转换的流程图。在数据整合运行过程中，按照步骤3，进行数据合理性检查，当出现数据异常时，按照对应的数据转换规则，将处理后的数据再次进行数据整合操作。
[0041]如图3所示，为本发明所述的异常数据存储的示意图。在数据整合运行过程中，按照步骤3的说明，进行数据合理性检查，当所述异常数据无法修正得到常规数据时，将所述异常数据存储到文件中，跳过所述异常数据，继续进行数据整合。
[0042]如图4所示，为本发明所述数据异常后数据整合结束的示意图。当捕获到不符合所述异常数据条件的其他异常数据时，所述数据整合结束。
[0043]参考图5所示，给出了本发明作业事务状态的示意图。在数据整理过程中，将整个流程处理即父作业看作为一个事务，当父作业启动后，子作业开始运行，如果流程事务中有部分子作业出现异常，则判定整个流程失败，同时目标端不进行数据提交；如果流程事务中有所有子作业都正确完成，则判定整个流程成功，同时目标端进行数据提交，这样保障了整体处理流程的完整性、正确性。
[0044]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【主权项】
1.一种基于事务的数据整合方法，其特征在于，包括以下步骤: 步骤I，将数据整合过程拆分成子过程； 步骤2，将所述子过程进行作业封装得到子作业；所述子作业集合为父作业； 步骤3，对所述子作业进行异常数据捕获与异常数据处理； 步骤4，将所述子作业进行事务设定； 步骤5，将所述父作业进行事务设定； 步骤6，将所述数据整合启动运行； 步骤7，监控所述子作业的执行状态，当所述子作业全部运行成功时，所述父作业运行成功，并提交数据，所述数据整合过程完成；当所述子作业运行失败，不提交数据，所述数据整合过程完成。2.根据权利要求1所述的基于事务的数据整合方法，其特征在于，步骤3包括: 步骤3.1，设定所述异常数据的条件； 步骤3.2，捕获符合所述条件的异常数据，当所述异常数据进行修正得到常规数据时，将所述常规数据继续进行数据整合；当所述异常数据无法修正得到常规数据时，将所述异常数据存储到文件中，跳过所述异常数据，继续进行数据整合； 步骤3.3，当捕获到不符合所述条件的其他异常数据时，所述数据整合过程结束。3.根据权利要求2所述的基于事务的数据整合方法，其特征在于，步骤4为，判定所述子作业是否出现步骤3.3所述其他异常数据。4.根据权利要求2所述的基于事务的数据整合方法，其特征在于，步骤5为，判定所述父作业是否出现步骤3.3所述其他异常数据。
【专利摘要】本发明涉及一种基于事务的数据整合方法，包括以下步骤：将数据整合过程拆分成子过程；将子过程进行作业封装得到子作业，子作业集合为父作业；对子作业进行异常数据捕获与异常数据处理；将子作业进行事务设定；将父作业进行事务设定；将数据整合启动运行；监控作业的执行状态，父作业运行成功时，并提交数据，所述数据整合过程完成；父作业运行失败时，不提交数据，所述数据整合过程完成。本发明保障了数据整合流程的完整性与一致性。
【IPC分类】G06F17/30
【公开号】CN105183791
【申请号】CN201510520390
【发明人】曾德贤, 李智, 殷智勇, 王鹏, 马志昊, 刁华飞, 韩雷, 邢维艳
【申请人】中国人民解放军装备学院
【公开日】2015年12月23日
【申请日】2015年8月21日