1.一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)具体包含以下步骤:
3.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中的业务异常数据处理库包含创建时间、结束时间以及是否启用标志,用于记录数据服务方提交的历史信息。
4.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中的修复记录可以设计为拉链表,用以记录历史变化。
5.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中,在主键字段修复表中的字段值中设置id、原主键值、修复主键值、确认方、处理类型、备注、创建时间、结束时间、是否启用;其中处理类型包括删除、修改、新增类型;在非主键字段修复表中的字段值中设置id、主键值、原字段值、修复字段值、确认方、处理类型、备注、创建时间、结束时间、是否启用;其中处理类型包括修改、新增类型。
6.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中,在主键字段的修复过程中,由用户填写原主键值、修复主键值、确认方、处理类型和备注,系统会处理id、创建时间、结束时间以及是否启用字段;非主键字段的修复过程中,用户填写主键值、原字段值、修复字段值、确认方、处理类型和备注,系统会处理id、创建时间、结束时间以及是否启用字段。
7.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的数据修复优选规则来源于用户在数据库中维护的一份字段变更优先级表,该表包括系统名、模块名、优先级三个字段,存放指定系统、指定模块对应的优先级;当不同来源的业务变更数据中的相同数据存在多条变更记录时,将依次按照表中模块名、系统名的优先级顺序选取;其中依次选取指按照就近原则选取,当变更数据中不存在模块名时,选取对应系统名的优先级。
8.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的优先级可以由用户指定,也可以按照各系统、各模块的数据质量进行合理设置。
9.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中,对于主键字段处理,按照优先级顺序对主键字段变更数据合并,确保一条数据仅产生一次变更,即修改和删除的初始值的结果具有唯一性,将合并的变更数据与业务异常数据处理表进行对比,如果变更数据处理类型是删除或者修改,且业务异常数据处理表的初始值等于变更数据的初始值时,对业务异常数据处理表的该条记录进行更新,如果变更数据处理类型是新增数据,不进行处理;对于非主键字段处理,按照优先级顺序对主键字段变更数据合并,确保一条数据仅产生一次变更,即主键值具有唯一性。
10.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的各字段修复的详细记录信息表包括各系统字段值、字段合并优先级、变更值;其中字段合并优先级数据来源于用户在mysql维护的一份数据合并优先级表,该表包括系统名、模块名、表名、字段名、优先级五个字段,使用方式与所述字段变更优先级表所述使用方式一致。