一种基于离线数据仓库的多来源业务数据的修复方法与流程

文档序号:36835193发布日期:2024-01-26 16:52阅读:来源:国知局

技术特征:

1.一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)具体包含以下步骤:

3.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中的业务异常数据处理库包含创建时间、结束时间以及是否启用标志,用于记录数据服务方提交的历史信息。

4.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中的修复记录可以设计为拉链表,用以记录历史变化。

5.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中,在主键字段修复表中的字段值中设置id、原主键值、修复主键值、确认方、处理类型、备注、创建时间、结束时间、是否启用;其中处理类型包括删除、修改、新增类型;在非主键字段修复表中的字段值中设置id、主键值、原字段值、修复字段值、确认方、处理类型、备注、创建时间、结束时间、是否启用;其中处理类型包括修改、新增类型。

6.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(2)中,在主键字段的修复过程中,由用户填写原主键值、修复主键值、确认方、处理类型和备注,系统会处理id、创建时间、结束时间以及是否启用字段;非主键字段的修复过程中,用户填写主键值、原字段值、修复字段值、确认方、处理类型和备注,系统会处理id、创建时间、结束时间以及是否启用字段。

7.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的数据修复优选规则来源于用户在数据库中维护的一份字段变更优先级表,该表包括系统名、模块名、优先级三个字段,存放指定系统、指定模块对应的优先级;当不同来源的业务变更数据中的相同数据存在多条变更记录时,将依次按照表中模块名、系统名的优先级顺序选取;其中依次选取指按照就近原则选取,当变更数据中不存在模块名时,选取对应系统名的优先级。

8.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的优先级可以由用户指定,也可以按照各系统、各模块的数据质量进行合理设置。

9.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中,对于主键字段处理,按照优先级顺序对主键字段变更数据合并,确保一条数据仅产生一次变更,即修改和删除的初始值的结果具有唯一性,将合并的变更数据与业务异常数据处理表进行对比,如果变更数据处理类型是删除或者修改,且业务异常数据处理表的初始值等于变更数据的初始值时,对业务异常数据处理表的该条记录进行更新,如果变更数据处理类型是新增数据,不进行处理;对于非主键字段处理,按照优先级顺序对主键字段变更数据合并,确保一条数据仅产生一次变更,即主键值具有唯一性。

10.根据权利要求1所述的一种基于离线数据仓库的多来源业务数据的修复方法,其特征在于,步骤(4)中的各字段修复的详细记录信息表包括各系统字段值、字段合并优先级、变更值;其中字段合并优先级数据来源于用户在mysql维护的一份数据合并优先级表,该表包括系统名、模块名、表名、字段名、优先级五个字段,使用方式与所述字段变更优先级表所述使用方式一致。


技术总结
本发明属于数据仓库技术领域,尤其是涉及一种基于离线数据仓库的针对多来源异常业务数据的修复方法,数据服务方根据处理完成的最新离线业务数据在业务异常数据处理库中按需提交或修改业务异常数据处理,业务异常数据处理库按时生成修复任务,对比多来源变更业务数据以及修复任务,依据数据修复优选规则采用最优修复方案或不修复,最终生成各字段修复的详细记录信息以及字段合并后的修复数据库表,可以从所述详细记录信息进一步提取错误数据以及预警数据用于下一轮的数据修复工作。能够自适应源系统的数据变化以同步的方式有效协助或替代各个源系统完成业务异常数据的修复,极大地提高数据仓库的数据质量,同时减轻源系统数据异常带来的负担。

技术研发人员:王磊,徐林楠,刘荣华,苏翠平,黄炜
受保护的技术使用者:江西憶源多媒体科技有限公司
技术研发日:
技术公布日:2024/1/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1