常态化数据清理方法与流程

文档序号:11155300阅读:来源:国知局

技术特征:

1.一种常态化数据清理方法,其特征在于,包括以下步骤;

S1、构造数据容器转换系统,此系统用于实现以日为单位的数据转换加工、查询、删除和调整操作;

S2、数据分离,将数据容器转换系统中的数据进行数据分离,得到分离后的数据;

S3、数据加工,将分离后的数据依据业务逻辑进行数据加工,得到加工后的数据;

S4、数据整合,将加工完毕的数据进行整合,以保证数据的完整性;

S5、实现自动维护系统。

2.根据权利要求1所述的常态化数据清理方法,其特征在于,所述步骤S1包括:

S101、创建一个分区表,其表定义与现有的物理表相同;

S102、从现有的物理表中导出数据;

S103、将导出的数据加载到创建的分区表中;

S104、对分区表建立索引和约束;

S105、删除物理表;

S106、重命名分区表。

3.根据权利要求2所述的常态化数据清理方法,其特征在于,所述步骤S2包括:

将待加工清理区间内的数据从分区表中进行分离,分离出小表。

4.根据权利要求3所述的常态化数据清理方法,其特征在于,所述步骤S3包括:

对分离出的小表依据业务逻辑进行数据加工,得到加工完毕的数据,加工过程中加入各类数据有效性检查步骤,加工完成后提取有效数据,清理无效数据;并使用自动的维护脚本检查,在数据提取后自动核对数据完整性,避免数据混乱。

5.根据权利要求4所述的常态化数据清理方法,其特征在于,所述步骤S4包括:

将加工完毕的数据加入至分区表中,保证数据的完整性。

6.根据权利要求4所述的常态化数据清理方法,其特征在于,所述步骤S5包括:

在TWS作业流中加入自动维护脚本;

设定报警机制,具体为:

检查脚本是否执行成功,如果执行失败则短信通知值班人员;

检查分离小表是否成功,如果执行失败则短信通知值班人员;

检查数据导入是否成功,如果执行失败则短信通知值班人员。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1