1.一种常态化数据清理方法,其特征在于,包括以下步骤;
S1、构造数据容器转换系统,此系统用于实现以日为单位的数据转换加工、查询、删除和调整操作;
S2、数据分离,将数据容器转换系统中的数据进行数据分离,得到分离后的数据;
S3、数据加工,将分离后的数据依据业务逻辑进行数据加工,得到加工后的数据;
S4、数据整合,将加工完毕的数据进行整合,以保证数据的完整性;
S5、实现自动维护系统。
2.根据权利要求1所述的常态化数据清理方法,其特征在于,所述步骤S1包括:
S101、创建一个分区表,其表定义与现有的物理表相同;
S102、从现有的物理表中导出数据;
S103、将导出的数据加载到创建的分区表中;
S104、对分区表建立索引和约束;
S105、删除物理表;
S106、重命名分区表。
3.根据权利要求2所述的常态化数据清理方法,其特征在于,所述步骤S2包括:
将待加工清理区间内的数据从分区表中进行分离,分离出小表。
4.根据权利要求3所述的常态化数据清理方法,其特征在于,所述步骤S3包括:
对分离出的小表依据业务逻辑进行数据加工,得到加工完毕的数据,加工过程中加入各类数据有效性检查步骤,加工完成后提取有效数据,清理无效数据;并使用自动的维护脚本检查,在数据提取后自动核对数据完整性,避免数据混乱。
5.根据权利要求4所述的常态化数据清理方法,其特征在于,所述步骤S4包括:
将加工完毕的数据加入至分区表中,保证数据的完整性。
6.根据权利要求4所述的常态化数据清理方法,其特征在于,所述步骤S5包括:
在TWS作业流中加入自动维护脚本;
设定报警机制,具体为:
检查脚本是否执行成功,如果执行失败则短信通知值班人员;
检查分离小表是否成功,如果执行失败则短信通知值班人员;
检查数据导入是否成功,如果执行失败则短信通知值班人员。