一种数据一致性核验方法、装置、设备及介质与流程

本申请涉及大数据或金融的，特别是涉及一种数据一致性核验方法、装置、设备及介质。

背景技术：

1、edp(enterprise date platform)是基于软件定义存储的一个真正完整的企业级基础数据平台，可以满足用户块存储、对象、文件的业务需求。t-dcmp(digital contentmanagement protection)是一种数据管理平台，承接edp现有数据质量管控、数据模型及数据整合汇总等功能，为下游传统集市供数，尽量减少现状子系统改造。

2、在edp结构下线的过程中，即将edp下游现状子系统切换到t-dcmp数据底座的过程中，t-dcmp需保证下传数据与edp下传数据具有较高一致性，所以，需要将两种产品的下传表进行数据一致性验证。但是，edp下传表包含2000余张，并且每张表每日数据量惊人，而且需每日持续核验当日数据，人工进行核验会导致工作量大、重复操作频繁、人工成本高等问题。

3、因此，如何减少数据一致性核验人力成本的效率，是本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据一致性核验方法、装置、设备及介质，旨在减少数据一致性核验人力成本的效率。

2、第一方面，本申请实施例提供了一种数据一致性核验方法，包括：

3、获取源表和目标表，所述源表为基础数据平台中的数据表，所述目标表为数据管理平台中与所述源表对应的数据表；

4、响应于所述源表或目标表有主键，依据所述主键，将所述源表和目标表进行全外连接，得到比对表；

5、响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；

6、依据所述主键，将所述两张临时表进行全外连接，得到比对表；

7、判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。

8、可选的，所述获取源表和目标表，包括：

9、获取数据一致性核验任务，所述数据一致性核验任务包括起始时间和终止时间；

10、根据所述起始时间和终止时间，在所述基础数据平台中获取所述起始时间到所述终止时间的数据，作为源表；

11、根据所述起始时间和终止时间，在所述数据管理平台中获取所述起始时间到所述终止时间的数据，作为目标表。

12、可选的，在所述获取源表和目标表之前，所述方法还包括：

13、获取数据一致性核验任务，所述数据一致性核验任务包括周期属性，所述周期属性用于表示所述数据一致性核验任务是否为周期性任务；

14、响应于所述周期属性为是周期性任务，根据所述周期属性，设置轮询表，所述轮询表用于定时触发所述获取源表和目标表。

15、可选的，所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果，包括：

16、响应于所述比对表中所有行的字段都一致，确定所述源表和目标表的一致性核验结果为通过；

17、响应于所述比对表中不是所有行的字段都一致，确定所述源表和目标表的一致性核验结果为不通过。

18、可选的，在所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果之后，所述方法还包括：

19、响应于所述比对表中不是所有行的字段都一致，获取总行数和字段不一致的行数；

20、根据所述总行数和字段不一致的行数，计算任务不通过率；

21、响应于所述任务不通过率超出预设阈值，输出提醒。

22、可选的，在所述根据所述总行数和字段不一致的行数，计算任务不通过率之后，所述方法还包括：

23、获取数据一致性核验任务，所述数据一致性核验任务包括任务信息，所述任务信息为所述数据一致性核验任务的基本信息；

24、将所述任务信息、所述一致性核验结果和所述任务不通过率记录至mysql表中。

25、第二方面，本申请实施例提供了一种数据一致性核验装置，包括：

26、获取模块，用于获取源表和目标表，所述源表为基础数据平台中的数据表，所述目标表为数据管理平台中与所述源表对应的数据表；

27、排序模块，用于响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；

28、第一全连接模块，用于依据所述主键，将所述两张临时表进行全外连接，得到比对表；

29、结果模块，用于判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。

30、可选的，所述获取模块，包括：

31、获取单元，用于获取数据一致性核验任务，所述数据一致性核验任务包括起始时间和终止时间；

32、源表单元，用于根据所述起始时间和终止时间，在所述基础数据平台中获取所述起始时间到所述终止时间的数据，作为源表；

33、目标表单元，用于根据所述起始时间和终止时间，在所述数据管理平台中获取所述起始时间到所述终止时间的数据，作为目标表。

34、第三方面，本申请实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的数据一致性核验方法。

35、第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的数据一致性核验方法。

36、本申请实施例提供了一种数据一致性核验方法、装置、设备及介质，在执行所述方法时，先获取源表和目标表，所述源表为基础数据平台中的数据表，所述目标表为数据管理平台中与所述源表对应的数据表；响应于所述源表或目标表有主键，依据所述主键，将所述源表和目标表进行全外连接，得到比对表；响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；依据所述主键，将所述两张临时表进行全外连接，得到比对表；最后，判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。

37、这样，根据数据核验规则，针对源表或目标表有无主键的两种情况，生成不同的核验流程，自动化将基础数据平台中的数据表和数据管理平台中的数据表进行对比，完成一致性核验，减少了人工比对的成本。

技术特征：

1.一种数据一致性核验方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取源表和目标表，包括：

3.根据权利要求1所述的方法，其特征在于，在所述获取源表和目标表之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果，包括：

5.根据权利要求1所述的方法，其特征在于，在所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，在所述根据所述总行数和字段不一致的行数，计算任务不通过率之后，所述方法还包括：

7.一种数据一致性核验装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述获取模块，包括：

9.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行权利要求1至6任一项所述的数据一致性核验方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的计算机存储设备实现权利要求1至6任一项所述的数据一致性核验方法。

技术总结
本申请提供了一种数据一致性核验方法、装置、设备及介质，可应用于大数据或金融领域，包括：获取源表和目标表；响应于所述源表或目标表有主键，依据所述主键，将所述源表和目标表进行全外连接，得到比对表；响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；依据所述主键，将所述两张临时表进行全外连接，得到比对表；判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。根据数据核验规则，针对源表或目标表有无主键的两种情况，生成不同的核验流程，自动化将基础数据平台中的数据表和数据管理平台中的数据表进行对比，完成一致性核验，减少了人工比对的成本。

技术研发人员：孙悦
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/14