数据核对方法、装置、存储介质、电子设备及产品与流程

本技术涉及计算机，具体涉及一种数据核对方法、装置、存储介质、电子设备及产品。

背景技术：

1、在各行各业，通常会涉及数据源与数据目标之间的数据同步任务，数据同步任务包括数据拆分、合并还是异构数据的迁移等，数据同步前后数据源与数据目标之间的数据一致性核对十分重要。

2、目前，相关方案中，通常通过核对程序从数据源获取数据，并计算每一行数据该与数据目标中哪一路由(例如库、表及行)中目标数据进行核对，这种方式下，一方面，一行行记录去计算路由并与目标数据对比，操作难度大，且核对速度慢；另一方面，核对程序使用数据同步程序的路由算法去确定每行数据该与哪个路由中数据进行核对，这样既是运动员又是裁判的方式，程序本身的可靠性要求极高，并且有问题也较难发现，这两方面主要问题，导致目前存在数据核对效果较差的问题，用户体验较差。

3、因此，目前存在数据核对效果较差的问题，用户体验较差。

技术实现思路

1、本技术实施例提供一种数据核对方法及相关装置，可以有效提升数据核对效果，提升用户体验。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、根据本技术的一个实施例，一种数据核对方法，该方法包括：获取数据核对参数，所述数据核对参数中包括数据源的源表信息、数据目标的目标表信息及所述数据源与所述数据目标之间的数据同步逻辑；根据所述目标表信息获取所述数据目标中的目标表内待核对字段的字段列表，并从所述目标表内获取主键信息；根据所述字段列表、所述主键信息、所述源表信息及所述数据同步逻辑，得到所述数据源对应的源数据查询语句；根据所述字段列表、所述主键信息及所述目标表对应的表名，得到所述目标表对应的目标数据查询语句；基于所述源数据查询语句及所述目标数据查询语句，分别从所述数据源及所述目标表中查询源数据及目标数据并进行对比，得到目标表核对结果。

4、根据本技术的一个实施例，一种数据核对装置，其包括：参数获取模块，用于获取数据核对参数，所述数据核对参数中包括数据源的源表信息、数据目标的目标表信息及所述数据源与所述数据目标之间的数据同步逻辑；信息获取模块，用于根据所述目标表信息获取所述数据目标中的目标表内待核对字段的字段列表，并从所述目标表内获取主键信息；第一语句模块，用于根据所述字段列表、所述主键信息、所述源表信息及所述数据同步逻辑，得到所述数据源对应的源数据查询语句；第二语句模块，用于根据所述字段列表、所述主键信息及所述目标表对应的表名，得到所述目标表对应的目标数据查询语句；核对模块，用于基于所述源数据查询语句及所述目标数据查询语句，分别从所述数据源及所述目标表中查询源数据及目标数据并进行对比，得到目标表核对结果。

5、在本技术的一些实施例中，所述第一语句模块，用于：根据所述数据同步逻辑得到所述目标表对应的表数据同步逻辑；以所述主键信息为查询主键、所述字段列表为查询内容、所述源表信息为查询目标且以所述表数据同步逻辑为查询条件，生成所述源数据查询语句。

6、在本技术的一些实施例中，所述第二语句模块，用于：以所述主键信息为查询主键、所述字段列表为查询内容且所述目标表对应的表名为查询目标，生成所述目标数据查询语句。

7、在本技术的一些实施例中，所述核对模块，用于：基于所述源数据查询语句从所述数据源中的源表中进行查询，得到所述数据源对应的源数据，所述源数据中包括所述主键信息对应的主键数据及所述待核对字段对应的字段数据的摘要数据；基于所述目标数据查询语句从所述目标表中进行查询，得到所述目标表对应的目标数据，所述目标数据包括所述主键信息对应的主键数据及所述待核对字段对应的字段数据的摘要数据；比较所述目标数据与所述源数据，得到所述目标表核对结果。

8、在本技术的一些实施例中，所述数据源中包括至少一个源集群，各所述源集群中包括至少一张源表；所述核对模块，用于：将各所述源集群对应的源数据合并，得到合并源数据；比较所述合并源数据及所述目标数据，得到所述目标表核对结果。

9、在本技术的一些实施例中，所述数据目标中包括至少一个目标集群，各所述目标集群中包括至少一张所述目标表；所述装置还包括全量核对模块，用于：基于全量源数据查询语句从所述数据源查询得到全量源数据，所述全量源数据查询语句以各所述目标表中主键信息为查询主键、各所述目标表中所述字段列表为查询内容且以所述源表的表名为查询目标；将至少一张所述目标表对应的目标数据进行合并，得到合并目标数据；比较所述全量源数据及所述合并目标数据，得到全量核对结果。

10、在本技术的一些实施例中，所述装置还包括复核模块，用于：若所述目标表核对结果为不一致，则根据所述目标表对应的所述主键信息，从所述目标表及所述数据源中各源表中查询，得到所述目标表中的主键数据及各所述源表中的主键数据；比较所述目标表中的主键数据及各所述源表中的主键数据，得到复核核对结果。

11、在本技术的一些实施例中，所述信息获取模块，用于：根据所述目标表信息从所述数据目标中选择目标表；从所述目标表中查询所有字段和字段类型信息，得到全量字段列表；从所述全量字段列表中移除所述不需要核对的字段，得到所述目标表内待核对字段的字段列表。

12、根据本技术的另一实施例，一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本技术实施例所述的方法。

13、根据本技术的另一实施例，一种电子设备，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本技术实施例所述的方法。

14、根据本技术的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。

15、本技术实施例中，获取数据核对参数，所述数据核对参数中包括数据源的源表信息、数据目标的目标表信息及所述数据源与所述数据目标之间的数据同步逻辑；根据所述目标表信息获取所述数据目标中的目标表内待核对字段的字段列表，并从所述目标表内获取主键信息；根据所述字段列表、所述主键信息、所述源表信息及所述数据同步逻辑，得到所述数据源对应的源数据查询语句；根据所述字段列表、所述主键信息及所述目标表对应的表名，得到所述目标表对应的目标数据查询语句；基于所述源数据查询语句及所述目标数据查询语句，分别从所述数据源及所述目标表中查询源数据及目标数据并进行对比，得到目标表核对结果。

16、以这种方式，通过数据核对参数得到源数据查询语句及目标数据查询语句，分别从数据源及目标表中查询源数据及目标数据并进行对比，形成一种通用的独立于数据同步程序的数据核对方法，不管数据源与数据目标之间的数据同步是拆分、合并还是异构数据的迁移，都能很好满足数据一致性核对需求，数据核对操作难度低、效率高，核对程序本身的要求不高而且是独立部署，对数据源没有侵入性，核对准确性高，整体上可以有效提升数据核对效果，提升用户体验。