一种数据一致性处理方法和系统的制作方法
【专利摘要】本申请提供了一种数据一致性处理方法和系统，通过将需要比对的源系统和目标系统的当前比对信息导入配置表，确定出当前比对任务后，根据用户确定的该当前比对任务的比对方式和调度参数，执行当前比对任务得到其比对结果，当需要更改比对内容时，只需修改配置表中比对信息即可，无需从头重新开始比对，过程简单，提高了处理效率且节约了人工成本；当系统得到比对结果后，可生成包含当前比对任务名单及其比对方式、比对时间和所述比对结果的数据报告并输出，从而使技术人员通过对该数据报告的分析确定导致不一致数据的具体原因，与现有技术中发现一处问题修正一处相比，本发明对问题的处理具有针对性，提高了数据一致性处理效率。
【专利说明】一种数据一致性处理方法和系统
【技术领域】
[0001]本发明主要涉及数据处理【技术领域】，更具体地说是涉及一种数据一致性处理方法和系统。
【背景技术】
[0002]经研究发现，在数据抽取、清洗转换过程中，为了保证数据的一致性，通过需要工作人员花费大量时间进行数据比对，当发现源数据库中的数据与目标数据库中的数据不一致时，及时检查导致数据不一致的原因，并对其进行局部处理，以使源数据库中的数据与目标数据库中数据的一致，从而保证了所构建的目标数据库的质量。
[0003]但是，现有的这种数据一致性处理方式通常是由工作人员手写比对任务，并针对该比对任务编写比对语句后，利用该比对语句对源系统和目标系统中的比对信息进行一一比对，发现一处问题修正一处，费时费力，尤其是在面对海量数据的抽取、清洗转换时，大大影响了工作效率；而且，在比对过程中，若比对任务发生一点改变，需要花费较大的精力和时间去修改之前的比对语句，比对过程繁琐且准确性低。
【发明内容】
[0004]有鉴于此，本发明提供了一种数据一致性处理方法和系统，实现了数据一致性的自动处理，无需人工进行一一比对和处理，大大提高了工作效率。
[0005]为了实现上述目的，本申请提供了以下技术方案:
[0006]一种数据一致性处理方法，包括:
[0007]将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务；
[0008]根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数；
[0009]按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果；
[0010]生成数据报告并输出，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。
[0011]优选的，当所述当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且所获取的比对方式为精确比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括:
[0012]根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表，其中，所述当前比对字段包括源表字段和目标表字段；
[0013]将所述源库表中的主键与所述源表字段进行拼接得到源字符串，并将所述目标系统中的主键与所述目标表字段进行拼接得到目标字符串；
[0014]利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值；
[0015]将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较。
[0016]优选的，所述生成数据报告并显示，具体为:
[0017]当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比；
[0018]显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。
[0019]优选的，当所获取的比对方式为自定义比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括:
[0020]按照所述调度参数以及预存的SQL程序，执行所述当前比对任务，得到所述当前比对任务的比对结果，其中，所述SQL程序是根据用户确定的对比内容而编写的。
[0021]优选的，当所获取的比对方式为一般比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括:
[0022]按照所述调度参数和预设对比条件，对所述源系统和目标系统的当前比对信息中满足所述预设比对条件的数据进行比较；
[0023]确定所述源系统的当前比对信息中满足所述预设比对条件的数据与所述目标系统的当前比对信息中满足所述预设比对条件的数据的差值；
[0024]则将所述比对结果生成数据报告，并显示所述数据报告具体为:
[0025]当所述差值超出预设误差范围时，显示所述源系统和所述目标系统的当前比对数据。
[0026]优选的，当所述比对结果为所述源系统的与所述目标系统的比对数据不一致时，还包括:
[0027]确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量；
[0028]将所确定的不一致数据的数据量与预设数据阈值进行比较；
[0029]当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中；
[0030]当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。
[0031]一种数据一致性处理系统，包括:
[0032]导入模块，用于将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务；
[0033]获取模块，用于根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数；
[0034]执行模块，用于按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果；
[0035]生成模块，用于生成数据报告并显示，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。
[0036]优选的，当所述当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且所获取的比对方式为精确比对时，所述执行模块包括:
[0037]获取单元，用于根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表，其中，所述当前比对字段包括源表字段和目标表字段；
[0038]拼接单元，用于将所述源库表中的主键与源表字段进行拼接得到源字符串，并将所述目标系统中的主键与目标表字段进行拼接得到目标字符串；
[0039]第一计算单元，用于利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值；
[0040]第一比较单元，用于将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较；
[0041]第二计算单元，用于当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比。
[0042]优选的，所述生成模块包括:
[0043]第一显示单元，用于显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。
[0044]优选的，当所述执行模块得到的所述比较结果为所述源系统的与所述目标系统的比对数据不一致时，还包括:
[0045]确定单元，用于确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量；
[0046]第二比较单元，用于将所确定的不一致数据的数据量与预设数据阈值进行比较；
[0047]存储单元，用于当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中；
[0048]第二显示单元，用于当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。
[0049]由此可见，与现有技术相比，本申请提供了一种数据一致性处理方法和系统，通过将需要比对的源系统和目标系统的当前比对信息导入配置表，确定出当前比对任务，之后，根据用户确定的该当前比对任务的比对方式和调度参数，执行当前比对任务，即可得到该当前比对任务的比对结果，当需要更改比对内容时，只需修改配置表中比对信息即可，无需从头重新确定比对任务，过程简单，大大缩短了开发周期，提高了处理效率，且节约了人工成本；当系统得到比对结果后，可生成包含当前比对任务名单及其比对方式、比对时间和所述比对结果的数据报告并输出，从而使技术人员通过对该数据报告的分析确定导致不一致数据的具体原因，与现有技术中发现一处问题修正一处相比，本发明对问题的处理具有针对性，提高了数据一致性处理效率。
【专利附图】
【附图说明】
[0050]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0051]图1为本发明一种数据一致性处理方法实施例的流程示意图；
[0052]图2为本发明另一种数据一致性处理方法具体实施例的流程示意图；
[0053]图3为本发明一种数据一致性处理系统实施例的结构示意图。
【具体实施方式】
[0054]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]本申请提供了一种数据一致性处理方法和系统，通过将需要比对的源系统和目标系统的当前比对信息导入配置表，确定出当前比对任务，之后，根据用户确定的该当前比对任务的比对方式和调度参数，执行当前比对任务，即可得到该当前比对任务的比对结果，当需要更改比对内容时，只需修改配置表中比对信息即可，无需从头重新确定比对任务，过程简单，大大缩短了开发周期，提高了处理效率，且节约了人工成本；当系统得到比对结果后，可生成包含当前比对任务名单及其比对方式、比对时间和所述比对结果的数据报告并输出，从而使技术人员通过对该数据报告的分析确定导致不一致数据的具体原因，与现有技术中发现一处问题修正一处相比，本发明对问题的处理具有针对性，提高了数据一致性处理效率。
[0056]参照图1所示的本发明一种数据一致性处理方法实施例的流程示意图，该方法可以包括以下步骤:
[0057]步骤S101:将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务。
[0058]在本实施例的实际应用中该，用户可根据实际需要确定源系统和目标系统中的比对内容作为当前比对信息，从而根据确定的当前比对信息确定当前比对任务。其中，源系统包括将要进行数据抽取、清洗转换等处理的海量数据，而目标系统包括的是对源系统中的海量数据进行抽取、清洗转换等处理后得到的数据。
[0059]步骤S102:根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数。
[0060]其中，该比对方式可以包括自定义比对、精确比对和一般比对等，而调度参数可以包括用来控制比对的频率、时间等，在实际应用中，用户可根据实际需要选择当前比对任务的比对方式和调度参数，此时，系统将得到相应的操作指令以确定该当前比对任务的比对方式和调度参数。
[0061]在本实施例中，该自定义比对方式可以允许用户根据自己的需求，自定义比对内容，并根据该比对内容自己编写S0L程序进行比对；而精确比对方式则是利用现有的数据加密算法(如HASH/CRC32/MD5算法)来校验，实现数据的绝对一致性；一般比对方式则允许一定的误差率，主要是对条数、金额的比对，其中，该误差率可以根据配置表中的数据量设定。
[0062]步骤S103:按照该调度参数和比对方式，执行当前比对任务，得到该当前比对任务的比对结果。
[0063]需要说明的是，用户选定的当前比对任务的比方方式不同，最终所得到的比对结果不同，如利用精确比对方式得到的比对结果包括不一致数据的明细信息，具体可以包括不一致数据及其源系统的源库表和目标系统的目标库表等等；而一般比对方式则是根据用户定义的误差率来输出比对结果，在允许的误差范围之内的数据比对显示比对一致，该误差范围则是根据所设定的误差率确定，本发明对此不作具体限定。
[0064]在本实施例的实际应用中，当得到当前比对任务的比对结果后，可通过预设窗口直接显示出来，因而，若存在不一致数据，在比对结果后，该预设窗口将显示出所有不一致数据，从而使得技术人员根据这些不一致数据准确分析导致其产生的原因，以便进行针对性处理，需要说明的是，由于对不一致数据的具体处理方式是根据其产生原因确定的，具体确定过程以及处理方式属于本领域公知常识，本发明在此不再详述。
[0065]步骤S104:生成数据报告并输出。
[0066]其中，该数据报告可以包括当前比对任务名单、比对方式、比对时间以及所得到的比对结果等。
[0067]在实际应用中，本发明可以将生成的数据报告通过设定的显示窗口直接显示出来，以供用户根据显示内容进行问题分析，从而确定处理方案；也可以通过网络将生成的数据报告上传到系统服务器中，以便技术人员通过移动设备从该系统服务器中获取该数据报告，结合自身经验对该数据报告所记载的内容进行专业分析，从而给出有效的处理方案，并反馈到用户所用设备，以指导户据此对不一致数据进行处理，从而保证海量数据抽取、清洗转换过程中数据的一致性。
[0068]当然，除了上述记载的方式，还可以将生成的数据报告发送到打印设备进行打印，从而使得用户或技术人员对数据报告的记载内容的分析更加方便。
[0069]在上述实施例的基础上，本发明可以对生成的数据报告以及相应的处理方式进行存储，以供尽快参考或查看。
[0070]优选的，当上述得到的比对结果为源系统的与目标系统的比对数据不一致时，本发明还可以确定该源系统的与目标系统的当前比对信息中不一致数据的数据量，并将所确定的不一致数据的数据量与预设数据阈值进行比较，当该不一致数据的数据量小于预设数据阈值时，将所有的不一致数据保存到预设的临时表中，之后，当接收到用户输出的调取指令时，调取该临时表中的不一致数据并通过前台数据调用窗口显示，以供开发和维护人员针对该前台数据调用窗口的显示内容进行数据核对，实现对问题的实时跟踪。
[0071]其中，该预设数据阈值可以根据实际需要确定，本发明可以以10万条不一致数据作为一个基准，即预设数据阈值可以为10万条数据，但是，本发明并不仅限于此。
[0072]基于上述分析可知，本发明实施例中，当用户确定源系统和目标系统的需要比对信息后，通过将该当前比对信息导入配置表，从而确定出当前比对任务，以进行后续比对处理，当用户需要更改比对内容时，只要修改配置表中比对信息即可，与现有技术中由工作人员重新手写比对任务，从头重新比对的方式相比，过程简单且大大缩短了开发周期，提高了处理效率，节约了人工成本。而且，当系统根据配置表中的当前比对信息确定当前比对任务的比对方式和调度参数后，并据此执行该当前比对任务得到其比对结果后，可生成包含当前比对任务名单及其比对方式、比对时间和所述比对结果的数据报告输出，因而，技术人员能够通过对该数据报告中记载的所有问题进行更全面的分析，从而确定出针对导致不一致数据的具体原因其的处理方案，大大提高了数据一致性处理效率。
[0073]在实际应用中，对于一些重要数据，用户要求保证数据的绝对一致，此时需采用精确比对方式进行源系统和目标系统的当前比对信息的比对，具体过程可参照图2所示的本发明一种数据一致性处理方法的具体实施例的流程示意图，该方法可包括以下步骤:
[0074]步骤S201:将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务。
[0075]其中，该当前比对信息可以包括:源系统的源库表和目标系统的目标库表等。
[0076]步骤S202:根据接收到的用户输入的当前比对字段，从所述配置表中的当前比对信息中获取源系统的源库表和目标系统的目标库表。
[0077]本实施例中，用户可以根据实际需要通过系统输入设备输入需要比对的字段，作为当前比对字段以进行后续比对，其中，当前比对字段包括源系统中比对字段即源表字段和目标系统中的比对字段即目标表字段。
[0078]步骤S203:将该源库表中的主键与源表字段进行拼接得到源字符串，并将目标系统中的主键与目标表字段进行拼接得到目标字符串。
[0079]需要说明的是，关于如何将主键与字段拼接成字符串属于本领域惯用技术手段，本发明对此不作详述说明且对其具体实现方式也不做具体限定。
[0080]步骤S204:利用预存加密算法分别对源字符串和目标字符串进行处理，得到分别与源字符串和目标字符串一一对应的hash值。
[0081]其中，该预存的加密算法可以为HASH算法(即哈希算法)、CRC(CyclicRedundancy Check,循环冗余校验)算法或MD (Message-Digest,信息-摘要)5算法等等。
[0082]在实际应用中，与线性数据结构与表格和队列等相比，哈希是查找速度较快的一种，其通常用于快速查找和加密算法；而CRC算法通常在数据存储和数据通讯中作为检错手段，来保证数据的正确，其具有极强的检错能力，开销小等优势，易于用于编码器及检测电路实现;MD5算法可以将任意长度的字节串变换成一定长的大整数，从而保证了传输数据的可靠性。
[0083]对于这几种加密算法，用户可根据实际需要进行选择，本实施例仅以HASH算法为例进行说明，而至于如何利用该HASH算法对字符串进行处理得到相应的hash值的过程，对于熟知该HASH算法的技术人员来说属于公知技术手段，本发明在此不再详述。
[0084]步骤S205:将得到的与源字符串对应的hash值和与目标字符串对应的hash值进行比较。
[0085]步骤S206:当与源字符串对应的hash值和与目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比。
[0086]其中，当与源字符串对应的hash值和与目标字符串对应的hash值一致时，说明比对数据绝对一致，此时可直接进行其他数据的比对，同时也可以输出当前比对信息的比对数据一致的提示信息。
[0087]可选的，该提示信息可以在预设显示窗口以文字形式输出，可以以语音形式输出，也可以是其他形式，本发明对此不作具体限定。
[0088]步骤S207:显示源库表和目标库表中不一致的比对数据以及所述百分比。
[0089]在实际应用中，开发和维护人员可根据显示的不一致的比对数据及其所在总数据的百分比，进行有针对性的分析，从而快速定位数据异常的原因，给数据抽取提供修改指导意见，及时修正数据抽取脚本,减少生产质量事故的发生。
[0090]可选的，本发明除了显示不一致的比对数据及其所占总数量的百分比外，还可以通过前台的显示窗口实时显示系统对确定的当前比对任务的具体执行过程，从而实现对当前比对任务的实时监控。
[0091]当然，步骤S206所得不一致的比对数据及其在数据总量中所占百分比还可以上传到上级服务器，以便上级部门的专业技术人员据此给出更加有效的处理方案。
[0092]由上述分析可知，本发明利用HASH算法实现了比对数据的绝对一致性，且通过前台窗口实时监控当前比对任务的比对状态，以便准确掌握当前比对情况，快速定位导致不一致数据的原因，提高问题处理效率。
[0093]参照图3所示的本发明一种数据一致性处理系统实施例的结构示意图，该系统可以包括:
[0094]导入模块301，用于将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务；
[0095]获取模块302，用于根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数；
[0096]执行模块303，用于按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果。
[0097]生成模块304，用于生成数据报告并显示，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。
[0098]由此可见，本发明实施例中，当用户确定源系统和目标系统的需要比对信息后，通过导入模块将该当前比对信息导入配置表，从而确定出当前比对任务，以进行后续比对处理，当用户需要更改比对内容时，只要修改配置表中比对信息即可，与现有技术中由工作人员重新手写比对任务，从头重新比对的方式相比，过程简单且大大缩短了开发周期，提高了处理效率，节约了人工成本。而且，当系统根据配置表中的当前比对信息确定当前比对任务的比对方式和调度参数后，并由执行模块据此执行该当前比对任务得到其比对结果后，可由生成显示模块生成包含当前比对任务名单及其比对方式、比对时间和所述比对结果的数据报告输出，因而，技术人员能够通过对该数据报告中记载的所有问题进行更全面的分析，从而确定出针对导致不一致数据的具体原因其的处理方案，大大提高了数据一致性处理效率。
[0099]可选的，当导入模块301向配置表中导入的当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且获取模块302获得的当前比对任务的比对方式为精确比对时，该执行模块303可以包括:
[0100]获取单元，用于根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表。
[0101]其中，该当前比对字段可以包括源表字段和目标表字段。
[0102]拼接单元，用于将所述源库表中的主键与源表字段进行拼接得到源字符串，并将所述目标系统中的主键与目标表字段进行拼接得到目标字符串。
[0103]第一计算单元，用于利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值。
[0104]其中，预设加密算法可以为HASH算法。
[0105]第一比较单元，用于将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较。
[0106]第二计算单元，用于当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比。
[0107]则上述实施例中的生成模块304可以包括:
[0108]第一显示单元，用于显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。
[0109]在本实施例的实际应用中，通过第一显示单元实时显示比对所得不一致数据及其所占百分比，以便开发和维护人员据此快速定位数据异常的原因，给出数据抽取的修改指导意见，及时修正抽取脚本，保证比对数据的绝对一致性，从而减少了生产质量事故的发生。
[0110]可选的，当所述执行模块得到的所述比较结果为所述源系统的与所述目标系统的比对数据不一致时，还包括:
[0111]确定单元，用于确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量。
[0112]第二比较单元，用于将所确定的不一致数据的数据量与预设数据阈值进行比较。
[0113]存储单元，用于当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中。
[0114]第二显示单元，用于当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。
[0115]本实施例可以以10万条不一致数据记录作为一个基准进行比较，当不一致数据条数超过10万条时，可输出提示信息，以便开发和维护人员通过前台数据调用窗口预览不一致数据记录，并进行数据核对快速确定出导致比对数据不一致的原因，给出有效的处理方案。
[0116]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0117]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【权利要求】
1.一种数据一致性处理方法，其特征在于，包括: 将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务； 根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数； 按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果； 生成数据报告并输出，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。
2.根据权利要求1所述的方法，其特征在于，当所述当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且所获取的比对方式为精确比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括: 根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表，其中，所述当前比对字段包括源表字段和目标表字段； 将所述源库表中的主键与所述源表字段进行拼接得到源字符串，并将所述目标系统中的主键与所述目标表字段进行拼接得到目标字符串； 利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值； 将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较。
3.根据权利要求2所述的方法，其特征在于，所述生成数据报告并显示，具体为: 当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比； 显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。
4.根据权利要求1所述的方法，其特征在于，当所获取的比对方式为自定义比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括: 按照所述调度参数以及预存的SQL程序，执行所述当前比对任务，得到所述当前比对任务的比对结果，其中，所述SQL程序是根据用户确定的对比内容而编写的。
5.根据权利要求1所述的方法，其特征在于，当所获取的比对方式为一般比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括: 按照所述调度参数和预设对比条件，对所述源系统和目标系统的当前比对信息中满足所述预设比对条件的数据进行比较； 确定所述源系统的当前比对信息中满足所述预设比对条件的数据与所述目标系统的当前比对信息中满足所述预设比对条件的数据的差值； 则将所述比对结果生成数据报告，并显示所述数据报告具体为: 当所述差值超出预设误差范围时，显示所述源系统和所述目标系统的当前比对数据。
6.根据权利要求1-5任一项所述的方法，其特征在于，当所述比对结果为所述源系统的与所述目标系统的比对数据不一致时，还包括: 确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量； 将所确定的不一致数据的数据量与预设数据阈值进行比较； 当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中； 当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。
7.一种数据一致性处理系统，其特征在于，包括: 导入模块，用于将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务; 获取模块，用于根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数； 执行模块，用于按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果； 生成模块，用于生成数据报告并显示，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。
8.根据权利要求7所述的系统，其特征在于，当所述当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且所获取的比对方式为精确比对时，所述执行模块包括: 获取单元，用于根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表，其中，所述当前比对字段包括源表字段和目标表字段； 拼接单元，用于将所述源库表中的主键与源表字段进行拼接得到源字符串，并将所述目标系统中的主键与目标表字段进行拼接得到目标字符串； 第一计算单元，用于利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值； 第一比较单元，用于将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较； 第二计算单元，用于当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比。
9.根据权利要求8所述的系统，其特征在于，所述生成模块包括: 第一显示单元，用于显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。
10.根据权利要求7-9任一项所述的系统，其特征在于，当所述执行模块得到的所述比较结果为所述源系统的与所述目标系统的比对数据不一致时，还包括: 确定单元，用于确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量; 第二比较单元，用于将所确定的不一致数据的数据量与预设数据阈值进行比较； 存储单元，用于当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中； 第二显示单元，用于当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。
【文档编号】G06F17/30GK104268291SQ201410570836
【公开日】2015年1月7日 申请日期:2014年10月23日 优先权日:2014年10月23日
【发明者】刘冬, 王培勇, 张帆 申请人:税友软件集团股份有限公司