一种数据一致性匹配处理方法和设备的制作方法
【专利摘要】本发明的实施方式提供了一种数据一致性匹配处理方法。该方法包括：获得待处理的第一数据文件；基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；其中，所述数据一致性匹配处理包括：将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。本发明的方法显著地降低了数据传输的时间，并且减少了数据比较的耗时，提高了数据处理效率，并提高了数据传输的安全性。
【专利说明】一种数据一致性匹配处理方法和设备
【技术领域】
[0001]本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据一致性匹配处理方法和设备。
【背景技术】
[0002]本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在整个数据处理【技术领域】中，为了保证数据的一致性和正确性，经常需要对数据进行一致性的核对与匹配处理。目前，已经出现一些数据一致性匹配处理方法，由请求方向被请求方发送数据请求，被请求方形成数据文件后，将全部原始数据文件发送给请求方，由请求方周期性地查找数据文件是否存在，并根据数据文件中的各项内容，进行逐笔地核对，以判断两个数据文件中的各项数据是否一致。
【发明内容】
[0004]但是，由于需要核对的数据量非常大，一般至少在几百KB甚至几十M，现有技术采用实时传输整个原始数据文件的方式，一旦网络不稳定，则会产生传输中断或者造成传输速度缓慢、传输周期长的问题。此外，由于数据文件的传输是明文传输，而核对的数据文件往往涉及到例如资金明细等敏感信息，数据传输的安全性也得不到保证。此外，在执行数据一致性匹配时，需要对全部数据文件进行逐笔核对，需要反复多次读写数据库，降低了服务器、数据库的使用性能。
[0005]因此在现有技术中，数据的一致性匹配过程存在实时性差、传输速度慢、耗费周期长、安全性差的问题，这是非常令人烦恼的过程。
[0006]为此，非常需要一种改进的数据一致性匹配处理方法，以期待提高数据一致性匹配的实时性，提高数据处理效率，增强数据传输的安全性。
[0007]在本上下文中，本发明的实施方式期望提供一种数据一致性匹配处理方法和设备。
[0008]在本发明实施方式的第一方面中，提供了一种数据一致性匹配处理方法，包括:
[0009]获得待处理的第一数据文件；
[0010]基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；
[0011]其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
[0012]在本发明实施方式的第二方面中，提供了一种数据一致性匹配处理设备，包括:获得单元，配置用于获得待处理的第一数据文件；
[0013]校验信息生成单元，配置用于基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
[0014]根据本发明实施方式的数据一致性匹配处理方法和设备，可以基于待处理的数据文件生成与所述数据文件唯一对应的校验信息，利用所述校验信息进行数据文件的一致性匹配处理。在本发明实施例中，由于生成了校验信息，数据的传输和比较过程均可以基于校验信息进行，而无需传输数据量庞大的数据文件以及利用原始数据文件进行逐笔核对，由于所述校验信息的信息量远远小于待处理的数据文件的信息量，从而显著地降低了数据传输的时间，并且减少了数据比较的耗时，提高了数据处理效率，为用户带来了更好的体验。此外，由于传输的是基于数据文件而生成的校验信息，相当于传输加密后的数据，显著提高了数据传输的安全性。
【专利附图】
【附图说明】
[0015]通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中:
[0016]图1示意性地示出了根据本发明实施方式的可以在其中实现的应用场景；
[0017]图2示意性地示出了根据本发明一实施例的数据一致性匹配处理方法流程示意图；
[0018]图3示意性地示出了根据本发明又一实施例的数据一致性匹配处理方法流程示意图；
[0019]图4示意性地示出了根据本发明再一实施例的数据一致性匹配处理方法流程示意图；
[0020]图5示意性地示出了根据本发明实施例的数据一致性匹配处理设备框图。
[0021]在附图中，相同或对应的标号表不相同或对应的部分。
【具体实施方式】
[0022]下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0023]本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0024]根据本发明的实施方式，提出了一种数据一致性匹配的方法和设备。
[0025]此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0026]下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
[0027]发曰月概沐
[0028]本发明人发现，由于需要核对的数据量非常大，一般至少在几百KB甚至几十M，现有技术采用实时传输整个原始数据文件的方式，一旦网络不稳定，则会产生传输中断或者造成传输速度缓慢、传输周期长的问题。此外，由于数据文件的传输是明文传输，而核对的数据文件往往涉及到例如资金明细等敏感信息，数据传输的安全性也得不到保证。此外，在执行数据一致性匹配时，需要对全部数据文件进行逐笔核对，需要反复多次读写数据库，降低了服务器、数据库的使用性能。
[0029]因此针对现有技术中数据的一致性匹配过程存在实时性差、传输速度慢、耗费周期长、安全性差的技术问题，提供了一种数据一致性匹配处理方法和设备，可以基于待处理的数据文件生成与所述数据文件唯一对应的校验信息，利用所述校验信息进行数据文件的一致性匹配处理。在本发明实施例中，由于生成了校验信息，数据的传输和比较过程均可以基于校验信息进行，而无需传输数据量庞大的数据文件以及利用原始数据文件进行逐笔核对，由于所述校验信息的信息量远远小于待处理的数据文件的信息量，从而显著地降低了数据传输的时间，并且减少了数据比较的耗时，提高了数据处理效率，为用户带来了更好的体验。此外，由于传输的是基于数据文件而生成的校验信息，相当于传输加密后的数据，显著提高了数据传输的安全性。
[0030]在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
[0031]应用场景总览
[0032]首先参考图1，示意性地示出了根据本发明实施方式的可以在其中实现的应用场景。数据发送方为发送数据的一方，数据接收方为接收数据的一方。在一种典型的应用场景中，所述数据发送方发送第一校验信息，所述数据接收方接收所述第一校验信息，并执行数据一致性匹配处理。所述数据发送方和数据接收方可以是任意一种客户端或者服务器，所述客户端可以应用到电子设备中，所示电子设备可以是现有的、正在研发的或将来研发的任何电子设备，包括但不限于:现有的、正在研发的或将来研发的、台式计算机、膝上型计算机、移动终端(包括智能手机、非智能手机、各种平板电脑)等。本领域技术人员可以理解，图1所示的示意图仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的适用范围不受到该框架任何方面的限制。
[0033]示例性方法
[0034]下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的用于数据一致性匹配处理的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
[0035]参见图2，示意性地示出了根据本发明一实施例的数据一致性匹配处理方法流程图，该方法具体例如可以包括:
[0036]S201，获得待处理的第一数据文件。
[0037]其中，待处理的第一数据文件可以是原始数据文件，也可以是对原始数据文件进行筛选处理后获得的关键信息所生成的数据文件。对应后一种方式，获得待处理的第一数据文件包括:获得待处理的原始数据文件，从所述原始数据文件筛选出预设范围和/或预设类目的关键信息。具体实现时，进行数据一致性匹配处理的任何一方，可以各自从数据库批量读取出待处理的原始数据文件，从所述原始数据文件筛选出预先设定范围的关键信息作为待处理的第一数据文件。预先设定的范围可以是预设的时间范围，例如可以是根据数据的生成时间筛选出的固定时间范围的数据。预先设定的范围还可以是预设的区域范围，例如某一地区范围的数据。预先设定的范围还可以是预设的账号范围，例如设置账号区间，(0, 1000) (1000, 2000)等。具体的预设范围还可以是其他范围，可以根据需要灵活设置，在此不进行限定。当然，还可以从原始数据文件中筛选出预设类目的关键信息。所述预设类目包括但不限于金额、订单状态、订单号、序列号、交易方式等，可以由用户或者系统根据需要具体设置。其中，金额具体可以为交易金额。订单状态具体可以包括交易成功、交易失败、退款等状态。其中，预设类目为执行数据一致性匹配处理的两方，数据接收方和数据发送方均共有的数据类目。
[0038]在一种可能的实现方式中，所述待处理的第一数据文件为经过排序处理后的数据文件，所述排序处理包括:对筛选出的所述关键信息进行排序，所述排序过程基于预设的格式和/或排列规则而执行。具体地，执行数据一致性匹配处理的两方可以预先约定固定的格式和/或排列规则，双方基于预设的格式和/或排列规则对筛选出的关键信息进行排序，以获得一致的待处理数据文件。例如，双方预先设置相同的数据格式和序列，包括数据每一行、每一列对应的字段，数据的类型、长度等信息。预设的排列规则可以包括数据按照升序还是降序排列，以哪一个关键字段作为基准字段进行升序或者降序排列等。这样，数据接收方和数据发送方均可以获得一致的待处理的第一数据文件。
[0039]S202，基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
[0040]本发明具体实现时，基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息。所述第一校验信息用于执行数据的一致性匹配处理，第一校验信息的信息量远小于第一数据文件的信息量。生成第一校验信息的方法可以是多样的，只要能够使得不同的数据文件生成不同的校验信息，相同的数据文件生成相同的校验信息即可。在一种可能的实现方式中，本发明可以使用MD5(英文全称为Message Digest Algorithm MD5，中文名称为中文名为消息摘要算法第五版)加密算法生成基于第一数据文件的第一校验信息。具体实现时，所述第一校验信息为一组加密字符串，不同内容的数据文件在经过MD5加密算法生成的校验信息即加密字符串是不同的。
[0041]其中，MD5函数具体可以是:
[0042]void MD5Encode(unsigned char氺output, unsigned int氺input, unsigned intlen)。
[0043]其中input为输入的信息，即待处理的第一数据文件，output为经过MD5加密后得到的校验信息加密字符串，len是计算出校验字符串长度即校验信息的位数，一般为32。
[0044]当然，本领域技术人员可以理解的是，除了 MD5算法外，还可以利用其它方法生成校验信息。例如可以包括:RSA (—种公钥加密算法)、DSA (英文全称为Digital SignatureAlgorithm，中文全称为数字签名算法)等。但这种方法需要公私钥的配置，相对复杂，但安全性也更高。校验信息的生成还可以使用CRC(英文全称为Cyclic Redundancy Check，中文全称为循环冗余校验码)，其缺点是冲突性较高，但生成方式比较简单。本发明对生成第一校验信息的方式不进行限定，本领域技术人员在付出创造性劳动下获取的其他实现方式均属于本发明的保护范围。
[0045]需要说明的是，数据发送方可以在基于第一数据文件生成第一校验信息后，向数据接收方发送所述第一校验信息，所述第一校验信息用于所述数据接收方利用所述第一校验信息进行数据一致性匹配处理。其中，数据接收方基于待匹配处理的第二数据文件生成第二校验信息，而后将接收的第一校验信息与所述第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。如果所述第一校验信息与所述第二校验信息不一致，则确定所述第一数据文件和所述第二数据文件不相同。这时，可以由数据接收方采取传统的逐笔核对的方式进行数据的一致性匹配。
[0046]当然，生成第一校验信息的一方还可以作为数据接收方，接收第三校验信息，所述第三校验信息基于第三数据文件而生成，所述第三校验信息与所述第三数据文件具有一一对应关系；将所述第三校验信息与所述第一校验信息进行比较，如果一致，则确定所述第三数据文件与所述第一数据文件相同。
[0047]进一步，所述方法还包括:当完成对校验信息的比较，更新与所述校验信息对应的数据文件的状态为已处理。这样，可以再重新获取未处理的数据文件执行上述流程。
[0048]在本发明实施例中，由于生成了校验信息，数据的传输和比较过程均可以基于校验信息进行，而无需传输数据量庞大的数据文件以及利用原始数据文件进行逐笔核对，由于所述校验信息的信息量远远小于待处理的数据文件的信息量，从而显著地降低了数据传输的时间，并且减少了数据比较的耗时，提高了数据处理效率，为用户带来了更好的体验。此外，由于传输的是基于数据文件而生成的校验信息，相当于传输加密后的数据，显著提高了数据传输的安全性。
[0049]参见图3，示意性地示出了根据本发明又一实施例的数据一致性匹配处理方法流程示意图。在此示意图中，以数据接收方执行数据一致性匹配处理为例进行说明，所述数据接收方可以是任一客户端或者服务器。所示实施例的各处理步骤的先后执行顺序并不是必须的，可以根据需要调整步骤之间的先后执行顺序，一些步骤可以并行地执行。
[0050]S301，数据接收方获得待处理的第一数据文件。
[0051]所述待处理的第一数据文件可以是对原始数据文件筛选出预设范围和/或预设类目的关键信息，并对所述关键信息基于预设的格式和/或排列规则进行排序处理后得到的数据文件。
[0052]S302，所述数据接收方基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息。
[0053]S303，数据发送方获得待处理的第三数据文件。
[0054]其中，所述第三数据文件与所述第一数据文件具有对应关系，为执行匹配处理的对象。
[0055]S304，所述数据发送方基于所述第三数据文件生成第三校验信息。
[0056]其中，所述数据发送方基于所述第三数据文件生成第三校验信息的方式与数据接收方生成第一校验信息的方式相同。所述第三校验信息的信息量小于所述第三数据文件的信息量。
[0057]需要说明的是，S30US302与S303、S304之间可以并行地执行。
[0058]S305，当符合预设的触发条件时，所述数据发送方向所述数据接收方发送第三校验信息。
[0059]其中，所述预设的触发条件包括:响应于所述数据接收方的数据请求。所述数据请求用于请求进行数据一致性匹配处理的数据文件，所述数据请求中可以包含用于标识请求的数据文件的标识，例如第一数据文件和/或第三数据文件的标识，或者与所述数据文件对应的信息，例如数据的范围和/或数据的类目信息等，在此不进行限定。
[0060]所述预设的触发条件还可以包括:当预设的定时器被触发时。例如，执行数据匹配处理的双方可以预先设定在预定的周期或者时间段进行数据一致性匹配处理，当预设的定时器被触发时，由一方向另一方发送相应的数据。
[0061]这里，数据发送方发送的数据不是待比较的全部原始文件，而是基于数据文件生成的校验信息，由于校验信息的信息量远远小于数据文件的信息量，因此在双方传输数据的过程中，可以有效减少传输的数据量，从而减少了数据传输对网络的依赖，并减少了带宽资源占用，减少了等待时间。此外，由于传输的校验信息尽管基于数据文件而生成，但无法通过校验信息还原出原始数据文件，即便校验信息在网络传输过程中被窃取，也不会影响数据安全，从而有效降低了原始数据文件被窃取、暴露的风险，提高了数据安全性和保密性。
[0062]S306，数据接收方接收所述第三校验信息，将所述第三校验信息与所述第一校验信息进行比较。
[0063]本发明具体实施时，数据的一致性匹配是通过比较校验信息是否一致来确定数据文件是否相同。由于不同的数据文件生成的校验信息不同，因此通过比较校验信息，即可以确定数据文件是否相同。相对于将数据文件的各项条目逐笔比对的方式，本发明实施例提供的方法只需要比对一条校验信息，即可确定数据文件是否相同，大大减少了数据处理量，减少了对数据库的访问，提高了数据处理效率。
[0064]S307，当所述第三校验信息与所述第一校验信息一致时，则确定所述第三数据文件与所述第一数据文件相同。
[0065]S308，当所述第三校验信息与所述第一校验信息不一致时，则确定所述第三数据文件与所述第一数据文件不相同。
[0066]当确定所述第三数据文件与所述第一数据文件不同时，可以采取现有技术中逐笔核对的方式，从而确定宄竟是哪一个部分不一致。当然，还可以采取图4所示的处理方式。
[0067]参见图4，示意性地示出了根据本发明再一实施例的数据一致性匹配处理方法流程示意图。在图3所示实施例后，当在S308确定所述第三数据文件与所述第一数据文件不相同时，可以执行步骤S401所示方法。
[0068]S401，将待处理数据文件划分为至少两部分，包括第一部分和第二部分。
[0069]其中，当确定所述第三校验信息与所述第一校验信息不一致时，对第一数据文件进行划分，划分后的第一数据文件至少包括第一部分和第二部分。
[0070]S402，基于待处理数据文件的第一部分生成对应的第四校验信息，基于待处理的数据文件的第二部分生成第五校验信息。
[0071]具体地，当待处理数据文件是第一数据文件时，则基于所述第一数据文件的第一部分生成第四校验信息，基于所述第一数据文件的第二部分生成第五校验信息。
[0072]S403，向第三校验信息的发送方发送数据请求，用于请求第六校验信息和第七校验信息。
[0073]S404，接收第六校验信息与第七校验信息。
[0074]其中，所述第六校验信息基于所述第三数据文件的第一部分而生成，所述第七校验信息基于所述第三数据文件的第二部分而生成；所述第三数据文件的划分方式与所述第一数据文件的划分方式相同。也就是说，数据发送方响应于数据接收方的请求，将第三数据文件划分为至少两个部分，并基于第三数据文件的第一部分生成第六校验信息，基于第三数据文件的第二部分生成第七校验信息。划分第三数据文件的方式与划分第一数据文件的方式相同。
[0075]S405，将所述第四校验信息与所述第六校验信息进行比较，将所述第五校验信息与所述第七校验信息进行比较。
[0076]S406，当所述第四校验信息与所述第六校验信息不一致时，则确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同。
[0077]S407，所述第五校验信息与所述第七校验信息不一致时，则确定所述第一数据文件的第二部分与所述第三数据文件的第二部分不同。
[0078]需要说明的是，如果确定第四校验信息与第六校验信息、第五校验信息与第七校验信息均不一致时，则停止处理。
[0079]如果确定第四校验信息与第六校验信息、第五校验信息与第七校验信息仅有一者不一致时，还可以继续执行二分比较处理。
[0080]则所述方法还包括:
[0081]当确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同时，将所述第一数据文件的第一部分划分为至少两部分，并基于划分结果获得第八校验信息与第九校验信息；
[0082]将所述第八校验信息与第九校验信息分别与基于划分后的第三数据文件的第一部分获得的第十校验信息与第十一校验信息比较。
[0083]重复上述过程，直到两两比较结果表明两两校验信息均不一致时，停止比较校验信息，对所述校验信息对应的数据文件进行逐笔核对处理。
[0084]根据上述处理方式，替代于逐笔核对数据文件的方式，可以仅通过划分数据文件，并基于划分后的数据文件生成校验信息，比较校验信息的方式可以逐步确定数据不一致的部分，从而大大减少了数据处理的工作量，提高了数据处理效率。特别是对于大型的数据库处理而言，上述方式有效减少了数据的输入输出处理，提高了数据库性能。当然，当两个数据文件的数据不一致地方较多且分布不均匀时，当发现对数据文件划分的至少两部分所生成的校验信息均不一致时，说明无法区分不一致的地方在哪一部分，则停止迭代比较处理。由于在大部分情况下，待处理的两份数据文件很少出现数据不一致的情况，因此应用本发明的方法从整体处理效率上仍远远由于现有技术逐笔核对的方法。
[0085]示例件设各
[0086]在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的、用于执行数据一致性匹配处理的设备进行介绍。
[0087]—种设备500，包括:
[0088]获得单元501，配置用于获得待处理的第一数据文件。
[0089]校验信息生成单元502，配置用于基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
[0090]进一步的，所述获得单元501具体配置用于:获得待处理的原始数据文件，从所述原始数据文件筛选出预设范围和/或预设类目的关键信息；将所述关键信息作为待处理的第一数据文件。
[0091]进一步的，所述获得单元501获得的所述待处理的第一数据文件为经过排序处理后的数据文件，所述排序处理包括:对筛选出的所述关键信息进行排序，所述排序过程基于预设的格式和/或排列规则而执行。
[0092]进一步的，所述设备还包括:
[0093]发送单元，配置用于向数据接收方发送所述第一校验信息，所述第一校验信息用于所述数据接收方利用所述第一校验信息进行数据一致性匹配处理。
[0094]进一步的，所述设备还包括:
[0095]接收单元，配置用于接收第三校验信息，所述第三校验信息基于第三数据文件而生成，所述第三校验信息与所述第三数据文件具有一一对应关系；
[0096]比较单元，配置用于将所述第三校验信息与所述第一校验信息进行比较；
[0097]确定单元，配置用于如果所述第三校验信息与所述第一校验信息一致，则确定所述第三数据文件与所述第一数据文件相同。
[0098]进一步的，所述设备还包括:
[0099]划分单元，配置用于当确定所述第三校验信息与所述第一校验信息不一致时，对所述第一数据文件进行划分，划分后的第一数据文件至少包括第一部分和第二部分；
[0100]所述校验信息生成单元还配置用于基于所述第一数据文件的第一部分生成第四校验信息，基于所述第一数据文件的第二部分生成第五校验信息；
[0101]所述发送单元还配置用于向第三校验信息的发送方发送数据请求，用于请求第六校验信息和第七校验信息；
[0102]所述接收单元还配置用于接收第六校验信息与第七校验信息；其中，所述第六校验信息基于所述第三数据文件的第一部分而生成，所述第七校验信息基于所述第三数据文件的第二部分而生成；所述第三数据文件的划分方式与所述第一数据文件的划分方式相同；
[0103]所述比较单元还配置用于将所述第四校验信息与所述第六校验信息进行比较，将所述第五校验信息与所述第七校验信息进行比较；
[0104]所述确定单元还配置用于当所述第四校验信息与所述第六校验信息不一致时，则确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同；当所述第五校验信息与所述第七校验信息不一致时，则确定所述第一数据文件的第二部分与所述第三数据文件的第二部分不同。
[0105]进一步的:
[0106]所述划分单元还配置用于当确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同时，将所述第一数据文件的第一部分划分为至少两部分，并基于划分结果获得第八校验信息与第九校验信息；
[0107]所述比较单元还用于将所述第八校验信息与第九校验信息分别与基于划分后的第三数据文件的第一部分获得的第十校验信息与第十一校验信息比较；
[0108]所述设备还包括:
[0109]迭代单元，配置用于重复上述过程，直到两两比较结果表明两两校验信息均不一致时，停止比较校验信息，对所述校验信息对应的数据文件进行逐笔核对处理。
[0110]进一步的，所述设备还包括:
[0111]状态更新单元，配置用于当完成对校验信息的比较，更新与所述校验信息对应的数据文件的状态为已处理
[0112]应当注意，尽管在上文详细描述中提及了数据一致性匹配处理设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
[0113]此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0114]虽然已经参考若干【具体实施方式】描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的【具体实施方式】，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
【权利要求】
1.一种方法，包括: 获得待处理的第一数据文件； 基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理； 其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
2.根据权利要求1所述的方法，其特征在于，所述获得待处理的第一数据文件包括: 获得待处理的原始数据文件，从所述原始数据文件筛选出预设范围和/或预设类目的关键?目息; 将所述关键信息作为待处理的第一数据文件。
3.根据权利要求2所述的方法，其特征在于，所述待处理的第一数据文件为经过排序处理后的数据文件，所述排序处理包括:对筛选出的所述关键信息进行排序，所述排序过程基于预设的格式和/或排列规则而执行。
4.根据权利要求1所述的方法，还包括: 向数据接收方发送所述第一校验信息，所述第一校验信息用于所述数据接收方利用所述第一校验信息进行数据一致性匹配处理。
5.根据权利要求1所述的方法，还包括: 接收第三校验信息，所述第三校验信息基于第三数据文件而生成，所述第三校验信息与所述第三数据文件具有一一对应关系； 将所述第三校验信息与所述第一校验信息进行比较，如果一致，则确定所述第三数据文件与所述第一数据文件相同。
6.根据权利要求5所述的方法，还包括: 当确定所述第三校验信息与所述第一校验信息不一致时，对所述第一数据文件进行划分，划分后的第一数据文件至少包括第一部分和第二部分； 基于所述第一数据文件的第一部分生成第四校验信息，基于所述第一数据文件的第二部分生成第五校验信息； 向第三校验信息的发送方发送数据请求，用于请求第六校验信息和第七校验信息； 接收第六校验信息与第七校验信息；其中，所述第六校验信息基于所述第三数据文件的第一部分而生成，所述第七校验信息基于所述第三数据文件的第二部分而生成；所述第三数据文件的划分方式与所述第一数据文件的划分方式相同； 将所述第四校验信息与所述第六校验信息进行比较，将所述第五校验信息与所述第七校验信息进行比较； 当所述第四校验信息与所述第六校验信息不一致时，则确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同；当所述第五校验信息与所述第七校验信息不一致时，则确定所述第一数据文件的第二部分与所述第三数据文件的第二部分不同。
7.根据权利要求6所述的方法，还包括: 当确定所述第一数据文件的第一部分与所述第三数据文件的第一部分不同时，将所述第一数据文件的第一部分划分为至少两部分，并基于划分结果获得第八校验信息与第九校验信息； 将所述第八校验信息与第九校验信息分别与基于划分后的第三数据文件的第一部分获得的第十校验信息与第十一校验信息比较； 重复上述过程，直到两两比较结果表明两两校验信息均不一致时，停止比较校验信息，对所述校验信息对应的数据文件进行逐笔核对处理。
8.根据权利要求1所述的方法，还包括: 当完成对校验信息的比较，更新与所述校验信息对应的数据文件的状态为已处理。
9.一种设备，包括: 获得单元，配置用于获得待处理的第一数据文件； 校验信息生成单元，配置用于基于所述第一数据文件生成与所述第一数据文件唯一对应的第一校验信息；其中，不同的数据文件生成的校验信息不同，所述第一校验信息的信息量小于所述第一数据文件的信息量；所述第一校验信息用于进行数据一致性匹配处理；其中，所述数据一致性匹配处理包括:将所述第一校验信息与对应于第二数据文件的第二校验信息进行比较，如果所述第一校验信息与所述第二校验信息一致，则确定所述第一数据文件和所述第二数据文件相同。
10.根据权利要求9所述的设备，其特征在于，所述获得单元具体配置用于:获得待处理的原始数据文件，从所述原始数据文件筛选出预设范围和/或预设类目的关键信息；将所述关键信息作为待处理的第一数据文件。
【文档编号】G06F21/64GK104504347SQ201510028018
【公开日】2015年4月8日 申请日期:2015年1月20日 优先权日:2015年1月20日
【发明者】沈国鑫, 王磊 申请人:网易宝有限公司