大数据一致性对比方法和系统的制作方法
【专利摘要】本发明提供了一种大数据一致性对比方法和系统，所述方法包括：将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据；利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对比，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比；若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。采用该方法和系统，能够实现了高效的对无序的大数据进行一致性对比。
【专利说明】大数据一致性对比方法和系统
【技术领域】
[0001]本发明涉及计算机【技术领域】，特别是涉及一种大数据一致性对比方法和系统。
【背景技术】
[0002]大数据，也称为巨量数据，是指数据量为PB级(PB指petabyte，是较为高级的存储单位，为2的50次方字节)以上的数据。大数据由于数据量规模巨大，无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，通常需要上千甚至几万台计算机通过网络连接组成的共同完成特定数据存储、计算任务的计算机集群(即大数据集群)来进行处理。
[0003]随着大数据时代的到来，大数据的价值得以开发，大数据的应用和处理越来越频繁，大数据一致性对比成为大数据中的一个关键应用。比如，在大数据集群系统更替时需要确定更替前后的大数据是否一致；算法优化前后计算结果是否一致；数据迁移前后是否一致等等。
[0004]然而传统的对比工具通常只能实现小数据量一致性的对比，但在对比大数据量(PB级数据量)时效率则非常低下。
【发明内容】
[0005]基于此，有必要针对上述技术问题，提供一种能提高对比效率的大数据一致性对比方法和系统。
[0006]一种大数据一致性对比方法，所述方法包括:
[0007]将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据；
[0008]利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对t匕，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比；
[0009]若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
[0010]一种大数据一致性对比系统，所述系统包括:
[0011]数据转换模块，用于将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据；
[0012]数据对比模块，用于利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对比，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比；若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
[0013]上述大数据一致性对比方法和系统，通过将非结构化的待对比数据转换为有序的结构化数据，使得后续的对比更加高效。另外，利用分布式并行架构对第一结构化数据和第二结构化数据进行分层对比，通过在不同层级分别对第一结构化数据和第二结构化数据中的数据通信信息和内容进行对比，这种分层对比的方式能够降低一些不必要的对比开销，从而提高了对比效率，能够高效的解决无序的大数据一致性对比的问题，且能实现大数据的高一致性对比。
【专利附图】
【附图说明】
[0014]图1为一个实施例中大数据一致性对比方法的应用环境图；
[0015]图2为一个实施例中大数据一致性对比方法的流程示意图；
[0016]图3为另一个实施例中大数据一致性对比方法的流程示意图；
[0017]图4为图3中对非结构化数据转换为结构化数据的示意图；
[0018]图5为图3中判断第一库表中的记录条数与第二库表中的记录条数是否相同的步骤的流程示意图；
[0019]图6为图3中对第一库表和第二库表进行内容对比的流程示意图；
[0020]图7为图6中对两个库表进行内容对比的示意图；
[0021]图8为一个实施例中利用MapReduce进行分布式计算的示意图；
[0022]图9为一个实施例中大数据一致性对比系统的结构框图；
[0023]图10为图9中数据对比模块的结构框图；
[0024]图11为另一个实施例中大数据一致性对比系统的结构框图；
[0025]图12为一个实际项目中的大数据一致性对比系统的运行框架图；
[0026]图13为图12中的记录结果的示意图。
【具体实施方式】
[0027]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0028]本发明实施例所提供的一种大数据一致性对比方法可应用于如图1所示的系统中。参考图1所示，需要进行一致性对比的大数据A和大数据B为计算机集群中的数据，t匕如，可以分别是大数据集群进行系统更替时的更替前和更替后的大数据，可以分别是集群中进行算法优化所对应的优化前的计算结果和优化后的计算结果，也可以分别是大数据从一个计算机集群迁移到另一个计算机集群所对应的迁移前的数据和迁移后的数据，等等。需要进行一致性对比的大数据A和大数据B通常为不规整的目录文件数据，服务器106获取这些数据，将这些非结构化的数据转换为规整的结构化数据(库表)，然后使用分布式并行计算架构108对得到的两个有序的库表进行分层对比。其中，分层对比包括对两个库表中的数据统计信息和内容进行对比。具体的，例如，可先对比两个库表中的记录条数是否相同，如果记录条数不相同，则表明其内容不可能相同，直接返回对比不一致的结果。如果记录条数相同，再进一步对比内容是否相同，采用分布式并行计算架构108使用多线程提交任务进行并行计算对比，大大提高了对比效率。最终将对比结果存储至数据库110中。存储在数据库Iio中的对比结果可以通过前台进行展现，或通过网络112推送至远程终端114进行展示，比如以邮件的方式发送到远程终端114。
[0029]如图2所示，在一个实施例中，提供了一种大数据一致性对比方法，该方法以运行于Linux ( 一种类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统)服务器进行举例说明，该方法包括:
[0030]步骤202，将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据。
[0031]本实施例中，第一待对比数据和第二待对比数据即为需要进行一致性对比的大数据，由于原始的大数据是不规整的，因此可先分别将第一待对比数据和第二待对比数据转换为规整有序的结构化数据，如库表。
[0032]步骤204，利用分布式并行计算架构对第一结构化数据和第二结构化数据进行分层对比，分层对比包括在不同层级对第一结构化数据和第二结构化数据中的数据通信信息进行对比和对第一结构化数据和第二结构化数据中的内容进行对比。
[0033]本实施例中，若第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
[0034]具体的，可利用分布式并行计算架构，先对第一结构化数据和第二结构化数据中的数据统计信息进行对比，数据统计信息可以是结构化数据的记录条数、行数、列数、数据量大小等中的至少一种。若第一结构化数据和第二结构化数据中的数据统计信息不相同，则不再进行内容对比，因为如果数据统计信息不相同，则内容不可能再相同，则直接返回对比不一致的结果。若第一结构化数据和第二结构化数据中的数据统计信息相同，则再进一步对第一结构化数据和第二结构化数据中的内容进行对比，若内容相同，则返回对不一致的结果，若内容不相同，则返回对比不一致的结果。
[0035]本实施例中，通过将非结构化的待对比数据转换为结构化数据，例如，可将无序的大数据转换为有序的库表，使得后续的对比更加高效。另外，利用分布式并行架构对第一结构化数据和第二结构化数据进行分层对比，这种分层对比的方式能够降低一些不必要的对比开销，从而提高了对比效率，能够高效的解决无序的大数据一致性对比的问题，且能实现大数据的高一致性对比。
[0036]在一个实施例中，第一结构化数据为第一库表，第二结构化数据为第二库表；利用分布式并行计算架构对第一结构化数据和第二结构化数据进行分层对比的步骤包括:判断第一库表和第二库表中的记录条数是否相同，若是，则对第一库表和第二库表进行内容对t匕，否则返回对比不一致的结果。
[0037]如图3所示，一种大数据一致性对比方法，该方法以应用于Linux服务器进行举例说明，该方法包括:
[0038]步骤302，对第一待对比数据中目录下所有数据创建对应的外表，得到结构化的第一库表，以及对第二待对比数据中目录下所有数据创建对应的外表，得到结构化的第二库表。
[0039]本实施例中，可采用开源框架Hive将大数据的文件所在目录关联为库表。Hive是基于Hadoop (—种分布式系统基础架构)的一个数据仓库工具，其可以将结构化的数据文件映射为一张库表，也可将SQL (结构化查询语言)语句转换为MapReduce ( 一种编程模型，用于大规模数据集的并行计算)任务进行运行。这样，可将不规整的大数据转换为有序的数据，规避了原始数据由于文件分片不一致导致无法对比的问题，实现了大数据的可对比性。
[0040]举例说明，可采用如下SQL语句对一个目录下的数据创建外表:
[0041 ] CREATE EXTERNAL TABLE TX (a String,) ROW FORMAT DELIMITED FIELDS TERMINATEDBY’ 13’ LOCATION’/user/tdwadmin/testl'
[0042]其中，“/user/tdwadmin/testI” 表示目录的路径。
[0043]如图4所示，需要进行一致性对比的大数据X和Y包含文件目录以及目录下的数据，分别对每条目录下所有数据创建对应的外表，得到相应的库表TX和TY，库表TX和库表TY中的数据是有序的。应当说明的是，图4所示的库表的内容仅仅是一个示例，并不用于限制本实施例。
[0044]步骤304，判断第一库表和第二库表中的记录条数是否相同，若是，则进入步骤306，否则进入步骤308。
[0045]步骤306,判断第一库表和第二库表中的内容是否相同,若是,贝U进入步骤308,否则进入步骤310。
[0046]步骤308，返回对比不一致的结果。
[0047]步骤310和步骤312，返回对比不一致的结果。
[0048]本实施例中，可对两个库表分别执行select count获取其中的记录条数。如果第一库表和第二库表中的记录条数不相同，则两个库表的内容必然不相同，直接返回对比不一致的结果，以降低不必要的对比开销。如果两个库表中的记录条数相同，再进一步判断第一库表和第二库表中的内容是否相同，如果相同，则返回对比一致的结果，如果内容不相同，则返回对比不一致的结果。
[0049]进一步的，在一个实施例中，可将大数据一致性对比结果进行记录，生成记录结果，将记录结果发送至远程终端，记录结果包括记录条数对比失败列表、内容对比失败列表和内容对比成功列表。其中，每一列表都可包含任务标识、任务类型、每个任务对应的记录条数等等，其中内容对比成功列表还包含每个任务对应的内容对比结果。可以理解，若内容对比失败列表和内容对比成功列表中不为空，则记录条数对比失败列表为空，若记录条数对比失败列表不为空,则内容对比失败列表和内容对比成功列表为空。本实施例中，记录结果中还可包含对对比结果的汇总，比如，内容对比成功的任务数量、内容对比失败的任务数量等。可将记录结果以邮件推送的方式发送至远程终端。
[0050]在一个实施例中，如图5所示，判断第一库表中的记录条数与第二库表中的记录条数是否相同的步骤为:
[0051]步骤502，分别统计第一库表中去重后的第一记录条数和第二库表中去重后的第二记录条数。
[0052]步骤504,获取第一记录条数和第二记录条数相减后的绝对值。
[0053]步骤506，判断该绝对值是否为零，若是，则进入步骤508，否则进入步骤510。
[0054]步骤508,第一库表中的记录条数与第二库表中的记录条数相同。[0055]步骤510，第一库表中的记录条数与第二库表的记录条数不相同。
[0056]本实施例中，由于第一库表和第二库表中都是规则的结构化数据，可直接对第一库表和第二库表执行select count获取其中的记录条数。例如，对于图4中的第一库表TX，可执行如下语句:
[0057]NonrepeatingX: Select count (distinct a) from TX
[0058]从而可以获取第一库表TX中去重后的记录条数。
[0059]本实施例中，通过简单的SQL语句即可直接得到第一库表和第二库表中去重后的记录条数，从而对记录条数进行对比，在记录条数相同时再进行内容对比，能够提高对比效率。
[0060]在一个实施例中，如图6所不,对第一库表和第二库表进行内容对比的步骤，包括:
[0061]步骤602，分别对第一库表和第二库表按照字段进行分组统计，得到第一库表对应的分组统计结果和第二库表对应的分组统计结果。
[0062]步骤604，对第一库表对应的分组统计结果和第二库表对应的分组统计结果进行关联计算。
[0063]步骤606，判断第一库表对应的分组统计结果和第二库表对应的分组统计结果中的分组统计信息相同且字段值是否也相同，若是，则进入步骤608，否则进入步骤610。
[0064]步骤608，返回对比一致的结果。
[0065]步骤610，返回对比不一致的结果。
[0066]具体的，结合图7所不,本实施例中，可分别对第一库表A和第二库表B执行如上所述的select count ο例如，执行语句:select count (distinct a) from A以得到第一库表A对应的分组统计结果(如表SI所示)。执行语句:select count (distinct a) from B以得到第一库表B对应的分组统计结果(如表S2所示)。该分组统计结果包括字段值和分组统计信息，其中，字段值是指字段中的具体内容，如表SI中的“aaaaaaaa”，分组统计信息是指统计出的每一字段值对应的数量，比如表SI中，“aaaaaaaa”的分组统计信息为2，“bbbbbbbbb”的分组统计信息为2，等等。进一步的，对表SI和表S2进行JOIN关联计算，SQL中的JOIN可根据两个或多个表中的列之间的关系来实现从这些表中查询数据。本实施例中，JOIN关联计算的条件是两个表的字段值相等、字段分组统计信息也相等。如图7所不，对于表SI和表S2,执行语句:
[0067]SELECT COUNT (*) FROM(SELET tl.a a.COUNT (*) b FROM 11GR0UP BY tl.a)s I JOIN (SELECT tl.a a.COUNT (*)b FROM T1GR0UP BY tl.a)s20N(sl.a = s2.a AND s1.b =s2.b)；
[0068]即可查询表SI和表2中是否分组统计信息和字段值都相同，如果都相同，标识第一库表和第二库表中的数据完全相同，返回对比一致的结果，否则返回对比不一致的结果。
[0069]本实施例中，由于可以查询两个库表的分组统计结果，分组统计结果包含分组统计信息和字段中的具体内容(也就是字段值)，通过JION关联计算，即可查询得到两个库表对应的分组统计信息和字段值是否都相同，在满足都相同的条件下，得到对比一致的对比结果。从而可以实现大数据的高一致性对比，所谓高一致性是指事物的全部特征完全一致，对于大数据来说，大数据一致性则指的是大数据中记录条数、每条记录的内容和计算的重复次数完全一致。可以理解，本实施例可以实现大数据的高一致性对比。
[0070]在一个实施例中，上述各实施例中的大数据一致性对比方法中，利用开源分布式并行计算架构中的MapReduce并行计算第一结构化数据中的记录条数和第二结构化数据中的记录条数，以及对第一结构化数据和第二结构化数据进行内容对比。如图8所示，本实施例中，源数据为转换得到的结构化数据即库表，在源数据进行对比的过程中，可使用多线程对比提交任务，利用开源分布式并行计算架构中的MapReduce实现并行计算，从而能够大大提高对比效率。所得到的对比结果可存储在数据库中。
[0071]如图9所示，在一个实施例中，还提供了一种大数据一致性对比系统，包括数据转换模块902和数据对比模块904，其中:
[0072]数据转换模块902用于将第一待对比数据转换为第一结构化数据，以及第二待对比数据转换为第二结构化数据。
[0073]数据对比模块904用于利用分布式并行计算构架对第一结构化数据和第二结构化数据进行分层对比，分层对比包括在不同层级对第一结构化数据和第二结构化数据中的数据统计信息进行对比和对第一结构化数据和第二结构化数据中的内容进行对比；若第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
[0074]在一个实施例中，第一结构化数据为第一库表，第二结构化数据为第二库表。数据转换模块902用于判断第一库表和第二库表中的记录条数是否相同，若是，则对第一库表和第二库表进行内容对比，否则，返回对比不一致的结果。
[0075]本实施例中，数据转换模块902可用于采用开源框架Hive将大数据的文件所在目录关联为库表，从而将不规整的大数据转换为有序的数据。
[0076]进一步的，在一个实施例中，如图10所示，数据对比模块904包括记录条数对比模块924和内容对比模块944，其中:
[0077]记录条数对比模块924用于分别统计第一库表中去重后的第一记录条数和第二库表中去重后的第二记录条数；获取第一记录条数和第二记录条数相减后的绝对值；判断绝对值是否为零，若为零，则第一库表中的记录条数与第二库表中的记录条数相同，若不为零，则第一库表中的记录条数与第二库表中的记录条数不相同。
[0078]内容对比模块944用于分别对第一库表和第二库表按照字段进行分组统计，得到第一库表对应的分组统计结果和第二库表对应的分组统计结果，对第一库表对应的分组统计结果和第二库表对应的分组统计结果进行关联计算；若第一库表对应的分组统计结果和第二库表对应的分组统计结果中的分组统计信息相同且字段值相同，则返回对比一致的结构，否则返回对比不一致的结果。
[0079]在一个实施例中，数据对比模块904还用于利用开源分布式并行计算架构中的MapReduce并行计算第一结构化数据中的记录条数和第二结构化数据中的记录条数，以及对第一结构化数据和第二结构化数据进行内容对比。
[0080]在一个实施例中，如图11所示，大数据一致性对比系统还包括:
[0081]记录和发送模块906，用于将大数据一致性对比结果进行记录，生成记录结果，将记录结果发送至远程终端，记录结果包括记录条数对比失败列表、内容对比失败列表和内容对比成功列表。
[0082]本实施例中，每一列表都可包含任务标识、任务类型、每个任务对应的记录条数等等，其中内容对比成功列表还包含每个任务对应的内容对比结果。，记录结果中还可包含对对比结果的汇总，比如，内容对比成功的任务数量、内容对比失败的任务数量等。可将记录结果以邮件推送的方式发送至远程终端。
[0083]下面结合一个具体的实施例来对上述大数据一致性对比方法和系统的原理进行详细说明。本实施例中，需实现对计算机集群进行规模扩建，比如，从4K到8K的升级过程中，集群底层机构从Corona ( —种集群架构)升级到Gaia (另一种集群架构)，任务也需要从COTona集群逐步迁移至Gaia集群上。为了保证整个过程对业务计算无影响以及业务正常迁移，需要对现网任务割接前对现网任务在两个不同的集群进行数据一致性对比测试。其中，现网是指生产环境中正式部署的硬件和软件的集合，即生产环境。任务是指在运行场景下对数据进行的一种操作，会输出操作结果。
[0084]结合图12所示，根据现网的调度引擎层获取现网真实任务，构造现网对比测试任务，现网测试是指现网环境上进行的测试，通过测试环境发起测试对比任务到测试客户端(测试Ihoster客户端)，然后再将测试客户端提交到现网客户端上，最后提交到Gaia平台上运行。如图8所示,在现网客户端层上运行有现网Conrona hive客户端、现网Coronahadoop客户端、现网Gaia Hadoop客户端和现网Gaia hive客户端。在现网Conrona hive客户端和现网Corona hadoop客户端执行现网任务，在现网Gaia Hadoop客户端和现网Gaiahive客户端上执行测试任务，则在现网集群层上得到现网任务在Corona上的执行结果以及测试任务在Gaia上的执行结果，将这两个执行结果传输至结果对比层进行大数据一致性对比。
[0085]进一步的，在结果对比层实现大数据一致性对比过程中，首先进行任务级对比，SP对比任务的任务状态是否相同，其中任务状态包括任务成功和任务失败两个状态，如果任务状态对比不相同，是得到任务状态对比失败的对比结果，如果任务状态对比相同，则再进一步进行记录条数和内容对比。其中，记录条数可根据任务的类型分别统计。如图8所示，统计的记录条数包括MR记录条数、PYSQL计算条数和记录条数去重数量，其中MB记录条数是指MapReduce并行计算任务的记录条数，PYSQL是指PYSQL计算类型的任务对应的记录条数，记录条数去重数量是指所有任务的记录条数去重后的数量。若这些记录条数都相同，则进一步进行内容对比，若不相同，则直接输出对比不一致的结果。
[0086]进一步的，在进行内容对比的过程中，如上所述，对于COTona计算结果数据(Corona集群中还包含Hadoop其它目录)和Gaia计算结果数据,通过Hive SQL语句将目录关联成外表，得到结构化数据，再将得到的结构化数据进行分组统计和关联计算，得到内容对比是否一致的对比结果。结合图8所示，将对比结果进行记录和收集，最终可将对比结果进行邮件推送。图13展示了一种邮件接收到的对比结果，以MR任务为例，展示了 MR任务的记录条数对比失败列表、内容对比失败列表和内容对比成功列表。本实施例中，MR任务的记录条数对比失败列表为空，也就是说，记录条数相同。内容对比失败列表也为空，也就是说内容对比结果为内容一致。在内容对比成功列表中，包含有任务以及对应在不同平台上的任务状态和记录条数、分组统计后的记录条数以及任务对应的内容对比是否一致的对比结果，任务标识用于唯一标识每个任务。进一步的，若统计出内容对比失败列表中有任务，则开发人员可针对性的对这些失败的任务进行解决，以最终实现大数据对比完全一致的目的。
[0087]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(RandomAccessMemory, RAM)等。
[0088]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1.一种大数据一致性对比方法，所述方法包括: 将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据； 利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对比，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比； 若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
2.根据权利要求1所述的方法，其特征在于，所述第一结构化数据为第一库表，所述第二结构化数据为第二库表；所述利用分布式并行计算架构对所述第一结构化数据和第二结构化数据进行分层对比的步骤包括: 判断所述第一库表和第二库表中的记录条数是否相同，若是，则对所述第一库表和第二库表进行内容对比，否则，返回对比不一致的结果。
3.根据权利要求2所述的方法，其特征在于，所述判断第一库表中的记录条数与第二库表中的记录条数是 否相同的步骤，包括: 分别统计所述第一库表中去重后的第一记录条数和所述第二库表中去重后的第二记录条数； 获取所述第一记录条数和第二记录条数相减后的绝对值； 判断所述绝对值是否为零，若为零，则所述第一库表中的记录条数与第二库表中记录条数相同，若不为零，则所述第一库表中的记录条数与第二库表中的记录条数不相同。
4.根据权利要求2所述的方法，其特征在于，所述对第一库表和第二库表进行内容对比的步骤，包括: 分别对所述第一库表和第二库表按照字段进行分组统计，得到第一库表对应的分组统计结果和第二库表对应的分组统计结果； 对所述第一库表对应的分组统计结果和第二库表对应的分组统计结果进行关联计算； 若所述第一库表对应的分组统计结果和第二库表对应的分组统计结果中的分组统计信息相同且字段值相同，则返回对比一致的结果，否则返回对比不一致的结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括: 将大数据一致性对比结果进行记录，生成记录结果，将所述记录结果发送至远程终端，所述记录结果包括记录条数对比失败列表、内容对比失败列表和内容对比成功列表。
6.一种大数据一致性对比系统，其特征在于，所述系统包括: 数据转换模块，用于将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据； 数据对比模块，用于利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对比，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比；若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。
7.根据权利要求6所述的系统，其特征在于，所述第一结构化数据为第一库表，所述第二结构化数据为第二库表；所述数据对比模块用于判断所述第一库表和第二库表中的记录条数是否相同，若是，则对所述第一库表和第二库表进行内容对比，否则，返回对比不一致的结果。
8.根据权利要求7所述的系统，其特征在于，所述数据对比模块包括: 记录条数对比模块，用于分别统计所述第一库表中去重后的第一记录条数和所述第二库表中去重后的第二记录条数；获取所述第一记录条数和第二记录条数相减后的绝对值；判断所述绝对值是否为零，若为零，则所述第一结构化数据中的记录条数与第二结构化数据中记录条数相同，若不为零，则所述第一结构化数据中的记录条数与第二结构化数据中的记录条数不相同。
9.根据权利要求7所述的系统，其特征在于，所述数据对比模块包括: 内容对比模块，用于分别对所述第一库表和第二库表按照字段进行分组统计，得到第一库表对应的分组统计结果和第二库表对应的分组统计结果；对所述第一库表对应的分组统计结果和第二库表对应的分组统计结果进行关联计算；若所述第一库表对应的分组统计结果和第二库表对应的分组统计结果中的分组统计信息相同且字段值相同，则返回对比一致的结果，否则返回对比不一致的结果。
10.根据权利要 求6至9任一项所述的系统，其特征在于，所述系统还包括: 记录和发送模块，用于将大数据一致性对比结果进行记录，生成记录结果，将所述记录结果发送至远程终端，所述记录结果包括记录条数对比失败列表、内容对比失败列表和内容对比成功列表。
【文档编号】G06F17/30GK104036029SQ201410302021
【公开日】2014年9月10日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】徐天华, 贺波, 梁栋, 蔡伟岗, 张宝亮 申请人:深圳市腾讯计算机系统有限公司