一种数据处理方法及装置制造方法
【专利摘要】本申请公开了一种数据处理方法及装置，包括：取待处理数据记录的至少一个待处理维度的维度数据；并针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元；并将该待处理数据记录分发给选择的数据处理单元；以及由选择的数据处理单元对该待处理数据记录的该待处理维度的维度数据进行处理。采用本申请实施例提供的方案，提高了进行数据处理的效率。
【专利说明】一种数据处理方法及装置
【技术领域】
[0001]本申请涉及计算机【技术领域】中的数据处理【技术领域】，尤其涉及一种数据处理方法及装置。
【背景技术】
[0002]目前，在计算机技术和互联网技术的实际应用中，经常需要对大量的数据进行统计、聚合计算以及分析等处理，例如，数据求和、数据去重、求取数据最大值以及求取数据最小值等处理。
[0003]现有技术中，在对流数据进行处理时，数据源通过消息中间件将数据记录以分批的形式发送到数据处理设备，数据处理设备针对数据记录的待处理维度的维度数据进行处理，并得到该批次数据记录的处理结果，进一步的，还可以将对多个批次数据记录进行处理得到的多个处理结果进行综合累加处理，并将数据记录和最终得到的数据结果存储到数据库中。
[0004]在现有技术的上述方案中，数据设备对数据记录的处理是串行进行的，必须等待上一条数据记录被处理完成后，再处理下一条数据记录，并且针对一个批次的数据记录，仅能对一个维度的维度数据进行处理，当需要针对多个数据维度进行处理时，也只能是依次进行的，从而导致对数据处理的效率较低。
【发明内容】
[0005]有鉴于此，本申请实施例提供一种数据处理方法及装置，用于解决现有技术中存在的进行数据处理的效率较低的问题。
[0006]本申请实施例通过如下技术方案实现:
[0007]本申请实施例提供了一种数据处理方法，包括:
[0008]获取待处理数据记录的至少一个待处理维度的维度数据；
[0009]针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元;
[0010]将所述待处理数据记录分发给选择的数据处理单元；
[0011]由选择的数据处理单元对所述待处理数据记录的该待处理维度的维度数据进行处理。
[0012]本申请实施例提供的上述数据处理方法中，针对数据记录的不同维度预先设定了对应的数据处理单元，从而使得针对不同维度的维度数据，可以由各维度对应的数据处理单元并行处理，并且，针对每个维度设定了对应的多个数据处理单元，所以可以针对多个待处理数据记录的该维度的维度数据并行处理，从而提高了进行数据处理的效率。
[0013]进一步的，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元，具体包括:
[0014]确定该待处理维度的维度数据的哈希码；
[0015]使用该维度数据的哈希码对与该待处理维度对应的多个数据处理单元的数量取余，得到余数值；
[0016]从所述多个数据处理单元中，选择单元ID为所述余数值的数据处理单元，作为将要对所述待处理数据记录进行处理的数据处理单元。
[0017]这样，能够根据该待处理维度的维度数据的哈希码，准确地从多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元。
[0018]进一步的，由选择的数据处理单元对所述待处理数据记录的该待处理维度的维度数据进行处理，具体包括:
[0019]选择的数据处理单元确定所述待处理数据记录的唯一标识数据的哈希码；
[0020]根据所述唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与所述唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集，所述多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同；
[0021]当确定的所述待查询数据集中不存在所述待处理数据记录时，对所述待处理数据记录的该待处理维度的维度数据进行处理。
[0022]这样，在对待处理数据记录的该维度数据进行处理时，首先根据保存已接收数据记录的多个数据集进行去重处理，其去重处理时不再需要从所有已接收数据记录中查询，只需要从多个数据集之一中查询即可，减少了去重处理的计算量，从而进一步提高了进行数据处理的效率。
[0023]进一步的，上述数据处理方法，还包括:
[0024]根据所述多个数据集中保存的数据记录的时间戳，对所述多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，数据记录的时间戳为该数据记录被保存到数据集的时间信息。
[0025]这样，可以节省数据集的存储空间，并且可以减少数据集中存储的数据记录的数据量，以便在去重处理过程中减少查询时间，提高查询效率。
[0026]进一步的，上述数据处理方法，还包括:
[0027]针对该待处理维度，对所述多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据进行处理后得到的处理结果，进行综合累加处理。
[0028]本申请实施例还提供一种数据处理装置，包括:
[0029]获取单元，用于获取待处理数据记录的至少一个待处理维度的维度数据；
[0030]选择单元，用于针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元；
[0031]分发单元，用于将所述待处理数据记录分发给选择的数据处理单元；
[0032]数据处理单元，用于对分发到的所述待处理数据记录的该待处理维度的维度数据进行处理。
[0033]本申请实施例提供的上述数据处理装置中，针对数据记录的不同维度预先设定了对应的数据处理单元，从而使得针对不同维度的维度数据，可以由各维度对应的数据处理单元并行处理，并且，针对每个维度设定了对应的多个数据处理单元，所以可以针对多个待处理数据记录的该维度的维度数据并行处理，从而提高了进行数据处理的效率。
[0034]进一步的，选择单元，具体用于确定该待处理维度的维度数据的哈希码；并使用该维度数据的哈希码对与该待处理维度对应的多个数据处理单元的数量取余，得到余数值；以及从所述多个数据处理单元中，选择单元ID为所述余数值的数据处理单元，作为将要对所述待处理数据记录进行处理的数据处理单元。
[0035]这样，能够根据该待处理维度的维度数据的哈希码，准确地从多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元。
[0036]进一步的，数据处理单元，具体用于确定所述待处理数据记录的唯一标识数据的哈希码；并根据所述唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与所述唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集，所述多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同；以及当确定的所述待查询数据集中不存在所述待处理数据记录时，对所述待处理数据记录的该待处理维度的维度数据进行处理。
[0037]这样，在对待处理数据记录的该维度数据进行处理时，首先根据保存已接收数据记录的多个数据集进行去重处理，其去重处理时不再需要从所有已接收数据记录中查询，只需要从多个数据集之一中查询即可，减少了去重处理的计算量，从而进一步提高了进行数据处理的效率。
[0038]进一步的，上述数据处理装置，还包括:
[0039]丢弃单元，用于根据所述多个数据集中保存的数据记录的时间戳，对所述多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，数据记录的时间戳为该数据记录被保存到数据集的时间信息。
[0040]这样，可以节省数据集的存储空间，并且可以减少数据集中存储的数据记录的数据量，以便在去重处理过程中减少查询时间，提高查询效率。
[0041]进一步的，上述数据处理装置，还包括:
[0042]综合累加单元，用于针对该待处理维度，对所述多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据进行处理后得到的处理结果，进行综合累加处理。
[0043]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【专利附图】
【附图说明】
[0044]附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中:
[0045]图1为本申请实施例提供的数据处理方法的流程图；
[0046]图2为本申请实施例提供的数据处理方法中选择将要对待处理数据记录进行处理的数据处理单元的流程图；
[0047]图3为本申请实施例提供的数据处理方法中由数据处理单元对待处理数据记录的维度数据进行处理的流程图；
[0048]图4为本申请实施例提供的数据处理装置的结构示意图。
【具体实施方式】
[0049]为了给出提高进行数据处理的效率的实现方案，本申请实施例提供了一种数据处理方法及装置，该技术方案可以应用于对数据进行处理的过程，既可以实现为一种方法，也可以实现为一种装置。以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0050]本申请实施例提供一种数据处理方法，如图1所示，包括:
[0051]步骤101、获取待处理数据记录的至少一个待处理维度的维度数据。
[0052]步骤102、针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元。
[0053]步骤103、将该待处理数据记录分发给选择的数据处理单元。
[0054]步骤104、由选择的数据处理单元对该待处理数据记录的该待处理维度的维度数据进行处理。
[0055]下面结合附图，用具体实施例对本申请提供的方法及装置进行详细描述。
[0056]本申请实施例中，上述步骤101中获取的待处理数据记录可以是以流数据的形式不断传输至数据处理装置的，待处理数据记录可以是各种类型的数据记录，例如，可以是与互联网技术相关的数据记录，如电子商务网站中涉及的交易数据记录。
[0057]待处理维度可以是预先根据数据处理的实际需要设置的，可以设置为多个，以便后续能够针对不同的待处理维度对数据记录进行并行处理，从而提高数据处理效率。待处理维度可以是数据记录的各种数据维度，例如，对于交易数据记录，该待处理维度可以是买家支付金额维度，则该买家支付金额维度的维度数据即为交易数据记录中买家购买商品时支付的金额，也可以是卖家收取金额维度，则该卖家收取金额维度的维度数据即为交易数据记录中卖家出售商品时收取的金额，也可以是邮费金额维度，则该邮费维度的维度数据即为交易数据记录中卖家向买家邮寄商品时买家需要支付的邮费。
[0058]进一步的，为了减少后续对数据记录进行处理时的计算量，在上述步骤101之前，还可以对接收的流数据的形式的原始数据记录进行预处理，筛选出后续进行数据处理所需要的数据，得到待处理数据记录。
[0059]本申请实施例中，预先针对每种数据维度设置了对应的多个数据处理单元，从而可以同时对多个待处理数据记录的该待处理维度的维度数据进行并行处理，以提高处理效率。并且，可以为每个数据处理单元设置单元ID，单元ID可以分别为从O到该多个数据处理单元的数量之间的整数。
[0060]相应的，在上述步骤102中根据一个待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元时，具体可以如图2所示,包括:
[0061]步骤201、确定获取的该待处理维度的维度数据的哈希码。
[0062]步骤202、使用该维度数据的哈希码对与该待处理维度对应的该多个数据处理单元的数量取余，得到余数值。
[0063]步骤203、从该多个数据处理单元中，选择单元ID为该余数值的数据处理单元，作为将要对该待处理数据记录进行处理的数据处理单元。
[0064]本申请实施例中，也可以采用与上述图2所示选择数据处理单元方式相似的处理方式，根据获取的该维度数据，从该多个数据处理单元选择将要对该待处理数据进行处理的数据处理单元，在此不再进行详细描述。
[0065]本申请实施例提供的上述方法中，在将该待处理数据记录分发给选择的数据处理单元之后，即可以通过上述步骤104由选择的数据处理单元对该待处理数据记录的该待处理维度的维度数据进行处理，具体可以如图3所示，包括如下处理步骤:
[0066]步骤301、选择的数据处理单元确定该待处理数据记录的唯一标识数据的哈希码。
[0067]其中，该唯一标识数据可以用于区分不同的待处理数据记录，例如，对于交易记录数据，该唯一标识数据可以为交易单号。
[0068]步骤302、根据该唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与该唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集。
[0069]其中，该多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同。
[0070]本申请实施例中，数据处理单元在接收到待处理数据记录之后，会将其保存到数据集中，并且在保存时是将唯一标识数据的哈希码的后预设数量位相同的数据记录保存到同一个数据集中，从而使得后续可以基于数据集中保存的数据记录，对新接收的待处理数据记录进行去重处理。
[0071]其中，该预设数量可以根据实际需要进行灵活设置，例如，可以根据唯一标识数据的哈希码的总位数进行设置。
[0072]步骤303、在待查询数据集中查询是否存在该待处理数据记录，当该待查询数据集中不存在该待处理数据记录时，对该待处理数据记录的该待处理维度的维度数据进行处理，当该待查询数据集中存在该待处理数据记录时，表示该待处理数据记录已被接收过，不需要再对该待处理数据记录进行处理，即取消对该待处理数据记录的处理，进一步的，可以丢弃该待处理数据记录。
[0073]本申请实施例提供的上述方法中，进一步的，在与该待处理维度对应的该多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据，进行处理得到相应的处理结果之后，还可以针对该待处理维度，对这些处理结果进行综合累加处理，例如，如果是数据求和处理，则可以将这些处理结果进行累加求和，如果是求取数据最大值，可以从这些处理结果中求取数据最大值。
[0074]在得到综合累加处理的最终处理结果之后，还可以将与各维度分别对应的最终处理结果，输出至预先设定的存储系统中进行保存。
[0075]本申请实施例提供的上述方法中，进一步的，在将数据记录保存到数据集中时，还可以将数据记录被保存到数据集的时间信息作为时间戳进行记录，从而可以根据多个数据集中保存的数据记录的时间戳，对多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，例如，可以将保存时间超过预设时间长度的数据记录丢弃，也可以将时间戳在预设时刻之前的数据记录丢弃等，从而可以节省数据集的存储空间，并且可以减少数据集中存储的数据记录的数据量，以便在去重处理过程中减少查询时间，提高查询效率。
[0076]基于同一发明构思，根据本申请上述实施例提供的数据处理方法，相应地，本申请另一实施例还提供了数据处理装置，其结构示意图如图4所示，具体包括:
[0077]获取单元401，用于获取待处理数据记录的至少一个待处理维度的维度数据；
[0078]选择单元402，用于针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元；
[0079]分发单元403，用于将所述待处理数据记录分发给选择的数据处理单元；
[0080]数据处理单元404，用于对分发到的所述待处理数据记录的该待处理维度的维度数据进行处理。
[0081]进一步的，选择单元402，具体用于确定该待处理维度的维度数据的哈希码；并使用该维度数据的哈希码对与该待处理维度对应的多个数据处理单元的数量取余，得到余数值；以及从所述多个数据处理单元中，选择单元ID为所述余数值的数据处理单元，作为将要对所述待处理数据记录进行处理的数据处理单元。
[0082]进一步的，数据处理单元404，具体用于确定所述待处理数据记录的唯一标识数据的哈希码；并根据所述唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与所述唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集，所述多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同；以及当确定的所述待查询数据集中不存在所述待处理数据记录时，对所述待处理数据记录的该待处理维度的维度数据进行处理。
[0083]进一步的，上述数据处理装置，还包括:
[0084]丢弃单元405，用于根据所述多个数据集中保存的数据记录的时间戳，对所述多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，数据记录的时间戳为该数据记录被保存到数据集的时间信息。
[0085]进一步的，上述数据处理装置，还包括:
[0086]综合累加单元406，用于针对该待处理维度，对所述多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据进行处理后得到的处理结果，进行综合累加处理。
[0087]上述各单元的功能可对应于图1至图3所示流程中的相应处理步骤，在此不再赘述。
[0088]综上所述，本申请实施例提供的方案，包括:取待处理数据记录的至少一个待处理维度的维度数据；并针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对该待处理数据记录进行处理的数据处理单元；并将该待处理数据记录分发给选择的数据处理单元；以及由选择的数据处理单元对该待处理数据记录的该待处理维度的维度数据进行处理。采用本申请实施例提供的方案，提高了进行数据处理的效率。
[0089]本申请的实施例所提供的数据处理装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的模块划分方式仅是众多模块划分方式中的一种，如果划分为其他模块或不划分模块，只要数据处理装置具有上述功能，都应该在本申请的保护范围之内。
[0090]本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0091]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0092]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0093]在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
[0094]显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
【权利要求】
1.一种数据处理方法，其特征在于，包括: 获取待处理数据记录的至少一个待处理维度的维度数据； 针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元；将所述待处理数据记录分发给选择的数据处理单元； 由选择的数据处理单元对所述待处理数据记录的该待处理维度的维度数据进行处理。
2.如权利要求1所述的方法，其特征在于，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元，具体包括: 确定该待处理维度的维度数据的哈希码； 使用该维度数据的哈希码对与该待处理维度对应的多个数据处理单元的数量取余，得到余数值； 从所述多个数据处理单元中，选择单元10为所述余数值的数据处理单元，作为将要对所述待处理数据记录进行处理的数据处理单元。
3.如权利要求1所述的方法，其特征在于，由选择的数据处理单元对所述待处理数据记录的该待处理维度的维度数据进行处理，具体包括: 选择的数据处理单元确定所述待处理数据记录的唯一标识数据的哈希码； 根据所述唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与所述唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集，所述多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同； 当确定的所述待查询数据集中不存在所述待处理数据记录时，对所述待处理数据记录的该待处理维度的维度数据进行处理。
4.如权利要求3所述的方法，其特征在于，还包括: 根据所述多个数据集中保存的数据记录的时间戳，对所述多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，数据记录的时间戳为该数据记录被保存到数据集的时间信肩、0
5.如权利要求1-4任一所述的方法，其特征在于，还包括: 针对该待处理维度，对所述多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据进行处理后得到的处理结果，进行综合累加处理。
6.一种数据处理装置，其特征在于，包括: 获取单元，用于获取待处理数据记录的至少一个待处理维度的维度数据； 选择单元，用于针对每个待处理维度，根据该待处理维度的维度数据，从预先设定的与该待处理维度对应的多个数据处理单元中，选择将要对所述待处理数据记录进行处理的数据处理单元； 分发单元，用于将所述待处理数据记录分发给选择的数据处理单元； 数据处理单元，用于对分发到的所述待处理数据记录的该待处理维度的维度数据进行处理。
7.如权利要求6所述的装置，其特征在于，所述选择单元，具体用于确定该待处理维度的维度数据的哈希码；并使用该维度数据的哈希码对与该待处理维度对应的多个数据处理单元的数量取余，得到余数值；以及从所述多个数据处理单元中，选择单元10为所述余数值的数据处理单元，作为将要对所述待处理数据记录进行处理的数据处理单元。
8.如权利要求6所述的装置，其特征在于，数据处理单元，具体用于确定所述待处理数据记录的唯一标识数据的哈希码；并根据所述唯一标识数据的哈希码的后预设数量位，从保存已接收数据记录的多个数据集中，确定与所述唯一标识数据的哈希码的后预设数量位对应的数据集，作为待查询数据集，所述多个数据集中每个数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位相同，且不同数据集中保存的数据记录的唯一标识数据的哈希码的后预设数量位不同；以及当确定的所述待查询数据集中不存在所述待处理数据记录时，对所述待处理数据记录的该待处理维度的维度数据进行处理。
9.如权利要求8所述的装置，其特征在于，还包括: 丢弃单元，用于根据所述多个数据集中保存的数据记录的时间戳，对所述多个数据集中满足预设丢弃条件的数据记录进行丢弃处理，数据记录的时间戳为该数据记录被保存到数据集的时间信息。
10.如权利要求6-9任一所述的装置，其特征在于，还包括: 综合累加单元，用于针对该待处理维度，对所述多个数据处理单元分别对各自接收的数据记录的该待处理维度的维度数据进行处理后得到的处理结果，进行综合累加处理。
【文档编号】G06F17/30GK104424220SQ201310373788
【公开日】2015年3月18日 申请日期:2013年8月23日 优先权日:2013年8月23日
【发明者】黄晓锋 申请人:阿里巴巴集团控股有限公司