一种数据处理的方法及装置的制造方法_4

文档序号:8922448阅读:来源:国知局
步骤S301选择出的一个基础数据中携带的卖家标识为131,则可将该基础数据中携带 的卖家标识调整为1、129、257、……、nX128+1中的任意一个,其中n为正整数。这样,调 整后的卖家标识对线程的数量128取余的值就恒为1,即与该线程标识为1的线程对应。假 设针对线程标识1选择出的卖家标识为59、131、304,则调整前后的对应关系如表4所示。
[0090] 表 4
[0091] 由表4可见,将选择出的卖家标识59、131、304分别调整为1、129、257后,这三个 调整后的卖家标识对应的线程标识就都是线程标识1。
[0092] 另外,假设将该卖家标识131调整为129,则之后所有携带原卖家标识131的数据 中携带的卖家标识均会变为129。这样,当线程标识为1的线程处理携带卖家标识为129的 物流订单信息时,即可根据携带卖家标识129的基础数据进行处理。也即,虽然与线程标识 为1的线程对应的基础数据发生了改变,但基础数据与待处理数据之间的对应关系并未改 变,携带原卖家标识131的待处理数据对应携带原卖家标识131的基础数据,而卖家标识由 131变为129后,待处理数据和基础数据中携带的卖家标识也均为129。
[0093] 也即,如果预置的线程的数量为k,则针对线程标识为i的线程而言,可将步骤 S301选择出的基础数据中携带的数据标识调整为nXk+i,n为正整数,这样,调整后的数据 标识对线程的数量k取余的值就恒为i,S卩,调整后的数据标识与该线程标识为i的线程对 应。
[0094] 为了方便网络业务的操作,在上述第二种调整方法中,针对某个线程选择出各基 础数据后,也可不直接调整选择出的各基础数据中携带的数据标识,而是在各基础数据携 带的数据标识中增加一个代替标识,增加的各代替标识各不相同,且对所有线程的数量取 余的值为该线程的线程标识。针对增加代替标识后的基础数据,可建立该基础数据中携带 的数据标识与代替标识的对应关系。
[0095] 相应的,确定线程与数据标识的对应关系的方法为:如果一个数据标识对应的代 替标识对所有线程的数量取余的值等于一个线程的线程标识,则该数据标识与该线程对 应。后续在接收到待处理数据时,则可确定该待处理数据中携带的数据标识对应的代替标 识,并确定该代替标识对所有线程的数量取余的值,通过线程标识为该值的线程处理该待 处理数据。
[0096] 仍以预置128个线程,线程标识分别为0~127为例进行说明,对于线程标识为1 的线程,如果选择出的基础数据中携带的数据标识131,则可在该基础数据中增加代替标识 1、129、257、……、nX128+1中的任意一个,其中n为正整数。假设增加的代替标识为129, 则建立代替标识129与数据标识131的对应关系,这样,数据标识131对应的代替标识129 对线程的数量128取余的值为1,因此,数据标识131与线程标识为1的线程对应。后续在 接收到携带数据标识131的待处理数据时,则可根据数据标识与代替标识的对应关系,确 定数据标识131对应的代替标识为129,该代替标识129对线程的数量128取余的值为1, 因此将该待处理数据通过线程标识为1的线程进行处理。假设针对线程标识1选择出的数 据标识为59、131、304,则增加代替标识后的对应关系如表5所示。
[0098]
[0099] 表 5
[0100] 在根据表5确定了各数据标识对应的代替标识后,接收到某个待处理数据时,则 可确定该待处理数据中携带的数据标识对应的代替标识,再根据代替标识对线程数量取余 的值来确定处理该待处理数据的线程,通过确定的线程处理该待处理数据。
[0101] 以上为本申请实施例提供的数据处理的方法,基于同样的思路,本申请还提供一 种数据处理的装置,如图4所示。
[0102] 图4为本申请实施例提供的数据处理的装置结构示意图,所述装置应用于包括有 多个分布式服务器的分布式处理系统,每个分布式服务器上预置有若干个线程,在任意两 个分布式服务器上预置的线程的数量的差值的绝对值不大于第一预设阈值,基础数据中携 带数据标识,每个线程与至少一个数据标识对应,所述装置具体包括:
[0103] 理论平均值确定模块401,用于确定基础数据的总量除预置的线程的数量的商 值;
[0104] 实际数据量确定模块402,用于针对每个线程,确定携带该线程对应的数据标识的 基础数据的数据量;
[0105] 调整模块403,用于当存在确定的数据量减所述商值的差值的绝对值大于第二预 设阈值的线程时,调整每个线程与数据标识的对应关系,使调整后携带每个线程对应的数 据标识的基础数据的数据量减所述商值的差值的绝对值均不大于第二预设阈值;
[0106] 数据处理模块404,用于针对每个线程,通过该线程,对携带调整后该线程对应的 数据标识的待处理数据进行处理。
[0107] 所述装置应用于物流订单处理场景,所述基础数据是对卖家的历史物流操作记录 进行统计得到的,所述基础数据中携带的数据标识为卖家标识,所述待处理数据为物流订 单。
[0108] 针对每个线程,如果一个数据标识对所有线程的数量取余的值为该线程的线程标 识,则该线程与该数据标识对应。
[0109] 所述理论平均值确定模块401具体用于,分别针对每个数据标识,确定携带该数 据标识的所有基础数据的第一数据量,确定各第一数据量的和值除预置的线程的数量的商 值。
[0110] 所述实际数据量确定模块402具体用于,根据线程与数据标识的对应关系,确定 该线程对应的每个数据标识,针对确定该线程对应的每个数据标识,分别确定携带该数据 标识的所有基础数据的第二数据量,确定各第二数据量的和值,作为确定的携带该线程对 应的数据标识的基础数据的数据量。
[0111] 所述调整模块403具体包括:
[0112] 数量调整单元4031,用于调整线程的数量,其中,在任意两个分布式服务器上调整 后的线程的数量的差值的绝对值不大于所述第一预设阈值;
[0113] 确定单元4032,用于根据调整后线程的数量,重新为调整后的每个线程设定线程 标识,并根据重新设定的线程标识,确定每个线程与数据标识的对应关系;
[0114] 所述理论平均值确定模块401还用于,根据调整后线程的数量,重新确定基础数 据的总量除调整后所有线程的数量的商值;
[0115] 所述实际数据量确定模块402还用于,针对调整后的每个线程,根据重新确定的 每个线程与数据标识的对应关系,确定携带该线程对应的数据标识的基础数据的数据量;
[0116] 所述数量调整单元4031还用于,判断是否存在重新确定的数据量减重新确定的 商值的差值的绝对值大于第二预设阈值的线程;若存在,则重新调整线程的数量,直至调整 后携带每个线程对应的数据标识的基础数据的数据量减重新确定的商值的差值的绝对值 均不大于第二预设阈值为止。
[0117] 所述数量调整单元4031具体用于,调整的线程的数量不大于预设的最大数量,且 不小于预设的最小数量。
[0118] 所述调整模块403具体包括:
[0119]选择单元4033,用于针对每个线程,在所有基础数据中,选择出未被选择过的、且 数据量相加的和值减所述商值的差值的绝对值不大于所述第二预设阈值的各基础数据;
[0120] 对应关系调整单元4034,用于将该线程对应的数据标识调整为选择出的各基础数 据中携带的数据标识。
[0121] 针对每个线程,如果一个数据标识对所有线程的数量取余的值为该线程的线程标 识,则该线程与该数据标识对应;
[0122] 所述对应关系调整单元4034具体用于,调整选择出的各基础数据中携带的数据 标识,调整后的各数据标识各不相同,且对所有线程的数量取余的值为该线程的线程标识。
[0123] 所述数据处理模块404具体用于,接收待处理数据,确定接收到的所述待处理数 据中携带的数据标识,根据调整后的每个线程与数据标识的对应关系,确定所述待处理数 据中携带的数据标识对应的线程,将所述待处理数据发送给确定的线程所在的分布式服务 器,使所述分布式服务器通过确定的线程处理所述待处理数据。
[0124] 具体的上述如图4所示的装置可以位于所述分布式处理系统中,也可以独立于所 述分布式处理系统,所述分布式处理系统具体可以是Storm集群系统。
[0125] 本申请实施例提供一种数据处理的方法及装置,该方法确定基础数据的总量除线 程数量的商值,确定每个线程对应的基础数据的数据量,当存在对应的数据量减该商值
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1