一种数据分配方法、装置和计算设备与流程

文档序号:12667307阅读:来源:国知局

技术特征:

1.一种数据分配方法,适于将第一数据存储器中存储的多条数据分配给多个数据处理设备进行处理,其中每条数据具有一数据主键,且所述多条数据的数据主键在整体上不连续,该方法包括:

将统计起始值和临时起始值设置为初始值,将统计终止值设置为统计起始值加上预设步长值,将剩余数据量设置为预设步长值;

统计第一数据存储器中数据主键在统计起始值与统计终止值之间的数据条数,并判断统计的数据条数是否等于剩余数据量,得到第一判断结果;

当第一判断结果为是时,将临时起始值和统计终止值相关联的存储到第二数据存储器中,并将统计起始值更新为统计终止值加一,将统计终止值更新为统计终止值加预设步长值,将临时起始值更新为统计起始值,并重新执行从所述统计步骤开始的步骤;

当第一判断结果为否时,判断统计终止值是否小于所述多条数据的数据主键的最大值,得到第二判断结果;

当第二判断结果为是时,将剩余数据量更新为剩余数据量与统计的数据条数的差值,并将统计起始值更新为统计终止值加一,将统计终止值更新为统计终止值加剩余数据量,并重新执行从所述统计步骤开始的步骤;

当第二判断结果为否时,将临时起始值和统计终止值相关联的存储到第二数据存储器中;以及

将第二数据存储器中的各条数据发送给相应的数据处理设备,以供数据处理设备从第一数据存储器中获取对应的数据进行处理。

2.如权利要求1所述的方法,其中,所述数据处理设备从第一数据存储器中获取对应的数据进行处理的步骤包括:

接收第二数据存储器发来的与该数据处理设备相对应的临时起始值与统计终止值;以及

从第一数据存储器中获取该临时起始值和统计终止值之间的数据进行处理。

3.如权利要求1所述的方法,其中,

所述预设步长值为N/(m×n),其中,N为所述多条数据的数据量,m为所述数据处理设备的数量,n为每个数据处理设备的CPU数量。

4.如权利要求1所述的方法,其中,所述初始值为0或1。

5.一种数据分配装置,适于将第一数据存储器中存储的多条数据分配给多个数据处理设备进行处理,其中每条数据具有一数据主键,且所述多条数据的数据主键在整体上不连续,该装置包括:

初始化单元,适于将统计起始值和临时起始值设置为初始值,将统计终止值设置为统计起始值加上预设步长值,将剩余数据量设置为预设步长值;

统计单元,适于统计第一数据存储器中数据主键在统计起始值与统计终止值之间的数据条数,并判断统计的数据条数是否等于剩余数据量,得到第一判断结果;

第一处理单元,适于当第一判断结果为是时,将临时起始值和统计终止值相关联的存储到第二数据存储器中,并将统计起始值更新为统计终止值加一,将统计终止值更新为统计终止值加预设步长值,将临时起始值更新为统计起始值,并重新触发统计单元开始执行统计操作;

第二处理单元,适于当第一判断结果为否时,判断统计终止值是否小于所述多条数据的数据主键的最大值,得到第二判断结果;

第三处理单元,适于当第二判断结果为是时,将剩余数据量更新为剩余数据量与统计的数据条数的差值,并将统计起始值更新为统计终止值加一,将统计终止值更新为统计终止值加剩余数据量,并重新触发统计单元开始执行统计操作;

第四处理单元,适于当第二判断结果为否时,将临时起始值和统计终止值相关联的存储到第二数据存储器中;以及

数据分配单元,适于将第二数据存储器中的各条数据发送给相应的数据处理设备,以供数据处理设备从第一数据存储器中获取对应的数据进行处理。

6.如权利要求5所述的装置,其中,所述数据处理设备适于根据以下方法从第一数据存储器中获取对应的数据进行处理:

接收第二数据存储器发来的与该数据处理设备相对应的临时起始值与统计终止值;以及

从第一数据存储器中获取该临时起始值和统计终止值之间的数据进行处理。

7.如权利要求5所述的装置,其中,

所述预设步长值为N/(m×n),其中,N为所述多条数据的数据量,m为所述数据处理设备的数量,n为每个数据处理设备的CPU数量。

8.如权利要求5所述的装置,其中,所述初始值为0或1。

9.一种计算设备,包括:

至少一个处理器;以及

包括计算机程序指令的至少一个存储器;

所述至少一个存储器和所述计算机程序指令被配置为与所述至少一个处理器一起使得所述计算设备执行如权利要求1-4中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1