包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0189]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0190]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0191]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种分布式数据流处理方法，其特征在于，该方法包括: 第一节点根据需要分配给下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点； 所述第一节点在确定所述第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息； 其中，所述第二节点和第三节点属于所述第一节点的下一跳工作节点集合，所述第三节点的累计负载小于所述第二节点的累计负载。
2.如权利要求1所述的方法，其特征在于，所述第三节点为当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点。
3.如权利要求1或2所述的方法，其特征在于，所述设定的负载迁移条件包括: 所述第二节点的累计负载超过设定阈值；和/或， 所述第二节点的累计负载与第三节点的累计负载的比值和/或差值超过设定阈值。
4.如权利要求3所述的方法，其特征在于，所述设定的负载迁移条件还包括: 当前时间与所述第一节点最近一次进行数据流迁移处理的时间的时间间隔不小于设定阈值。
5.如权利要求1?4任一所述的方法，其特征在于，所述第一节点根据以下公式确定设定时间段内所述第一节点的任意一个下一跳工作节点的累计负载W:W = cXff; +(Ι-c) Xy ； 其中，y为所述第一节点在所述设定时间段内分配给所述任意一个下一跳工作节点的负载，r为所述任意一个下一跳工作节点在所述设定时间段的前一个时间段结束时的累计负载，C为常数，且0<c< I。
6.如权利要求1?5任一所述的方法，其特征在于，所述第一节点指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息，包括: 所述第一节点向所述第二节点发送包含所述键值的状态信息迁出指示，以及，向所述第三节点发送包含所述键值的状态信息迁入指示； 其中，所述状态信息迁出指示用于指示所述第二节点将本地生成的所述键值对应的数据流的第一状态信息发送给管理各工作节点的协调器；所述状态信息迁入指示用于指示所述第三节点从管理各工作节点的协调器中获取所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。
7.如权利要求1?6任一所述的方法,其特征在于，所述第一节点在确定所述第二节点满足设定的负载迁移条件之前，还包括: 所述第一节点在接收到管理各工作节点的协调器发送的指示所述第二节点过载的信息后，调整设定的所述负载迁移条件。
8.如权利要求1?7任一所述的方法，其特征在于，所述方法还包括: 第一节点根据需要分配给下一跳工作节点的数据流的键值，在确定当前不存在处理该键值对应的数据流的下一跳工作节点时，将所述需要分配给下一跳工作节点的数据流分配给当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点进行处理。
9.一种分布式数据流处理方法，其特征在于，该方法包括: 第二节点接收第一节点发送的包含设定键值的状态信息迁出指示； 所述第二节点根据所述状态信息迁出指示，确定本地生成的所述键值对应的数据流的第一状态信息，并将确定的所述第一状态信息发送给管理各工作节点的协调器。
10.一种分布式数据流处理方法，其特征在于，该方法包括: 第三节点接收第一节点发送的包含设定键值的状态信息迁入指示； 所述第三节点根据所述状态信息迁入指示，从管理各工作节点的协调器中获取所述第二节点发送到协调器中的所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。
11.一种分布式数据流处理装置，其特征在于，该装置属于第一节点，包括: 确定模块，用于根据需要分配给所述第一节点的下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点； 迁移模块，用于在确定所述第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息； 其中，所述第二节点和第三节点属于所述第一节点的下一跳工作节点集合，所述第三节点的累计负载小于所述第二节点的累计负载。
12.如权利要求11所述的装置，其特征在于，所述第三节点为当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点。
13.如权利要求11或12所述的装置，其特征在于，所述设定的负载迁移条件包括: 所述第二节点的累计负载超过设定阈值；和/或， 所述第二节点的累计负载与第三节点的累计负载的比值和/或差值超过设定阈值。
14.如权利要求13所述的装置，其特征在于，所述设定的负载迁移条件还包括:当前时间与所述装置最近一次进行数据流迁移处理的时间的时间间隔不小于设定阈值。
15.如权利要求11?14任一所述的装置，其特征在于，所述迁移模块具体用于根据以下公式确定设定时间段内所述第一节点的任意一个下一跳工作节点的累计负载W:W = cXff; +(Ι-c) Xy ； 其中，y为所述装置在所述设定时间段内分配给所述任意一个下一跳工作节点的负载，W'为所述任意一个下一跳工作节点在所述设定时间段的前一个时间段结束时的累计负载，c为常数，且0<c<l。
16.如权利要求11?15任一所述的装置，其特征在于，所述迁移模块具体用于，向所述第二节点发送包含所述键值的状态信息迁出指示，以及，向所述第三节点发送包含所述键值的状态信息迁入指示； 其中，所述状态信息迁出指示用于指示所述第二节点将本地生成的所述键值对应的数据流的第一状态信息发送给管理各工作节点的协调器；所述状态信息迁入指示用于指示所述第三节点从管理各工作节点的协调器中获取所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。
17.如权利要求11?16任一所述的装置，其特征在于，所述迁移模块还用于，在确定所述第二节点满足设定的负载迁移条件之前，若接收到管理各工作节点的协调器发送的指示所述第二节点过载的信息，则调整设定的所述负载迁移条件。
18.如权利要求11?17任一所述的装置，其特征在于，所述迁移模块还用于:根据需要分配给下一跳工作节点的数据流的键值，在确定当前不存在处理该键值对应的数据流的下一跳工作节点时，将所述需要分配给下一跳工作节点的数据流分配给当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点进行处理。
19.一种分布式数据流处理装置，其特征在于，该装置包括: 接收模块，用于接收第一节点发送的包含设定键值的状态信息迁出指示，并将所述状态信息迁出指示传输至发送模块； 发送模块，用于根据所述接收模块接收的所述状态信息迁出指示，确定本地生成的所述键值对应的数据流的第一状态信息，并将确定的所述第一状态信息发送给管理各工作节点的协调器。
20.一种分布式数据流处理装置，其特征在于，该装置包括: 接收模块，用于接收第一节点发送的包含设定键值的状态信息迁入指示，并将所述状态信息迁入指示传输至获取模块； 获取模块，用于根据所述接收模块接收的状态信息迁入指示，从管理各工作节点的协调器中获取所述第二节点发送到协调器中的所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。
【专利摘要】本发明涉及数据处理领域，尤其涉及一种分布式数据流处理方法及装置，用以解决分布式流处理技术无法对具有同一键值的数据流进行负载均衡处理的问题。本发明实施例的方法包括：第一节点根据需要分配给下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点，在确定该第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息；采用上述方法，第一节点可以在确定下游的第二节点满足设定的负载迁移条件后，将第二节点负责处理的键值对应的数据流迁移至当前累计负载较小的第三节点进行处理，从而可以针对同一键值的数据流进行负载均衡处理。
【IPC分类】H04L29-08
【公开号】CN104580322
【申请号】CN201310513394
【发明人】何诚, 李柏晴, 黄群, 刘勤
【申请人】华为技术有限公司
【公开日】2015年4月29日
【申请日】2013年10月25日
【公告号】WO2015058525A1