在分布式计算平台中分发参数的方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及通信领域，特别涉及一种在分布式计算平台中分发参数的方法、装置和系统。
【背景技术】
[0002]在计算平台中，参数共享是普遍的现象，一般通过消息广播来完成。比如Storm(实时流计算平台)，是通过多个一对一的消息传递实现参数共享的。但随着计算规模的扩大，参数传递的带宽消耗达到数百兆甚至上千兆，通过一对一的发送实现广播引入的延迟已达到不可接受的程度，这是现有的计算平台中消息广播存在的问题。
[0003]在分布式计算平台中，一个任务的多个参与节点往往需要共享一些全局参数，并且这些参数需要定期的更新然后再次共享给所有节点。传统的实现方案是计算平台安排一个节点来存储这些参数，当某个节点需要这些全局参数时，就从网络中通过单播方式获取。当计算平台节点数量较多并且参数规模较大时，获取参数所消耗的带宽就与节点数量成正比。
[0004]如图1所示,在现有的分布式计算平台中，所有的业务节点Node_l、Node_2、…、Node_N的任务计算依赖于一个参数集W。在一个大型任务中，这个参数集W占用的存储空间可能上G字节。因此，通常的计算模式是将这个参数集W存储在管理节点Node_0中。每个业务节点Node」依据某个时刻点的参数W_t进行计算,之后再获得下一时刻点的参数W_t+1，然后所有业务节点再依据W_t+1重新计算各自的任务，为此所有业务节点需要从管理节点Node_0下载参数W。传统的计算平台如Storm在共享参数时采用一对一的发送方案，为了实现消息广播到N个节点，初始节点要与交换机交互至少N次才能把消息传递到其他节点，并且每次都要复制参数信息，造成冗余且占用大量带宽，增加了网络延迟。
【发明内容】
[0005]本发明实施例提供一种在分布式计算平台中分发参数的方法、装置和系统。本发明通过将参数的复制及分发任务交给了广播节点进行，管理节点只需要与广播节点交互一次，由网络层组播代替初始节点广播，消除消息的复制，使得各业务节点只需要利用一次广播报文便可以获得参数，从而大幅度降低带宽消耗，提升计算平台的效率。
[0006]根据本发明的一个方面，提供一种在分布式计算平台中分发参数的方法，包括:
[0007]在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数；
[0008]将所述共享参数发送给广播节点，以便广播节点将所述共享参数广播给相应的业务节点。
[0009]在一个实施例中，当接收到业务节点发送的参数更新信息时，利用所述参数更新信息对所存储的全局参数进行更新；其中接收到所述共享参数的业务节点利用所述共享参数进行相应的计算处理，并在计算处理完成后上报与所述共享参数相关联的所述参数更新信息。
[0010]根据本发明的另一方面，提供一种在分布式计算平台中分发参数的管理节点，包括提取单元、发送单元和存储单元，其中:
[0011]提取单元，用于在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数；
[0012]发送单元，用于将所述共享参数发送给广播节点，以便广播节点将所述共享参数广播给相应的业务节点；
[0013]存储单元，用于存储全局参数。
[0014]在一个实施例中，上述管理节点还包括接收单元和更新单元，其中:
[0015]接收单元，用于接收业务节点发送的参数更新信息；其中接收到所述共享参数的业务节点利用所述共享参数进行相应的计算处理，并在计算处理完成后上报与所述共享参数相关联的所述参数更新信息；
[0016]更新单元，用于当接收单元接收到业务节点发送的参数更新信息时，利用所述参数更新信息对存储单元中存储的全局参数进行更新。
[0017]根据本发明的另一方面，提供一种在分布式计算平台中分发参数的系统，包括管理节点、广播节点和业务节点，其中:
[0018]管理节点，用于在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数，并将所述共享参数发送给广播节点；
[0019]广播节点，用于在接收到管理节点发送的所述共享参数时，将所述共享参数广播给相应的业务节点；
[0020]业务节点，用于在接收到广播节点广播的所述共享参数时，利用所述共享参数进行相应的计算处理。
[0021]在一个实施例中，管理节点为上述任一实施例涉及的管理节点。
[0022]在一个实施例中，业务节点还用于在计算处理完成后，向管理节点上报与所述共享参数相关联的参数更新信息。
[0023]在一个实施例中，广播节点具体在广播所述共享参数时，查询当前与广播节点自身建立连接的业务节点，并向当前与广播节点自身建立连接的业务节点广播所述共享参数。
[0024]在一个实施例中，广播节点还用于在广播所述共享参数后，将已广播的所述共享参数删除。
[0025]在一个实施例中，广播节点为交换机。
[0026]本发明通过管理节点在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数；将所述共享参数发送给广播节点，以便广播节点将所述共享参数广播给相应的业务节点。由于利用广播节点进行参数广播，因此管理节点仅需要与广播节点进行一次交互，由网络层组播代替初始节点广播，消除消息的复制，使得各业务节点只需要利用一次广播报文便可以获得参数，从而大幅度降低带宽消耗，提升计算平台的效率。
【附图说明】
[0027]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为现有技术中分布式计算平台参数分发一个实施例的示意图。
[0029]图2为本发明在分布式计算平台中分发参数的方法一个实施例的示意图。
[0030]图3为本发明在分布式计算平台中分发参数的方法另一实施例的示意图。
[0031]图4为本发明在分布式计算平台中分发参数的管理节点一个实施例的示意图。
[0032]图5为本发明在分布式计算平台中分发参数的管理节点另一实施例的示意图。
[0033]图6为本发明在分布式计算平台中分发参数的系统一个实施例的示意图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0036]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0037]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0038]在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0039]应注意到:相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0040]图2为本发明在分布式计算平台中分发参数的方法一个实施例的示意图。如图2所示，本实施例的方法步骤可由管理节点执行。
[0041]步骤201，在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数。
[0042]步骤202，将所述共享参数发送给广播节点。
[0043]从而，广播节点将所述共享参数广播给相应的业务节点。
[0044]基于本发明上述实施例提供的在分布式计算平台中分发参数的方法，通过在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数；将所述共享参数发送给广播节点，以便广播节点将所述共享参数广播给相应的业务节点。由于利用广播节点进行参数广播，因此管理节点仅需要与广播节点进行一次交互，由网络层组播代替初始节点广播，消除消息的复制，使得各业务节点只需要利用一次广播报文便可以获得参数，从而大幅度降低带宽消耗，提升计算平台的效率。
[0045]图3为本发明在分布式计算平台中分发参数的方法另一实施例的示意图。如图3所示，本实施例的方法步骤可由管理节点执行。
[0046]步骤301，在预定的参数分发时刻，从所存储的全局参数中提取出需要分发的共享参数。
[0047]步骤302，将所述共享参数发送给广播节点，以便广播节点将所述共享参数广播给相应的业务节点。
[0048]步骤303，当接收到业务节点发送的参数更新信息时，利用所述参数更新信息对所存储的全局参数进行更新。
[0049]其中接收到所述共享参数的业务节点利用所述共享参数进行相应的计算处理，并在计算处理完成后上报与所述共享参数相关联的所述参数更新信息。
[0050]也就是说，业务节点在根据自身需要接收广播的共享参数后，利用所述共享参数进行相应的计算处理，并根据计