针对数据记录执行机器学习的分布式系统及其方法与流程

本发明的示例性实施例总体说来涉及人工智能领域，更具体地说，涉及一种针对数据记录执行机器学习的分布式系统以及利用所述分布式系统来针对数据记录执行机器学习的方法。

背景技术：

随着数据规模的迅速增长，机器学习被广泛应用于各种领域以挖掘数据的价值。然而，为了执行机器学习，一般物理机的内存已经远远不足，为此，实践中往往需要利用分布式机器学习平台来完成机器学习模型的训练或相应的预估。

在现有的分布式机器学习系统中(例如，谷歌的深度学习框架tensorflow中)，通常存在一个或多个控制节点，这些控制节点负责调度系统中的其他计算节点的任务和计算资源，其中，每个计算节点会执行一部分计算任务，也就是说，各个计算节点之间执行的计算任务并不相同。相应地，就整个计算任务而言，相邻步骤可能会需要在不同的物理机器上执行，这就需要网络传输来使数据在各个计算节点和/或控制节点之间流动，此种方式将导致巨大的读写开销，而高速网卡(例如，万兆网卡)的成本高昂，并不能被广泛应用于分布式机器学习系统中。

进一步地，在上述分布式机器学习系统中，如果想要实现基于某个机器学习算法的多配置运行或多次运行，或者，如果想要同时运行多个机器学习算法，则需要对算法的内部进行修改，或者实现外部逻辑的多次调用，这两种方式都将耗费较大的实际计算量。

技术实现要素：

本发明的示例性实施例旨在克服现有的分布式机器学习系统在执行机器学习时网络开销和运算量较大的缺陷。

根据本发明的示例性实施例，提供一种用于针对数据记录执行机器学习的分布式系统，包括：多个计算装置，其中，每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算；参数服务器，用于维护机器学习模型的参数，其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算，并且，参数服务器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。

可选地，在所述分布式系统中，所述参数服务器具有分布式结构，其中，在所述分布式结构下，每一部分参数服务器与相应的计算装置集成为一体。

可选地，在所述分布式系统中，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。

可选地，在所述分布式系统中，所述数据流式计算表示为至少一个由处理步骤组成的有向无环图。

可选地，在所述分布式系统中，计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算。

可选地，在所述分布式系统中，参数服务器按照键值对来保存机器学习模型的参数，并且，具有相同键的键值对被保存为单个键对应于多个值的形式。

根据本发明的另一示例性实施例，提供一种利用分布式系统来针对数据记录执行机器学习的方法，其中，所述分布式系统中的多个计算装置之中的每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算，所述方法包括：由多个计算装置之中的每个计算装置获取各自的数据记录；由计算装置从分布式系统中的参数服务器获取机器学习模型的参数；其中，在执行训练机器学习模型的数据流式计算时，由计算装置利用获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算，并且，由参数服务器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，由计算装置利用获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。

可选地，在所述方法中，所述参数服务器具有分布式结构，其中，在所述分布式结构下，每一部分参数服务器与相应的计算装置集成为一体。

可选地，在所述方法中，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。

可选地，在所述方法中，所述数据流式计算表示为至少一个由处理步骤组成的有向无环图。

可选地，在所述方法中，计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算。

可选地，在所述方法中，参数服务器按照键值对来保存机器学习模型的参数，并且，具有相同键的键值对被保存为单个键对应于多个值的形式。

在根据本发明示例性实施例的分布式机器学习系统及其方法中，每个计算装置被配置为执行同样的数据流式计算，从而实现了计算装置之间的同质化，这减少了网络传输开销，能够更好地应用于大规模的机器学习模型。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1示出根据本发明示例性实施例的用于针对数据记录执行机器学习的分布式系统的框图；

图2示出根据本发明另一示例性实施例的用于针对数据记录执行机器学习的分布式系统的框图；

图3示出根据本发明示例性实施例的参数服务器的框图；

图4示出根据本发明示例性实施例的计算装置的框图；

图5示出根据本发明示例性实施例的分布式机器学习系统执行机器学习模型训练的方法的流程图；

图6示出根据本发明另一示例性实施例的分布式机器学习系统执行机器学习模型训练的方法的流程图；

图7示出根据本发明示例性实施例的分布式机器学习系统执行机器学习模型预估的方法的流程图；

图8示出根据本发明示例性实施例的通过合并有向无环图来执行数据流式计算的示例；以及

图9示出根据本发明示例性实施例的按照键值对来保存机器学习模型的参数的示例。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，该模型可表示为特定参数下的某种算法函数，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型(即，基于数据而学习到函数的参数)，在面对新的情况时，模型会提供相应的判断，即，预估结果。机器学习可被实现为“有监督学习”、“无监督学习”或“半监督学习”的形式，应注意，本发明的示例性实施例对具体机器学习算法并不进行特定限制。此外，还应注意，在训练机器学习模型的过程中，还可利用统计算法、业务规则和/或专家知识等，以进一步提高机器学习的效果。

具体说来，本发明的示例性实施例涉及分布式机器学习系统，该分布式机器学习系统可由参数服务器和计算装置组成，其中，多个计算装置分布地针对各自的数据记录执行相同的机器学习任务，相应地，参数服务器通过与各个计算装置进行交互来维护机器学习模型的参数。应注意，这里所说的计算装置和/或参数服务器均由其所执行的处理或所实现的功能来限定，既可指示物理实体，也可指示虚拟实体，例如，计算装置可指示实际的计算机器，也可指示部署在该计算机器上的逻辑实体，同样，参数服务器既可指示实际的计算机器，也可作为一个或多个逻辑实体而与计算装置部署在同样或不同的计算机器上，甚至可以直接由某些计算装置来充当。

图1示出根据本发明示例性实施例的用于针对数据记录执行机器学习的分布式系统的框图。具体说来，图1所示的分布式机器学习系统可包括参数服务器2000和多个计算装置1000(例如，1000-1、1000-2、…、1000-n(其中，n为大于1的整数))。所述分布式机器学习系统可用于训练机器学习模型和/或利用训练好的机器学习模型进行预估。

具体说来，每个计算装置1000被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算。作为示例，各个计算装置1000可分别从数据源(例如，网络上的云盘等所有计算装置均可访问的位置)获取一部分需要处理的数据记录，并针对获取的这部分数据记录来执行数据流式计算；或者，在数据量较少的情况下，各个计算装置1000也可一次性从数据源获取全部的数据记录，并分别针对其中的一部分数据记录来执行数据流式计算。根据本发明的示例性实施例，各个计算装置1000所执行的计算任务相同(即，关于机器学习的数据流式计算)，只是所针对的数据记录各不相同。

这里，数据流式计算是指各个计算装置1000均需执行的流式计算任务，其可以是为了训练机器学习模型和/或利用机器学习模型执行预估所需要执行的某些处理的集合。根据本发明的示例性实施例，数据流式计算可表示为至少一个由处理步骤组成的有向无环图。也就是说，数据流式计算可指示单个有向无环图所表示的计算流程；此外，数据流式计算也可指示多个有向无环图所表示的计算流程，相应地，根据本发明示例性实施例的分布式机器学习系统可同时执行某种机器学习算法流程的多配置运算或同时执行多种机器学习算法流程。组成数据流式计算的处理步骤不仅包括运算步骤，还包括其他各种处理步骤(例如，获取数据、输出运算结果等)。

参数服务器2000用于维护机器学习模型的参数。如上所述，机器学习模型可看做关于机器学习样本特征的函数，具体说来，通过针对全部数据记录不断地迭代训练，可逐渐收敛到该函数的参数最优解。根据本发明的示例性实施例，参数服务器2000用于维护机器学习模型的参数，使得计算装置1000在执行数据流式计算时可通过与参数服务器2000进行交互来获取相应的参数，另一方面，在机器学习模型的训练阶段，参数服务器2000也可基于各个计算装置1000的运算结果来更新所述参数。也就是说，在执行训练机器学习模型的数据流式计算时，计算装置1000利用从参数服务器2000获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算，并且，参数服务器2000根据计算装置1000的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置1000利用从参数服务器2000获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。

作为示例，参数服务器2000可部署在单个的计算机器上；或者，参数服务器2000可同时部署在多个相关的计算机器上。例如，参数服务器2000的效果可相当于一个全局的哈希表，每个部分参数服务器中保存一部分关于参数的键值对(key-value)，而各个部分参数服务器上的键值对无交集。作为示例，参数服务器2000可按照键值对来保存机器学习模型的参数，并且，具有相同键(key)的键值对被保存为单个键对应于多个值(value)的形式。

根据本发明的示例性实施例，可将来自数据源(例如，远端网络)的数据记录先切分为不同的集合，以分别存储在计算装置1000的本地硬盘或内存，相应地，可由各个计算装置1000通过对本地数据执行数据流式计算来独立完成相应的机器学习计算任务，从而大幅减小数据读写的开销。

作为示例，当机器学习模型较小时，每个计算装置1000本地可单独存放一份完整的参数，而当机器学习模型较大时，参数可分散地存储在多个部分参数服务器上。根据本发明的示例性实施，所述参数服务器2000可具有分布式结构，其中，在所述分布式结构下，每一部分参数服务器与相应的计算装置1000集成为一体。

图2示出根据本发明另一示例性实施例的用于针对数据记录执行机器学习的分布式系统的框图。在图2所示的分布式机器学习系统中，对应于每个计算装置1000，存在相应的部分参数服务器2001。具体说来，计算装置1000-1可与部分参数服务器2001-1集成在相同的虚拟机或物理机上，计算装置1000-2可与部分参数服务器2001-2集成在相同的虚拟机或物理机上，以此类推，计算装置1000-n可与部分参数服务器2001-n集成在相同的虚拟机或物理机上。在该分布式机器学习系统中，每个计算装置1000为了执行数据流式计算，可在本地使用与其集成为一体的对应部分参数服务器2001所维护的参数，此外，计算装置1000还会需要使用其他部分参数服务器2001所维护的参数，为此，计算装置1000需要与所述其他部分参数服务器2001进行交互以得到执行数据流式计算所需的全部参数。

可以看出，在根据本发明示例性实施例的分布式机器学习系统中，除了具有多个计算装置之外，参数服务器也可具有分布式的结构，即，存在多个部分参数服务器。在此情况下，通过由计算装置来执行数据流式计算，可保证大规模机器学习的实现，从而可通过特征维度的提升和数据量的增加来实现更好的机器学习效果。

图3示出根据本发明示例性实施例的参数服务器的框图。这里，图3所示的参数服务器既可以是整体参数服务器，也可以是部分参数服务器。

参照图3，参数服务器可包括接口装置2100、处理装置2200和参数存储装置2300。

具体说来，接口装置2100可用于与计算装置1000进行交互，从而传送与机器学习相关的指令和/或数据，其中，所述数据可以是机器学习模型的参数、用于更新参数的运算结果等各种相关数据。这里，接口装置2100可从计算装置1000接收请求获取参数的指令，也可从计算装置1000接收与更新参数有关的指令或运算结果；此外，接口装置2100还可向计算装置1000发送相关的参数。

处理装置2200可根据由接口装置2100接收的指令和/或数据来执行处理以更新和/或提供参数，其中，所述参数由参数存储装置2300来保存。作为示例，处理装置2200可分析来自计算装置1000的请求参数的指令，然后将相应的参数从参数存储装置2300提供给接口装置2100，进而由接口装置2100将所述参数提供给计算装置1000。或者，处理装置2200可分析来自计算装置1000的更新参数的指令及相应的运算结果数据，根据相应的参数更新方式来执行参数的更新，并将更新后的参数保存在参数存储装置2300中。

参数存储装置2300用于保存机器学习模型的参数。作为示例，参数存储装置2300可按照键值对(key-value)的形式来保存所述参数。根据本发明的示例性实施，针对模型的多套配置，可采用一个key对应多个value的形式来保存相应的参数。

图4示出根据本发明示例性实施例的计算装置的框图。参照图4，计算装置1000可包括接口单元1100和运算单元1200。

具体说来，接口单元1100可用于与参数服务器(例如，参数服务器2000或部分参数服务器2001)进行交互，从而传送与机器学习相关的指令和/或数据，其中，所述数据可以是机器学习模型的参数、用于更新参数的运算结果等各种相关数据。这里，接口单元1100可向参数服务器发送请求获取参数的指令，并从参数服务器接收所请求的参数；此外，接口单元1100还可向参数服务器提供用于更新参数的运算结果以及相关的指令。作为示例，接口单元1100还可用于从数据源获取期望处理的数据记录，或用于将阶段性的运算结果备份到另外的装置中。

运算装置1200用于利用机器学习模型的参数，针对数据记录来执行数据流式计算。这里，运算装置1200可执行数据流式计算中涉及的关于机器学习模型训练和/或预估的各种具体运算。如之前所述，根据本发明的示例性实施例，数据流式计算可表示为一个或多个由处理步骤组成的有向无环图，例如，在机器学习模型的训练阶段，往往需要训练多套配置下的模型以进行模型调优，在这种情况下，如果期望同时进行多套模型训练，则数据流式计算可由多个配置不同的有向无环图组成。相应地，运算装置1200执行运算所得的结果可经由接口单元1100传递给参数服务器或其他装置。应注意，数据流式计算的组成并不受限于上述示例，而是可包括任何单一有向无环图或不同有向无环图的组合，例如，数据流式计算可指示利用机器学习模型进行预估的单一流程。在机器学习模型的预估阶段，由运算装置1200通过执行运算所得的结果可作为针对相应数据记录的预估值。

图5示出根据本发明示例性实施例的分布式机器学习系统执行机器学习模型训练的方法的流程图。所述方法涉及的步骤可由之前描述的分布式机器学习系统中的计算装置和/或参数服务器(例如，参数服务器2000或部分参数服务器2001)来执行，例如，可由计算装置和/或参数服务器根据预先设定的配置来执行，其中，所述分布式系统中的多个计算装置之中的每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算。

参照图5，在步骤s100中，由多个计算装置之中的每个计算装置获取各自的数据记录。这里的数据记录指示用于模型训练的历史数据记录，在有监督学习的情况下具有相应的标记(label)。例如，各个计算装置可首先分别从数据源读取各自将处理的数据记录，计算装置之间读取的数据记录没有交集，也就是说，每个计算装置会分到总体数据记录的一部分，然后一起做相同的训练任务。在计算装置已经将数据记录读取至本地存储之后，后续在需要执行相关运算处理时则可直接从本地获取相应的数据记录。

接下来，在步骤s200中，由计算装置从分布式系统中的参数服务器获取机器学习模型的参数。这里，各个计算装置可从单一的参数服务器获取全部所需的参数；或者，在参数服务器具有分布式结构的情况下，计算装置除了从集成一体的部分参数服务器获取参数之外，还会需要从其他的部分参数服务器获取另外的参数。

在步骤s300中，由计算装置利用获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算。这里，计算装置可基于先前获取的数据记录和参数来完成数据流式计算中所涉及的运算步骤。

在步骤s400中，由参数服务器根据计算装置的运算结果来更新所述参数。这里，根据机器学习算法和分布式框架的设计等因素，参数服务器可按照一定的频率来更新参数，例如，每当完成一条数据记录的运算之后，各计算装置可将运算结果汇总到参数服务器，由参数服务器根据预定的更新方式来执行参数的更新。此外，参数更新的频率并不受限于一条数据，例如，可基于一批数据或一轮迭代的运算结果来更新参数。

应注意，图5中的各步骤并非受限于特定的执行顺序，例如，本领域技术人员应理解，在针对大量数据记录进行迭代运算的过程中，往往需要多次从外部或本地获取数据记录和/或参数。

当训练得到的机器学习模型比较小时，可在每一个计算实体上均单独存放一份完整的模型参数，然而，当机器学习模型较大时，则需要将模型参数分块地存储在多个部分参数服务器上。由于计算装置执行运算任务时需要多次存取数据，所以有必要设置适当的灾备措施。不同于现有技术中频繁执行灾备的处理方式，根据本发明的示例性实施，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。通过这种特定的灾备方式，可在实现灾备目标的同时大幅增加运行效率。

图6示出根据本发明另一示例性实施例的分布式机器学习系统执行机器学习模型训练的方法的流程图。在图6所示的方法中，按照每轮迭代来执行灾备，其中的步骤s100、s200、s300和s400与图5所示的相应步骤类似，这里将不再赘述细节。

参照图6，在步骤s500中，确定是否针对全部数据记录执行了一轮迭代训练。如果尚未完成一轮迭代，则所述方法进行到步骤s700。如果确定完成了一轮迭代，则在步骤s600中，将当前得到的模型参数进行备份，例如，可在多个部分参数服务器之间额外地交叉存储当前得到的模型参数，即，每个部分参数服务器除了保持自己的那一部分参数之外，还额外存储其他参数服务器所维护的参数；或者，可在除了参数服务器之外的其他装置上备份所述参数。这里，可备份一份或多份当前得到的模型参数，以确保灾备的实现。

在步骤s700中，确定是否完成了机器学习模型的训练，如果完成了训练，则得到了由参数组成的机器学习模型。否则，所述方法返回步骤s100以继续获取新的数据记录，这里，根据之前的处理流程，所述新的数据记录既可以是在本轮迭代尚未完成时继续获取的数据记录，也可以是在本轮迭代刚完成时重新获取的数据记录。这些数据记录既可来自外部数据源，也可来自计算装置本地。

图7示出根据本发明示例性实施例的分布式机器学习系统执行机器学习模型预估的方法的流程图。所述方法涉及的步骤可由之前描述的分布式机器学习系统中的计算装置和/或参数服务器(例如，参数服务器2000或部分参数服务器2001)来执行，例如，可由计算装置和/或参数服务器根据预先设定的配置来执行，其中，所述分布式系统中的多个计算装置之中的每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算。

参照图7，在步骤s110中，由多个计算装置之中的每个计算装置获取各自的数据记录。这里的数据记录指示用于模型预估(或测试)的数据记录。各个计算装置可分别从数据源读取各自将处理的数据记录，计算装置之间读取的数据记录没有交集，也就是说，每个计算装置会分到总体数据记录的一部分，然后一起做相同的预估任务。

接下来，在步骤s210中，由计算装置从分布式系统中的参数服务器获取机器学习模型的参数。这里，各个计算装置可从单一的参数服务器获取全部所需的参数；或者，在参数服务器具有分布式结构的情况下，计算装置除了从集成一体的部分参数服务器获取参数之外，还会需要从其他的部分参数服务器获取另外的参数。

在步骤s310中，由计算装置利用获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。这里，计算装置可基于先前获取的数据记录和参数来完成数据流式计算中所涉及的运算步骤。

以上参照图5到图7描述了根据本发明示例性实施例的分布式机器学习系统执行机器学习的方法，这里，可将一些具体运算或其他处理封装为可调用的函数，例如，可将数据流式计算中的同步等待、数据合并和广播交互等处理封装为可调用的函数。上述方式使得编程人员在需要的时候直接调用，从而帮助编程人员集中在分布式实现逻辑，有效地控制算法，而不必实现复杂的底层逻辑。

此外，应注意，虽然在图5到图7的方法流程图中顺序地显示了处理流程中的各个步骤，但是应注意，各步骤的执行顺序并非受限于时间顺序，也可同时进行或按照不同的顺序执行。例如，在计算装置与其相应的部分参数服务器集成于单一计算机器的情况下，计算装置可首先利用本地的参数来完成相应的运算，然后再通过系统的通信功能从其他计算机器上的部分参数服务器获取其他参数，进而基于所述其他参数来完成其余运算。

根据本发明的示例性实施例，在计算装置执行数据流式计算时，如果所述数据流式计算涉及多个有向无环图，则计算装置可通过合并不同有向无环图中相同的处理步骤来执行数据流式计算。例如，计算装置可通过从上游开始合并有向无环图中的相同处理步骤来减少计算量，使得多个任务运行的时间少于分别运行各个任务的时间和。

图8示出根据本发明示例性实施例的通过合并有向无环图来执行数据流式计算的示例。图8中的(a)示出表示每个计算装置需要执行的数据流式计算的有向无环图，也就是说，各计算装置均需要执行如图8中的(a)所示的计算任务，它们之间是同质的。具体说来，图8中的(a)所示出的数据流式计算包括两个独立的有向无环图，与第一个有向无环图相应的第一任务由处理1、处理2、处理3、处理4这四个处理步骤组成，而与第二个有向无环图相应的第二任务由处理1、处理2、处理5和处理6这四个处理步骤组成。这里，处理步骤可表示诸如获取数据记录、运算、输出运算结果等各种处理。在执行到特定步骤时，各个计算装置可通过封装好的函数在彼此之间实现同步功能。

根据本发明的示例性实施例，计算装置可通过从上游开始分析有向无环图来搜索并合并相同的处理步骤，例如，假设两个有向无环图均需要从相同的数据源获取数据记录，并且，最初的两个步骤是相同的(均为处理1和处理2)，则计算装置可首先合并相同的处理步骤，以得到如图8中的(b)示出的有向无环图。通过这种方式，可仅执行合并后的有向无环图，减少实际的计算量和读写量，带来性能提升。

图9示出根据本发明示例性实施例的按照键值对来保存机器学习模型的参数的示例。根据本发明的示例性实施例，机器学习模型的众多参数可按照键值对的形式来保存，作为示例，当存在多套键值对(例如，同一机器学习算法的多套配置)时，会具有如图9中的(a)所示的键值对形式，其中，在每一套配置下，各个键对应各自的值，例如，k1、k2、k3、…、kn分别对应v11、v12、v13、…、v1n，或者，k1、k2、k3、…、kn分别对应v21、v22、v23、…、v2n，其中，n为大于1的整数。根据本发明的示例性实施例，可通过合并key来保存键值对，以形成如图9中的(b)所示的键值对形式，其中，单个key可对应多个value，例如，k1对应v11和v21两者，从而减少了参数服务器的存储开销。另一方面，当计算装置与参数服务器之间需要同时交互两种配置的相关参数时，可在传输过程中进行key的合并和/或压缩，从而减少了网络传输开销。

应理解，根据本发明示例性实施例的分布式机器学习系统中的参数服务器、计算装置或组成它们的装置或单元等组成部分可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些组成部分可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。当它们以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。此外，这些组成部分所实现的一个或多个功能也可由物理实体设备(例如，计算机器等)中的组件来统一执行。

应注意，根据本发明示例性实施例的分布式机器学习系统可完全依赖计算机程序的运行来实现相应的功能，即，各个组成部分在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

以上已经描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，并且本发明也不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。