施例的流程图；
[0022]图2为本发明模型训练方法另一个实施例的流程图；
[0023]图3为本发明模型训练方法再一个实施例的流程图；
[0024]图4为本发明模型训练方法再一个实施例的流程图；
[0025]图5为本发明模型训练方法再一个实施例的流程图；
[0026]图6为本发明模型训练系统一个实施例的结构示意图；
[0027]图7为本发明模型训练系统中服务节点的任务流程一个实施例的示意图；
[0028]图8为本发明模型训练系统中管理节点、计算节点和服务节点之间的交互示意图；
[0029]图9为本发明模型训练装置一个实施例的结构示意图；
[0030]图10为本发明模型训练装置另一个实施例的结构示意图；
[0031]图11为本发明模型训练装置再一个实施例的结构示意图。
【具体实施方式】
[0032]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0033]图1为本发明模型训练方法一个实施例的流程图，如图1所示，上述模型训练方法可以包括:
[0034]步骤101，接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系。
[0035]其中，上述管理节点发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。
[0036]步骤102，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数。
[0037]其中，上述训练数据的描述信息可以包括上述训练数据是训练数据列表中哪部分的训练数据，以及上述训练数据的存储地址等信息，本实施例对上述训练数据的描述信息所包括的内容不作限定。
[0038]这样，计算节点接收管理节点发送的训练数据的描述信息之后，就可以根据上述训练数据的描述信息获得训练数据。
[0039]步骤103，根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新。
[0040]具体地，根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数可以为:根据上述对应关系，定时或周期性地向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数。
[0041]本实施例中，计算节点在步骤102获得的更新后的模型参数是上述计算节点进行训练获得的模型所包含的全部参数，而每个服务节点维护的只是上述模型的部分参数，所以计算节点需要根据管理节点划分的服务节点与服务节点维护的模型参数的对应关系，向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对自身维护的模型参数进行更新。
[0042]图2为本发明模型训练方法另一个实施例的流程图，如图2所示，步骤103之后，还可以包括:
[0043]步骤201，接收上述服务节点发送的更新后的模型，上述更新后的模型是上述服务节点对上述服务节点维护的模型参数进行更新后获得的。
[0044]步骤202，根据上述更新后的模型和上述训练数据继续进行模型训练。
[0045]也就是说，本实施例中，服务节点在对上述服务节点维护的模型参数进行更新后，会将更新后的模型发送回计算节点，然后计算节点可以根据上述更新后的模型和上述训练数据继续进行模型训练。
[0046]上述模型训练方法中，计算节点接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0047]图3为本发明模型训练方法再一个实施例的流程图，如图3所示，上述模型训练方法可以包括:
[0048]步骤301，接收服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的。
[0049]步骤302，接收计算节点发送的更新后的模型参数，上述更新后的模型参数是上述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向上述服务节点发送的。
[0050]步骤303，根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型。
[0051]图4为本发明模型训练方法再一个实施例的流程图，如图4所示，步骤303之后，还可以包括:
[0052]步骤401，将上述更新后的模型发送给上述计算节点，以供上述计算节点根据上述更新后的模型和上述训练数据继续进行模型训练。
[0053]也就是说，本实施例中，服务节点在对上述服务节点维护的模型参数进行更新后，会将更新后的模型发送回计算节点，然后计算节点可以根据上述更新后的模型和上述训练数据继续进行模型训练。
[0054]图5为本发明模型训练方法再一个实施例的流程图，如图5所示，步骤303之后，还可以包括:
[0055]步骤501，定时或周期性地将上述服务节点获得的最新的模型发送给上述管理节点，以便上述管理节点保存上述最新的模型。
[0056]上述模型训练方法中，服务节点接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0057]图6为本发明模型训练系统一个实施例的结构示意图，如图6所示，上述模型训练系统可以包括:管理节点61、计算节点62和服务节点63;
[0058]其中，管理节点61，用于向计算节点62发送训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；以及对上述初始模型的模型参数进行划分后，将划分后的模型参数发送给服务节点63;
[0059]另外，管理节点61，还负责维护服务节点63和计算节点62的运行状态，并提供外部查询接口，供用户查询系统运行状态。在上述模型训练系统的启动阶段，接收服务节点63和计算节点62的签到消息，并记入日志。
[0060]计算节点62，用于接收管理节点61发送的训练数据的描述信息、初始模型的模型参数和管理节点61划分的服务节点与服务节点维护的模型参数的对应关系;根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数；以及根据上述对应关系向服务节点63发送上述更新后的模型参数中由服务节点63维护的模型参数；
[0061]其中，管理节点61发送的训练数据的描述信息是上述管理节点为计算节点划分的训练数据的描述信息。上述训练数据的描述信息可以包括上述训练数据是训练数据列表中哪部分的训练数据，以及上述训练数据的存储地址等信息，本实施例对上述训练数据的描述信息所包括的内容不作限定。这样，计算节点62接收管理节点61发送的训练数据的描述信息之后，就可以根据上述训练数据的描述信息获得训练数据。
[0062]本实施例中，计算节点62，具体用于根据上述对应关系，定时或周期性地向服务节点63发送上述更新后的模型参数中由上述服务节点63维护的模型参数。
[0063]本实施例中，计算节点62获得的更新后的模型参数是上述计算节点62进行训练获得的模型所包含的全部参数，而每个服务节点63维护的只是上述模型的部分参数，所以计算节点62需要根据管理节点61划分的服务节点与服务节点维护的模型参数的对应关系，向服务节点63发送上述更新后的模型参数中由上述服务节点63维护的模型参数，以供上述服务节点63对自身维护的模型参数进行更新。
[0064]服务节点63，用于接收服务节点63维护的模型参数；以及接收计算节点62发送的更新后的模型参数，根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型。
[0065]其中，服务节点63维护的模型参数是管理节点61对初始模型的模型参数进行划分后发送给上述服务节点的。
[0066]本实施例中，服务节点63负责更新和维护本地模型，根据管理节点61的任务分配，维护模型中的部分参数;接收