模型训练方法、系统和装置的制造方法
【技术领域】
[0001]本发明涉及语音识别技术领域，尤其涉及一种模型训练方法、系统和装置。
【背景技术】
[0002]深度神经网络的训练算法的核心是矩阵运算，所以非常适合采用通用图形图像处理器(General Purpose Graphics Processing Unit;以下简称:GPGI3U)来进行加速，相比中央处理器(Central Processing Unit;以下简称:CPU)系统可以获得几十倍的速度提升。当前深度神经网络参数数以百万计，训练数据达数万小时，模型训练需要数十甚至上百台图形处理器(Graphics Processing Unit;以下简称:GPU)服务器并行进行。计算需求对系统的可扩展性提出了更高要求，通信延迟将直接制约系统的可扩展性，甚至影响训练模型的有效性。
[0003]现有神经网络的训练系统中，大多采用基于传输控制协议(Transmis s i onControl Protocol;以下简称:TCP)的通信协议，其通信延迟大，带宽利用率低，难以满足深度学习的训练需求，模型训练的效率较低，并且无法解决海量规模(如上万小时)的语音数据训练深层模型的问题。
【发明内容】
[0004]本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本发明的第一个目的在于提出一种模型训练方法。该方法可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0006]本发明的第二个目的在于提出一种模型训练系统。
[0007]本发明的第三个目的在于提出一种模型训练装置。
[0008]为了实现上述目的，本发明第一方面实施例的模型训练方法，包括:接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系;根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数;根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
[0009]本发明实施例的模型训练方法中，计算节点接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，根据上述训练数据的描述信息获得训练数据，并根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过信息传递接口(Message Passing Interface;以下简称:MPI)完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0010]为了实现上述目的，本发明第二方面实施例的模型训练方法，包括:接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的t吴型。
[0011]本发明实施例的模型训练方法中，服务节点接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0012]为了实现上述目的，本发明第三方面实施例的模型训练系统，包括:管理节点、计算节点和服务节点;所述管理节点，用于向所述计算节点发送训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；以及对所述初始模型的模型参数进行划分后，将划分后的模型参数发送给所述服务节点；所述计算节点，用于接收所述管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系;根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数；以及根据所述对应关系向所述服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数;所述服务节点，用于接收所述服务节点维护的模型参数；以及接收所述计算节点发送的更新后的模型参数，根据所述更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
[0013]本发明实施例的模型训练系统中，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0014]为了实现上述目的，本发明第四方面实施例的模型训练装置，包括:接收模块，用于接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系；获得模块，用于根据所述训练数据的描述信息获得训练数据；训练模块，用于根据所述获得模块获得的训练数据和所述接收模块接收的初始模型的模型参数进行模型训练，获得更新后的模型参数;发送模块，用于根据所述接收模块接收的对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数，以供所述服务节点对所述服务节点维护的模型参数进行更新。
[0015]上述模型训练装置中，接收模块接收管理节点发送的训练数据的描述信息、初始模型的模型参数和上述管理节点划分的服务节点与服务节点维护的模型参数的对应关系之后，获得模块根据上述训练数据的描述信息获得训练数据，训练模块根据上述训练数据和上述初始模型的模型参数进行模型训练，获得更新后的模型参数，然后发送模块根据上述对应关系向服务节点发送上述更新后的模型参数中由上述服务节点维护的模型参数，以供上述服务节点对上述服务节点维护的模型参数进行更新，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0016]为了实现上述目的，本发明第五方面实施例的模型训练装置，包括:接收模块，用于接收服务节点维护的模型参数，所述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给所述服务节点的；以及接收计算节点发送的更新后的模型参数，所述更新后的模型参数是所述计算节点根据获得的训练数据和初始模型的模型参数进行模型训练获得，并根据所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系向所述服务节点发送的；更新模块，用于根据所述接收模块接收的更新后的模型参数对所述服务节点维护的模型参数进行更新，获得更新后的模型。
[0017]上述模型训练装置中，接收模块接收上述服务节点维护的模型参数，上述服务节点维护的模型参数是管理节点对初始模型的模型参数进行划分后发送给上述服务节点的，并接收计算节点发送的更新后的模型参数，然后更新模块根据上述更新后的模型参数对上述服务节点维护的模型参数进行更新，获得更新后的模型，上述管理节点、计算节点和服务节点之间的通信通过MPI完成，从而可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0018]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0019]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0020]本发明提出一种模型训练方法、系统和装置，该模型训练方法包括:接收管理节点发送的训练数据的描述信息、初始模型的模型参数和所述管理节点划分的服务节点与服务节点维护的模型参数的对应关系;根据所述训练数据的描述信息获得训练数据，并根据所述训练数据和所述初始模型的模型参数进行模型训练，获得更新后的模型参数;根据所述对应关系向服务节点发送所述更新后的模型参数中由所述服务节点维护的模型参数。本发明可以大幅提升模型训练的效率，同时使得海量规模(如上万小时)的语音数据训练深层模型成为可能，使得训练得到的模型可以覆盖更广泛的变化，因此可以显著提升模型的精度和推广性。
[0021 ]图1为本发明模型训练方法一个实