用于深度学习模型的分布式训练的系统和方法与流程

本申请一般涉及机器学习，并且更具体地涉及用于深度学习模型的分布式训练的系统和方法。

背景技术：

1、深度学习是机器学习的一个分支，它在许多应用中提供最先进的性能，包括计算机视觉、语音处理、自然语言处理和音频识别。深度学习使用类似于大脑中神经元的结构的计算模型。特别地，深度学习的计算模型(下文称为深度学习模型)使用“人工神经元”层来对计算模型的期望功能进行建模。每个人工神经元与一个或多个权重相关联，当人工神经元在聚合体中操作时，可以调整(例如，训练)这些权重以提供期望的功能。

2、可以使用训练数据来训练深度学习模型中的权重。训练数据可以包括输入数据和与输入数据相关联的标记。可以以这样的方式训练(或确定)深度学习模型中的权重：当深度学习模型接收输入数据时，深度学习模型输出对应于输入数据的标记。

技术实现思路

技术特征：

1.一种非暂时性计算机可读介质，包括指令，所述指令在被执行时使机器：

2.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一计算设备对于第一位置是本地的，并且所述第二计算设备对于第二位置是本地的，所述第一位置不同于所述第二位置。

3.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一机器学习模型是由所述第一计算设备从存储所述全局机器学习模型的中央服务器设备获得的。

4.根据权利要求3所述的非暂时性计算机可读介质，其中，所述第二机器学习模型是由所述第二计算设备从存储所述全局机器学习模型的所述中央服务器设备获得的。

5.根据权利要求1所述的非暂时性计算机可读介质，其中，所述第一计算设备用于基于所述第一计算设备处的本地数据来计算与所述第一机器学习模型相关联的所述第一权重。

6.根据权利要求5所述的非暂时性计算机可读介质，其中，所述第二计算设备用于基于所述第二计算设备处的本地数据来计算与所述第二机器学习模型相关联的所述第二权重。

7.一种非暂时性计算机可读介质，包括指令，所述指令在被执行时使机器：

8.根据权利要求7所述的非暂时性计算机可读介质，还包括用于使所述机器基于本地数据计算与所述经训练的机器学习模型相关联的所述权重的指令。

9.根据权利要求7所述的非暂时性计算机可读介质，其中，所计算的权重是第一权重并且所述经训练的机器学习模型是第一经训练的机器学习模型，所述服务器用于使用所述第一权重和与第二经训练的机器学习模型相关联的第二权重来更新所述全局模型。

10.根据权利要求9所述的非暂时性计算机可读介质，其中，所述机器学习模型是第一机器学习模型，所述非暂时性计算机可读介质还包括用于使所述机器用所述全局模型来训练所述第一机器学习模型的指令，所述全局模型是用所述第一权重和所述第二权重来更新的。

11.根据权利要求9所述的非暂时性计算机可读介质，其中，所述机器是第一机器，与所述第二经训练的机器学习模型相关联的所述第二权重是基于第二机器的本地数据的，所述第一机器不同于所述第二机器。

12.一种系统，包括：

13.根据权利要求12所述的系统，其中，所述计算设备是第一计算设备，所述机器学习模型是第一机器学习模型，所述经训练的机器学习模型是第一经训练的机器学习模型，并且所述权重是第一权重，所述系统还包括第二计算设备，其用于：

14.根据权利要求13所述的系统，其中，所述服务器用于：

15.根据权利要求14所述的系统，其中，所述第一计算设备用于基于所述更新后的全局机器学习模型生成更新后的第一机器学习模型。

16.根据权利要求14所述的系统，其中，所述第二计算设备用于基于所述更新后的全局机器学习模型生成更新后的第二机器学习模型。

17.根据权利要求13所述的系统，其中，所述第一计算设备对于第一位置是本地的，并且所述第二计算设备对于第二位置是本地的，所述第一位置不同于所述第二位置。

18.根据权利要求13所述的系统，其中，所述第一计算设备用于基于所述第一计算设备处的本地数据来计算与所述第一经训练的机器学习模型相关联的所述第一权重。

19.根据权利要求13所述的系统，其中，所述第二计算设备用于基于所述第二计算设备处的本地数据来计算与所述第二经训练的机器学习模型相关联的所述第二权重。

20.根据权利要求13所述的系统，其中：

21.一种方法，包括：

22.根据权利要求21所述的方法，其中，所述第一计算设备对于第一位置是本地的，并且所述第二计算设备对于第二位置是本地的，所述第一位置不同于所述第二位置。

23.一种方法，包括：

24.根据权利要求23所述的方法，还包括基于本地数据计算与所述经训练的机器学习模型相关联的所述权重。

25.根据权利要求23所述的方法，其中，所计算的权重是第一权重并且所述经训练的机器学习模型是第一经训练的机器学习模型，所述服务器用于使用所述第一权重和与第二经训练的机器学习模型相关联的第二权重来更新所述全局模型。

26.一种装置，包括用于执行根据权利要求21至25中任一项所述的方法的单元。

技术总结
公开了用于深度学习模型的分布式训练的系统和方法。用于训练深度学习模型的示例本地设备包括：参考生成器，用于标记在本地设备处接收的输入数据以生成训练数据；训练器，用于训练局部深度学习模型以及将局部深度学习模型发送到服务器，该服务器从多个本地设备接收多个局部深度学习模型，服务器用于确定用于全局深度学习模型的一组权重，以及更新器，用于基于从服务器接收的一组权重来更新局部深度学习模型。

技术研发人员：D·莫洛尼
受保护的技术使用者：莫维迪乌斯有限公司
技术研发日：
技术公布日：2024/2/19