数据加载方法、装置、电子设备和存储介质与流程

本公开涉及人工智能领域，具体涉及自然语言处理、深度学习、云计算等，尤其涉及数据加载方法、装置、电子设备和存储介质。

背景技术：

1、在使用多个gpu(graphics processing unit，图形处理器)(后续简称为多卡)对深度学习模型进行分布式训练中，如果模型训练意外终止或中断，则需要重启训练任务，并恢复训练现场，以对深度学习模型进行继续训练。或者，如果硬件资源、训练策略等改变，则需保存训练现场，并迁移到其他环境进行训练现场的恢复，以对深度学习模型进行继续训练。因此，如何实现训练现场的恢复，以尽可能少地丢失训练成果是非常重要的。

技术实现思路

1、本公开提供了一种用于数据加载方法、装置、电子设备和存储介质。

2、根据本公开的一方面，提供了一种数据加载方法，包括：

3、获取用于对深度学习模型进行深度学习的第一图形处理器gpu的第一数量；

4、加载所述深度学习模型的模型参数的参数信息；

5、在所述第一数量为多个的情况下，对所述参数信息中所述模型参数的第一参数值集合进行分组，以得到所述第一数量的所述模型参数的第二参数值集合；

6、将所述第一数量的所述模型参数的第二参数值集合，加载至所述第一数量的所述第一gpu。

7、根据本公开的另一方面，提供了一种数据加载装置，包括：

8、获取模块，用于获取用于对深度学习模型进行深度学习的第一图形处理器gpu的第一数量；

9、第一加载模块，用于加载所述深度学习模型的模型参数的参数信息；

10、分组模块，用于在所述第一数量为多个的情况下，对所述参数信息中所述模型参数的第一参数值集合进行分组，以得到所述第一数量的所述模型参数的第二参数值集合；

11、第二加载模块，用于将所述第一数量的所述模型参数的第二参数值集合，加载至所述第一数量的所述第一gpu。

12、根据本公开的又一方面，提供了一种电子设备，包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面提出的数据加载方法。

16、根据本公开的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述一方面提出的数据加载方法。

17、根据本公开的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面提出的数据加载方法。

18、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据加载方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述参数信息存储于多个第二gpu中，

3.根据权利要求2所述的方法，其中，所述根据所述第一切分方式和所述第一数量，对从所述多个第二gpu中加载的参数信息中的所述模型参数的第一参数值集合进行分组，包括：

4.根据权利要求3所述的方法，其中，所述根据所述第一切分方式和所述第一数量，对从所述多个第二gpu中加载的参数信息中的所述模型参数的第一参数值集合进行分组，还包括：

5.根据权利要求3所述的方法，其中，所述根据所述第一切分方式和所述第一数量，对从所述多个第二gpu中加载的参数信息中的所述模型参数的第一参数值集合进行分组，还包括：

6.根据权利要求1所述的方法，其中，所述参数信息存储于一个第三gpu中，

7.根据权利要求1-6中任一项所述的方法，其中，所述方法还包括：

8.根据权利要求1所述的方法，其中，所述方法还包括：

9.根据权利要求8所述的方法，其中，所述方法，还包括：

10.根据权利要求8或9所述的方法，其中，所述方法还包括：

11.一种数据加载装置，所述装置包括：

12.根据权利要求11所述的装置，其中，所述参数信息存储于多个第二gpu中，所述分组模块，用于：

13.根据权利要求12所述的装置，其中，所述分组模块，用于：

14.根据权利要求13所述的装置，其中，所述分组模块，还用于：

15.根据权利要求13所述的装置，其中，所述分组模块，还用于：

16.根据权利要求11所述的装置，其中，所述参数信息存储于一个第三gpu中，所述分组模块，用于：

17.根据权利要求11-16中任一项所述的装置，其中，所述装置还包括：

18.根据权利要求11所述的装置，其中，所述装置还包括：

19.根据权利要求18所述的装置，其中，所述装置还包括：

20.根据权利要求18或19所述的装置，其中，所述装置还包括：

21.一种电子设备，包括：

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的数据加载方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述数据加载方法的步骤。

技术总结
本公开提供了一种数据加载方法、装置、电子设备和存储介质，涉及自然语言处理、深度学习、云计算等领域。具体实现方案为：加载深度学习模型的模型参数的参数信息，并获取用于对深度学习模型进行深度学习的第一GPU的第一数量，在第一数量为多个的情况下，对参数信息中模型参数的第一参数值集合进行分组，以得到第一数量的模型参数的第二参数值集合，并将第一数量的模型参数的第二参数值集合，加载至第一数量的第一GPU。由此，可以实现在模型训练意外中断、硬件资源等改变的情况下，通过多个第一GPU对之前训练过程中保存的模型参数的参数值集合进行加载，并根据加载的参数值集合对深度学习模型进行继续训练，以提升模型的训练效果。

技术研发人员：沈亮,郝宏翔,刘鹏,巩伟宝,吴志华,于佃海
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13