用于分布式数据并行DNN训练中的批量再均衡的装置和方法与流程

本公开的实施例总体涉及深度神经网络(dnn)，更具体而言，涉及用于分布式数据并行dnn训练中的批量再均衡的装置和方法。

背景技术：

1、近年来，机器学习和/或人工智能越来越受欢迎。例如，可以使用神经网络来实现机器学习和/或人工智能。神经网络是受人脑神经网络启发的计算系统。神经网络可以接收输入并生成输出。可以基于反馈来训练神经网络(例如，可以进行学习)，使得输出对应于期望的结果。一旦经过训练，神经网络就可以做出决策以根据任何输入生成输出。分布式深度神经网络(dnn)训练可在多个计算设备或系统上并行进行深度学习(dl)训练，并将延长的训练时间从几天/几周缩短到几个小时。

技术实现思路

1、本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：经由所述接口电路获得小批量的经排序样本，其中所述经排序样本是基于每个样本的体积而按升序或降序排列的；以及按照从多个局部批量中的第一局部批量到最后局部批量、然后从所述最后局部批量到所述第一局部批量的顺序，将所述经排序样本逐一分配至所述多个局部批量中的每个局部批量，直到所述经排序样本中的所有样本被分配为止。

2、本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：经由所述接口电路获得小批量的经排序样本，其中所述经排序样本是基于每个样本的体积而按升序或降序排列的；估计多个局部批量中的每个局部批量的成本；以及基于所述多个局部批量中的每个局部批量的成本，将所述经排序样本分配至所述多个局部批量。

3、本公开的一方面提供了一种方法，包括：获得小批量的经排序样本，其中所述经排序样本是基于每个样本的体积而按升序或降序排列的；以及按照从多个局部批量中的第一局部批量到最后局部批量、然后从所述最后局部批量到所述第一局部批量的顺序，将所述经排序样本逐一分配至所述多个局部批量中的每个局部批量，直到所述经排序样本中的所有样本被分配为止。

4、本公开的一方面提供了一种方法，包括：获得小批量的经排序样本，其中所述经排序样本是基于每个样本的体积而按升序或降序排列的；估计多个局部批量中的每个局部批量的成本；以及基于所述多个局部批量中的每个局部批量的成本，将所述经排序样本分配至所述多个局部批量。

5、本公开的一方面提供了一种设备，包括用于实现本公开的方法的装置。

6、本公开的一方面提供了一种计算机可读介质，所述计算机可读介质上存储有指令，所述指令当被处理器电路执行时使得所述处理器电路执行本公开的方法。

技术特征：

1.一种装置，包括：

2.根据权利要求1所述的装置，其中，当所述小批量的大小不可被所述多个局部批量的数量整除时，所述经排序样本是按降序排列的。

3.根据权利要求1所述的装置，其中，所述处理器电路还用于：

4.根据权利要求1所述的装置，其中，所述多个局部批量中的每个局部批量初始是空的。

5.根据权利要求1所述的装置，其中，所述小批量是从数据集中随机采样的。

6.一种装置，包括：

7.根据权利要求6所述的装置，其中，所述经排序样本是按降序排列的，并且其中，所述处理器电路还用于：

8.根据权利要求7所述的装置，其中，所述多个局部批量中的每个局部批量初始是空的。

9.根据权利要求6所述的装置，其中，所述经排序样本是按升序排列的，并且其中，所述处理器电路还用于：

10.根据权利要求9所述的装置，其中，所述处理器电路还用于：

11.根据权利要求10所述的装置，其中，所述多次的次数是基于启发式函数来确定的。

12.根据权利要求9所述的装置，其中，所述处理器电路还用于：基于启发式函数来调整所述多个局部批量中具有最大成本的局部批量的大小和/或所述多个局部批量中具有最小成本的局部批量的大小。

13.根据权利要求9所述的装置，其中，所述处理器电路还用于通过以下方式调整所述多个局部批量中具有最大成本的局部批量的大小和/或所述多个局部批量中具有最小成本的局部批量的大小：

14.根据权利要求9所述的装置，其中，针对所述多个局部批量中的每个局部批量所设置的大小是相同的或者不同的。

15.根据权利要求9所述的装置，其中，在所述多个局部批量中的每个局部批量的成本被估计之前，所述处理器电路还用于：

16.根据权利要求6所述的装置，其中，所述处理器电路还用于：

17.根据权利要求16所述的装置，其中，所述多个局部批量中的每个局部批量的成本基于：

18.根据权利要求6所述的装置，其中，所述小批量是从数据集中随机采样的。

19.一种计算机可读介质，所述计算机可读介质上存储有指令，所述指令当被处理器电路执行时使得所述处理器电路：

20.根据权利要求19所述的计算机可读介质，其中，当所述小批量的大小不可被所述多个局部批量的数量整除时，所述经排序样本是按降序排列的。

21.根据权利要求19所述的计算机可读介质，其中，所述小批量是从数据集中随机采样的。

22.一种计算机可读介质，所述计算机可读介质上存储有指令，所述指令当被处理器电路执行时使得所述处理器电路：

23.根据权利要求22所述的计算机可读介质，其中，所述经排序样本是按降序排列的，并且其中，所述指令当被所述处理器电路执行时还使得所述处理器电路：

24.根据权利要求22所述的计算机可读介质，其中，所述经排序样本是按升序排列的，并且其中，所述指令当被所述处理器电路执行时还使得所述处理器电路：

25.根据权利要求22所述的计算机可读介质，其中，所述小批量是从数据集中随机采样的。

技术总结
本文提供了用于分布式数据并行DNN训练中的批量再均衡的装置和方法。一种装置包括：接口电路；和处理器电路，处理器电路与接口电路耦合，其中，处理器电路用于：经由接口电路获得小批量的经排序样本，其中经排序样本是基于每个样本的体积而按升序或降序排列的；以及按照从多个局部批量中的第一局部批量到最后局部批量、然后从最后局部批量到第一局部批量的顺序，将经排序样本逐一分配至多个局部批量中的每个局部批量，直到经排序样本中的所有样本被分配为止。还描述并要求保护了其他实施例。

技术研发人员：马国凯,龚炯,刘洪振
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/1/15