池化层并行处理方法、计算装置、计算设备、存储介质与流程

本公开涉及数据处理，具体地，涉及一种池化层并行处理方法、计算装置、计算设备、存储介质。

背景技术：

1、在各种类型的神经网络中，池化层得到广泛应用。作为示例，卷积神经网络一般由卷积层、池化层以及全连接层组成，其中，卷积层用于提取图像特征，池化层用于削减特征数量，全连接层用于对特征进行非线性组合以及预测类别。池化层被认为是卷积神经网络中不可或缺的一部分，其提供了卷积神经网络强壮的鲁棒性。池化层的正向运算与图像下采样过程类似，通过该操作后可以减少特征的尺寸以及后续参数量，从而抑制过拟合。池化层的反向运算是指在进行神经网络训练过程中，通过反向传播来实现梯度值回传。在应用过程中，通常以计算机并行处理的方式进行神经网络中的各种计算，以提高处理效率。

技术实现思路

1、本公开的一些实施例提供了一种池化层并行处理方法、计算装置、计算设备、存储介质，用于针对各种类型的卷积神经网络中的池化层进行并行处理，提高并行度，增加运算效率。

2、根据本公开的一方面，提供了一种池化层并行处理方法。池化层并行处理方法包括：获取池化层的反向传播梯度矩阵；对反向传播梯度矩阵进行拆分，得到拆分后的k个子矩阵，其中，k为大于1的整数；分别对k个子矩阵进行并行地反向池化运算，得到k个输出子矩阵；以及对k个输出子矩阵的结果进行累加，得到对应于反向传播梯度矩阵的输出矩阵。

3、根据本公开的一些实施例，按照滑窗和步长进行反向池化运算，对反向传播梯度矩阵进行拆分包括：按照反向传播梯度矩阵在进行反向池化运算过程中避免滑窗重叠的方式，将反向传播梯度矩阵拆分为k个子矩阵。

4、根据本公开的一些实施例，k等于4，将反向传播梯度矩阵拆分为k个子矩阵包括：按照奇行奇列、奇行偶列、偶行奇列、偶行偶列的规则，将反向传播梯度矩阵拆分为4个子矩阵。

5、根据本公开的一些实施例，该池化层并行处理方法还包括：根据反向传播梯度矩阵的维度和输出矩阵的维度，计算拆分后各个子矩阵的偏移坐标，其中，偏移坐标表示子矩阵中的数据点在输出矩阵中所对应的数据点。

6、根据本公开的一些实施例，池化层为以下之一：最大池化层、平均池化层、自适应最大池化层以及自适应平均池化层。

7、根据本公开的一些实施例，在池化层为自适应最大池化层或自适应平均池化层的情况下，该池化层并行处理方法还包括：根据反向传播梯度矩阵的维度和输出矩阵的维度，计算用于反向池化运算所需要的步长和核尺寸。

8、根据本公开的另一方面，提供了一种计算装置。该计算装置包括：获取单元，配置成获取池化层的反向传播梯度矩阵；拆分单元，配置成对反向传播梯度矩阵进行拆分，得到拆分后的k个子矩阵，其中，k为大于1的整数；运算单元，配置成分别对k个子矩阵进行并行地反向池化运算，得到k个输出子矩阵；以及对k个输出子矩阵的结果进行累加，得到对应于反向传播梯度矩阵的输出矩阵。

9、根据本公开的一些实施例，运算单元按照滑窗和步长进行反向池化运算，拆分单元对反向传播梯度矩阵进行拆分包括：按照反向传播梯度矩阵在进行反向池化运算过程中避免滑窗重叠的方式，将反向传播梯度矩阵拆分为k个子矩阵。

10、根据本公开的一些实施例，k等于4，拆分单元将反向传播梯度矩阵拆分为k个子矩阵包括：按照奇行奇列、奇行偶列、偶行奇列、偶行偶列的规则，将反向传播梯度矩阵拆分为4个子矩阵。

11、根据本公开的一些实施例，运算单元还配置成：根据反向传播梯度矩阵的维度和输出矩阵的维度，计算拆分后各个子矩阵的偏移坐标，其中，偏移坐标表示子矩阵中的数据点在输出矩阵中所对应的数据点。

12、根据本公开的一些实施例，池化层为以下之一：最大池化层、平均池化层、自适应最大池化层以及自适应平均池化层。

13、根据本公开的一些实施例，在池化层为自适应最大池化层或自适应平均池化层的情况下，运算单元还配置成：根据反向传播梯度矩阵的维度和输出矩阵的维度，计算用于反向池化运算所需要的步长和核尺寸。

14、根据本公开的又一方面，提供了一种计算设备，包括：处理器；和存储器，其中，存储器中存储有计算机可读代码，计算机可读代码在由处理器运行时，执行如上所述的池化层并行处理方法。

15、根据本公开的又一方面，提供了一种非暂时性计算机可读存储介质，其上存储有指令，该指令在被处理器执行时实现如上所述的池化层并行处理方法。

16、利用本公开一些实施例提供的池化层并行处理方法、计算装置、计算设备、存储介质，能够通过对池化层的反向传播梯度矩阵进行拆分，调整池化层反向运算的并行策略，避免滑窗重叠，提高计算并行度和运算精度，从而增加运算效率。

技术特征：

1.一种池化层并行处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，按照滑窗和步长进行所述反向池化运算，所述对所述反向传播梯度矩阵进行拆分包括：

3.根据权利要求2所述的方法，其特征在于，k等于4，所述将所述反向传播梯度矩阵拆分为所述k个子矩阵包括：

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述池化层为以下之一：最大池化层、平均池化层、自适应最大池化层以及自适应平均池化层。

6.根据权利要求1所述的方法，其特征在于，在所述池化层为自适应最大池化层或自适应平均池化层的情况下，所述方法还包括：

7.一种计算装置，其特征在于，所述计算装置包括：

8.根据权利要求7所述的计算装置，其特征在于，所述运算单元按照滑窗和步长进行所述反向池化运算，所述拆分单元对所述反向传播梯度矩阵进行拆分包括：

9.根据权利要求8所述的计算装置，其特征在于，k等于4，所述拆分单元将所述反向传播梯度矩阵拆分为所述k个子矩阵包括：

10.根据权利要求7-9中任一项所述的计算装置，其特征在于，所述运算单元还配置成：

11.根据权利要求7-9中任一项所述的计算装置，其特征在于，所述池化层为以下之一：最大池化层、平均池化层、自适应最大池化层以及自适应平均池化层。

12.根据权利要求7所述的计算装置，其特征在于，在所述池化层为自适应最大池化层或自适应平均池化层的情况下，所述运算单元还配置成：

13.一种计算设备，包括：

14.一种非暂时性计算机可读存储介质，其上存储有指令，其特征在于，所述指令在被处理器执行时实现如权利要求1-6中任一项所述的池化层并行处理方法。

技术总结
本公开提供了一种池化层并行处理方法、计算装置、计算设备、存储介质。根据本公开的池化层并行处理方法包括：获取池化层的反向传播梯度矩阵；对反向传播梯度矩阵进行拆分，得到拆分后的K个子矩阵，其中，K为大于1的整数；分别对K个子矩阵进行并行地反向池化运算，得到K个输出子矩阵；以及对K个输出子矩阵的结果进行累加，得到对应于反向传播梯度矩阵的输出矩阵。利用本公开一些实施例提供的池化层并行处理方法、计算装置、计算设备、存储介质，能够通过对池化层的反向传播梯度矩阵进行拆分，调整池化层反向运算的并行策略，避免滑窗重叠，提高计算并行度和运算精度，从而增加运算效率。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海壁仞科技股份有限公司
技术研发日：
技术公布日：2024/1/15