神经网络训练方法、装置、电子设备、存储介质及芯片与流程

本公开涉及深度学习，具体而言，涉及一种神经网络训练方法、装置、电子设备、存储介质及芯片。

背景技术：

1、随着深度学习的研究发展，神经网络的应用越来越广泛。在利用神经网络进行推理之前需要对神经网络进行训练，一般的，在神经网络的训练过程中采用单精度数据类型，比如float32数据类型，训练得到的神经网络精度较高，但是采用float32数据类型训练神经网络，使得训练过程中计算资源消耗较高、存储空间占用较大。

2、因此，亟需一种可以降低资源占用，提高计算速度，同时不损失神经网络精度的神经网络训练方法。

技术实现思路

1、有鉴于此，本公开至少提供一种神经网络训练方法、装置、电子设备、存储介质及芯片。

2、第一方面，本公开提供了一种神经网络训练方法，包括：

3、在待训练神经网络的训练过程中，获取所述待训练神经网络中任一目标处理层对应的特征数据；

4、对所述目标处理层的特征数据进行类型转换处理，得到转换后特征数据；其中，所述特征数据对应的第一数据类型的数据精度高于所述转换后特征数据对应的第二数据类型的数据精度；

5、对所述目标处理层对应的所述转换后特征数据进行运算处理，生成所述目标处理层的输出特征数据。

6、第二方面，本公开提供了一种芯片，所述芯片包括存储器和运算设备；

7、所述存储器，用于存储待训练神经网络中目标处理层对应的特征数据；

8、所述运算设备，用于从所述存储器中获取所述目标处理层对应的所述特征数据，并对所述目标处理层的特征数据进行类型转换处理，得到转换后特征数据；其中，所述特征数据对应的第一数据类型的数据精度高于所述转换后特征数据对应的第二数据类型的数据精度；以及对所述目标处理层对应的所述转换后特征数据进行运算处理，生成所述目标处理层的输出特征数据。

9、第三方面，本公开提供了一种神经网络训练装置，包括：

10、获取模块，用于在待训练神经网络的训练过程中，获取所述待训练神经网络中任一目标处理层对应的特征数据；

11、第一处理模块，用于对所述目标处理层的特征数据进行类型转换处理，得到转换后特征数据；其中，所述特征数据对应的第一数据类型的数据精度高于所述转换后特征数据对应的第二数据类型的数据精度；

12、第二处理模块，用于对所述目标处理层对应的所述转换后特征数据进行运算处理，生成所述目标处理层的输出特征数据。

13、第四方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的神经网络训练方法的步骤；或者如上述第二方面或任一实施方式所述的芯片。

14、第五方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的神经网络训练方法的步骤。

15、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种神经网络训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述特征数据包括权重特征数据和输入特征数据，所述转换后特征数据包括转换后权重特征数据和转换后输入特征数据；

3.根据权利要求2所述的方法，其特征在于，所述中间特征值的数据类型为第二数据类型，所述将所述目标处理层对应的偏移量和所述各个特征位置分别对应的所述中间特征值进行累加运算处理，得到所述窗口对应的输出特征值，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述各个特征位置分别对应的所述中间特征值进行类型转换处理，得到转换后中间特征值，包括：

5.根据权利要求2至4任一所述的方法，其特征在于，所述基于各个窗口分别对应的所述输出特征值，生成所述目标处理层的输出特征数据，包括：

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述待训练神经网络包括n个网络处理层，n为大于1的整数；所述基于所述损失值，确定所述待训练神经网络中每个网络处理层对应的梯度值，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于第i+1个网络处理层对应的梯度值、和所述第i个网络处理层对应的转换后特征数据，生成所述第i个网络处理层对应的梯度值，包括：

9.根据权利要求8所述的方法，其特征在于，所述中间数据的数据类型为第二数据类型，所述将所述第i个网络处理层对应的偏移量和所述中间数据中包括的各个中间值进行累加运算处理，生成所述第i个网络处理层对应的梯度值，包括：

10.根据权利要求8所述的方法，其特征在于，在所述将所述第i个网络处理层对应的偏移量和所述中间数据中包括的各个中间值进行累加运算处理，生成所述第i个网络处理层对应的梯度值之后，还包括：

11.一种芯片，其特征在于，所述芯片包括存储器和运算设备；

12.根据权利要求11所述的芯片，其特征在于，所述运算设备包括第一精度转换器、累加器和点积器；其中，所述点积器分别与所述累加器和所述精度转换器相连；

13.一种神经网络训练装置，其特征在于，包括：

14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的神经网络训练方法的步骤；或者如权利要求11或12所述的芯片。

15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的神经网络训练方法的步骤。

技术总结
本公开提供了一种神经网络训练方法、装置、电子设备、存储介质及芯片，该方法包括：在待训练神经网络的训练过程中，获取所述待训练神经网络中任一目标处理层对应的特征数据；对所述目标处理层的特征数据进行类型转换处理，得到转换后特征数据；其中，所述特征数据对应的第一数据类型的数据精度高于所述转换后特征数据对应的第二数据类型的数据精度；对所述目标处理层对应的所述转换后特征数据进行运算处理，生成所述目标处理层的输出特征数据。

技术研发人员：冯志芳
受保护的技术使用者：上海阵量智能科技有限公司
技术研发日：
技术公布日：2024/1/15