技术特征：
1.一种神经网络的量化方法，其特征在于，所述方法包括：在利用样本数据对神经网络进行训练的前向传播过程中，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据后，再执行相关的计算；在反向传播过程中，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第二数据类型的数据后，再执行相关的计算，其中，所述第一数据类型的精度和所述第二数据类型的精度均低于所述原始数据类型的精度，且所述第一数据类型的精度低于所述第二数据类型的精度。2.根据权利要求1所述的方法，其特征在于，所述第一数据类型和所述第二数据类型基于所述神经网络执行的任务的类型确定，所述第一数据类型的精度和所述第二数据类型的精度与所述神经网络执行的任务所需的精度正相关。3.根据权利要求1或2所述的方法，其特征在于，所述第一数据类型和所述第二数据类型基于所述任一层中的算子的类型确定，所述第一数据类型的精度和所述第二数据类型的精度与所述算子的复杂程度负相关。4.根据权利要求1-3任一项所述的方法，其特征在于，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据或第二数据类型的数据，包括：在判定该层中包括目标类型的算子的情况下，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据或第二数据类型的数据，其中，所述目标类型的算子基于各类算子的计算量从各类算子中筛选得到。5.根据权利要求4所述的方法，其特征在于，所述目标类型的算子包括以下一种或多种：卷积、全连接、矩阵乘法。6.根据权利要求1-5任一项所述的方法，其特征在于，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据或第二数据类型的数据，再执行相关的计算之后，所述方法还包括：将计算结果反量化成所述原始数据类型的数据，并将反量化得到的结果作为该层的下一层的输入数据。7.根据权利要求1-6任一项所述的方法，其特征在于，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据或第二数据类型的数据，包括：获取该层中参与计算的原始数据类型的数据的分布情况；基于所述分布情况确定对所述原始数据进行量化采用的量化方案，其中，所述量化方案包括量化类型和量化参数；基于所述量化方案将所述原始数据类型的数据进行量化成第一数据类型的数据或第二数据类型的数据。8.根据权利要求7所述的方法，其特征在于，所述样本数据被划分成多个数据块，逐一将每个数据块输入到所述神经网络中完成对所述神经网络的一轮训练，在每对所述神经网络进行预设轮数的训练后，执行一次获取该层中参与计算的原始数据类型的分布情况的操作。
9.根据权利要求1所述的方法，其特征在于，所述原始数据类型为32位浮点型，所述第一数据类型为8位整型，所述第二数据类型为16位整型。10.一种神经网络量化装置，其特征在于，所述装置包括：第一处理模块，用于在利用样本数据对神经网络进行训练的前向传播过程中，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第一数据类型的数据后，再执行相关的计算；第二处理模块，用于在反向传播过程中，针对所述神经网络的任一层，将该层中参与计算的原始数据类型的数据量化成第二数据类型的数据后，再执行相关的计算，其中，所述第一数据类型的精度和所述第二数据类型的精度均低于所述原始数据类型的精度，且所述第一数据类型的精度低于所述第二数据类型的精度。11.一种芯片，其特征在于，所述芯片包括处理器和存储器，所述存储器上存储有可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时实现如权利要求1-9任一项所述的方法。12.一种板卡，其特征在于，所述板卡包括封装有至少一个如权利要求11所述的芯片的封装结构。13.一种电子设备，其特征在于，所述电子设备包括如权利要求12所述的板卡或如权利要求11所述的芯片。14.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现如权利要求1-9任一项所述的方法。
技术总结
本公开实施例提供一种神经网络的量化方法、装置、芯片、板卡、设备及存储介质。在对神经网络进行训练的过程中，针对神经网络训练过程中的不同阶段，可以将参与计算的原始数据类型的数据量化成精度不同的数据类型的数据后，再进行计算。前向传播过程中由于对数据精度的要求更低，因而，可以将该阶段中参与计算的原始数据类型的数据量化成精度较低的第一数据类型的数据，反向传播过程中对数据精度的要求较高，因而，可以将该阶段中参与计算的原始数据类型的数据量化成精度更高一些的第二数据类型的数据。通过这种有针对性的区别处理的量化方式，可以在保证训练的神经网络的性能不受太大影响的前提下，最大程度的减小神经网络训练过程中的资源开销。过程中的资源开销。过程中的资源开销。
技术研发人员：沈煜 胡英俊 徐宁仪
受保护的技术使用者：上海阵量智能科技有限公司
技术研发日：2022.07.29
技术公布日：2023/3/24