一种用于卷积神经网络的模型推理方法和装置

本发明涉及卷积神经网络模型训练，具体涉及一种用于卷积神经网络的模型推理方法和装置。

背景技术：

1、随着基于神经网络的人工智能解决方案的需求越来越多，在一些移动平台如无人机、机器人等都应用卷积神经网络构建，这些都正在深刻的改变人类的生产和生活方式。卷积神经网路模型其计算复杂性高、参数冗余，对硬件平台的内存、带宽等条件要求较高，从而导致在一些场景或设备上的推理部署存在限制。近几年来模型推理的优化方法包括模型压缩、软件库优化、异构计算、硬件加速等技术。然而卷积神经网络模型的结构多样、数据量大、计算量大，也给硬件实现神经网络算法设计提出了巨大挑战，尤其，卷积神经网络模型的训练过程，不但至关重要，但也及其繁琐，如何提高卷积神经网络模型的训练效率，是现阶段卷积神经网络模型的主要研究方向。

技术实现思路

1、本申请提供一种用于卷积神经网络的模型推理方法，用于提高卷积神经网络模型的训练效率。

2、根据第一方面，一实施例中提供一种用于卷积神经网络的模型推理方法，包括：

3、步骤101，提取已完成训练的第一卷积神经网络模型的模型参数；所述第一卷积神经网络模型用于提取第一图像特征；所述第一卷积神经网络模型的模型参数包括权重；

4、步骤102，对提取的所述第一卷积神经网络模型的模型参数进行剪枝，以去除其值在第一阈值区间的模型参数，保留其值在第二阈值区间的模型参数；所述第二阈值区间的范围大于所述第一阈值区间；

5、步骤103，对每个所述模型参数进行量化处理，以获取每个所述模型参数的标志位、符号位和有效宽位的值；其中，所述模型参数的有效宽位的值为定点数值，是应用二分段量化方法或多分段量化方法对所述模型参数进行量化处理获得；

6、步骤104，将量化处理后获得的所述模型参数替换所述第一卷积神经网络模型的模型参数，以获取第二卷积神经网络模型；所述第二卷积神经网络模型用于提取第二图像特征。

7、一实施例中，所述第一图像特征与所述第二图像特征不同。

8、一实施例中，所述模型推理方法还包括：

9、步骤105，通过包含所述第二图像特征的训练数据集对所述第二卷积神经网络模型进行训练，以获取所述第二卷积神经网络模型的精度损失值；

10、步骤106，当所述精度损失值大于一第一预设值时变更所述第一阈值区间或所述第二阈值区间，并重复步骤102至步骤105；

11、当所述精度损失值不大于所述第一预设值时，输出所述第二卷积神经网络模型。

12、一实施例中，所述模型推理方法还包括：

13、对占比较高的绝对值小于一第一预设初始值的模型参数应用所述二分段量化方法进行量化处理。

14、一实施例中，所述二分段量化方法对所述模型参数进行量化处理包括：

15、标识所述模型参数的标志位、符号位和有效位宽，并设定有效位宽的中间为一个切分点；所述标志位用于表示所述模型参数的值是高位值还是低位值，所述符号位用于表示所述模型参数的值是正值或负值，所述有效位宽用于表示模型参数的有效值；

16、清除所述模型参数有效位宽在所述切分点之前的数据，以减少所述有效位宽，并将减少所述有效位宽的数据作为所述第二卷积神经网络模型的模型参数。

17、一实施例中，所述模型推理方法还包括：

18、对占比较低的绝对值不小于所述第一预设初始值的模型参数应用所述多分段量化方法进行量化处理。

19、一实施例中，所述多分段量化方法对所述模型参数进行量化处理包括：

20、标识所述模型参数的标志位、符号位和有效位宽，并按预设步长在所述有效位宽上设定至少两个切分点；所述标志位用于表示所述模型参数的值是高位值还是低位值，所述符号位用于表示所述模型参数的值是正值或负值，所述有效位宽用于表示模型参数的有效值；

21、清除所述模型参数有效位宽在最后一个所述切分点之前的数据，以减少所述有效位宽，并将减少所述有效位宽的数据作为所述第二卷积神经网络模型的模型参数。

22、一实施例中，所述模型推理方法还包括：

23、再通过包含所述第二图像特征的训练数据集对所述第二卷积神经网络模型进行训练，以获取所述第二卷积神经网络模型的精度损失值；

24、当所述精度损失值大于一第二预设值时变更所述二分段量化方法或所述多分段量化方法中所述切分点的位置，并重复步骤102至步骤105；

25、当所述精度损失值不大于所述第二预设值时，输出所述第二卷积神经网络模型。

26、根据第二方面，一实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如第一方面所述的模型推理方法。

27、根据第三方面，一实施例中提供一种用于卷积神经网络的模型推理装置，包括：

28、参数提取模块，用于提取已完成训练的第一卷积神经网络模型的模型参数；所述第一卷积神经网络模型用于提取第一图像特征；所述第一卷积神经网络模型的模型参数包括权重；

29、参数剪枝模块，用于对提取的所述第一卷积神经网络模型的模型参数进行剪枝，以去除其值在第一阈值区间的模型参数，保留其值在第二阈值区间的模型参数；所述第二阈值区间的范围大于所述第一阈值区间；

30、量化处理模块，用于对每个所述模型参数进行量化处理，以获取每个所述模型参数的标志位、符号位和有效宽位的值；其中，所述模型参数的有效宽位的值为定点数值，是应用二分段量化方法或多分段量化方法对所述模型参数进行量化处理获得；

31、模型获取模块，用于将量化处理后获得的所述模型参数替换所述第一卷积神经网络模型的模型参数，以获取第二卷积神经网络模型；所述第二卷积神经网络模型用于提取第二图像特征。

32、依据上述实施例的模型推理方法，是依据已完成训练的卷积神经网络模型的模型参数获取新卷积神经网络模型的模型参数，可以大大提高了新卷积神经网络模型的训练效率。

技术特征：

1.一种用于卷积神经网络的模型推理方法，其特征在于，包括：

2.如权利要求1所述的模型推理方法，其特征在于，所述第一图像特征与所述第二图像特征不同。

3.如权利要求2所述的模型推理方法，其特征在于，还包括：

4.如权利要求2所述的模型推理方法，其特征在于，还包括：

5.如权利要求4所述的模型推理方法，其特征在于，所述二分段量化方法对所述模型参数进行量化处理包括：

6.如权利要求5所述的模型推理方法，其特征在于，还包括：

7.如权利要求6所述的模型推理方法，其特征在于，所述多分段量化方法对所述模型参数进行量化处理包括：

8.如权利要求7所述的模型推理方法，其特征在于，还包括：

9.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的模型推理方法。

10.一种用于卷积神经网络的模型推理装置，其特征在于，包括：

技术总结
本申请公开了一种用于卷积神经网络的模型推理方法和装置，首先提取已完成训练的第一卷积神经网络模型的模型参数；然后对提取模型参数进行剪枝，以去除其值在第一阈值区间的模型参数，保留其值在第二阈值区间的模型参数；再对每个模型参数进行量化处理，以获取每个所述模型参数的标志位、符号位和有效宽位的值；其中，模型参数的有效宽位的值为定点数值，是应用二分段量化方法或多分段量化方法对模型参数进行量化处理获得；最后将量化处理后获得的模型参数替换原模型参数，以获取第二卷积神经网络模型。由于新的卷积神经网络模型的模型参数是依据已完成训练的模型参数获取，大大提高了新卷积神经网络模型的训练效率。

技术研发人员：雍珊珊,陈强,樊华,宋若鹏,朱楷铭,陈锦鸿
受保护的技术使用者：深圳北理莫斯科大学
技术研发日：
技术公布日：2024/1/15